Login or register to experience and enjoy all the features of headz service

headz.io is a smart employment service for the best IT professionals

Data Engineer
We pay ****** rub/мес.
We offer a job Remote work
Location Moscow
In the archive
Required skills

Apache spark Middle

Apache spark Middle

Big data engineer Middle

Hadoop Middle

Kubernetes Middle

Python Middle

Scala Middle

SQL Middle

Базы данных Middle

Professional experience middle

About project

Мы ищем дата инженера для работ по миграции ETL системы на новый технологический стек с применением решений Apache Spark/HiFi.

Продукт "ETL" представляет собой информационную систему:

  • Для сбора данных об абонентах с разных систем-источников Компании
  • Для реализации обработки полученных данных 
  • Для реализация передачи сведений об абонентах и платежах клиентов ПАО "ВымпелКом" .

Your responsibilities

  • Разработка ETL-процессов для взаимодействия различных систем у оператора связи,  в том числе для выгрузки и загрузки информации в Хранилище данных (СУБД ORACLE, ...) средствами стека Apache.
  • Миграции Платформ Данных (Informatica Power Center на стек Apache SPARK/Nifi).
  • Проектировать и разрабатывать новый функционал для дальнейшего развития проекта.
  • Принимать участие в обсуждении новых фич.
  • Участие в развитии архитектуры высоконагруженных приложений.
  • Развитие текущего решения, базирующегося на ETL-технологиях, участие в формировании его стратегии и архитектуры.
  • Проводить code-review.

Requirements

  • Опыт работы Data Engineer от 2 лет.
  • Отличное владение Scala или Python.
  • Знание SQL на уровне написания сложных запросов.
  • Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
  • Опыт работы с Hadoop от 1 года
  • Готовность общаться с бизнесом и отвечать end-to-end за задачу.
  • Будет плюсом, если вы:
  • Работали с потоковой обработкой данных.
  • Знакомы с инструментом NiFi.

We offer

  • Сильную команду специалистов, с которой можно расти.
  • Свободу в принятии решений, возможность влиять на процесс и результат.
  • Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом.
  • Ежегодный процесс ревью.
  • Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок.
  • Внешнее и внутреннее обучение, участие в митапах и конференциях.
  • Гибкий график работы.
  • Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
  • Корпоративные скидки на фитнес, обучение, путешествия и т.п.
  • Служебную сотовую связь.

Hiring process

1 этап - общение с рекрутером на 15-20 минут. 

2 этап - техническое интервью, котороу включает в себя теорию и liveoding

3 этап - знакомство с командой.

beeline
Moscow

About the company
beeline - Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. Оператор активно использует ИИ-технологии и Big Data как для решения задач собственного бизнеса, так и для социально-значимых проектов, например, нейросеть «Beeline AI – Поиск людей» для обработки фотографий местности, полученных с беспилотных летательных аппаратов в местах поиска пропавших, IoT-чипы в бионических протезах «Моторики» для удаленного мониторинга высокотехнологичных средств реабилитации, а решение для аутентификации Mobile ID принесло билайну «Премию Рунет». Образ жизни Забота о клиенте — это один из принципов образа жизни билайн. И здесь речь не только про клиентов как пользователей продуктов и услуг компании, а речь и о сотрудниках с первого момента знакомства с компанией. В компании, которая развивает клиентоцентричность во внешнем контуре, фокус на внутреннем клиенте - важный элемент корпоративной среды. В 2022 году билайн запустил личный кабинет кандидата, который помогает человеку трудоустроиться в компанию с помощью одного смартфона, без очередей в отдел кадров и бумажной волокиты. Для сотрудников Являясь высокотехнологичной компанией, билайн использует свои компетенции для улучшения качества жизни сотрудников, повышения их мотивации и продуктивности работы. В компании есть собственный корпоративный университет и различные программы, способствующие развитию карьеры. В 2022 году продолжила действовать программа благополучия BeeWINNER, запущенная в период пандемии COVID и глобального локдауна. Она включает проекты по физическому, социальному, психологическому и семейному благополучию и инструменты профессионального развития. beetech Сейчас в билайне работают более 3000 IT-специалистов; основной стек — Kafka, Python, Java, Django, Spring. Развивается направление Data Science и анализа данных, что позволяет закрывать полный жизненный цикл моделей машинного обучения. Вместе с коллегами из DS трудятся и эксперты из чаптера дата-инженеров — сейчас это более 100 человек, работающих над более чем 40 проектами. Цель чаптера —совершенствовать навыки инженеров данных, поэтому в компании сотрудники регулярно обучаются и активно участвуют в профильных конференциях. У билайна амбициозные планы в области реализации продуктов и услуг, основанных на развитии цифровых решений, искусственного интеллекта и больших данных
Company type
Major company
Year of establishment
1993
Employees number
30000
Company benefits
Career growth, Health insurance, In-house education, Tuition fees at the company's expense