Войдите или зарегистрируйтесь, чтобы прочувствовать и раскрыть все возможности сервиса Хедз

Headz.io – умный сервис трудоустройства лучших IT-специалистов

Data Engineer
Платим ****** руб/мес.
Предлагаем работу Удаленная работа
Локация Москва
В архиве
Необходимые навыки

Apache spark Средний

Apache spark Средний

Big data engineer Средний

Hadoop Средний

Kubernetes Средний

Python Средний

Scala Средний

SQL Средний

Базы данных Средний

Опыт в специальности middle

О проекте

Мы ищем дата инженера для работ по миграции ETL системы на новый технологический стек с применением решений Apache Spark/HiFi.

Продукт "ETL" представляет собой информационную систему:

  • Для сбора данных об абонентах с разных систем-источников Компании
  • Для реализации обработки полученных данных 
  • Для реализация передачи сведений об абонентах и платежах клиентов ПАО "ВымпелКом" .

Чем нужно будет заниматься

  • Разработка ETL-процессов для взаимодействия различных систем у оператора связи,  в том числе для выгрузки и загрузки информации в Хранилище данных (СУБД ORACLE, ...) средствами стека Apache.
  • Миграции Платформ Данных (Informatica Power Center на стек Apache SPARK/Nifi).
  • Проектировать и разрабатывать новый функционал для дальнейшего развития проекта.
  • Принимать участие в обсуждении новых фич.
  • Участие в развитии архитектуры высоконагруженных приложений.
  • Развитие текущего решения, базирующегося на ETL-технологиях, участие в формировании его стратегии и архитектуры.
  • Проводить code-review.

Требования

  • Опыт работы Data Engineer от 2 лет.
  • Отличное владение Scala или Python.
  • Знание SQL на уровне написания сложных запросов.
  • Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
  • Опыт работы с Hadoop от 1 года
  • Готовность общаться с бизнесом и отвечать end-to-end за задачу.
  • Будет плюсом, если вы:
  • Работали с потоковой обработкой данных.
  • Знакомы с инструментом NiFi.

Мы предлагаем

  • Сильную команду специалистов, с которой можно расти.
  • Свободу в принятии решений, возможность влиять на процесс и результат.
  • Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом.
  • Ежегодный процесс ревью.
  • Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок.
  • Внешнее и внутреннее обучение, участие в митапах и конференциях.
  • Гибкий график работы.
  • Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
  • Корпоративные скидки на фитнес, обучение, путешествия и т.п.
  • Служебную сотовую связь.

Процесс найма

1 этап - общение с рекрутером на 15-20 минут. 

2 этап - техническое интервью, котороу включает в себя теорию и liveoding

3 этап - знакомство с командой.

beeline
Москва

О компании
beeline - Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. Оператор активно использует ИИ-технологии и Big Data как для решения задач собственного бизнеса, так и для социально-значимых проектов, например, нейросеть «Beeline AI – Поиск людей» для обработки фотографий местности, полученных с беспилотных летательных аппаратов в местах поиска пропавших, IoT-чипы в бионических протезах «Моторики» для удаленного мониторинга высокотехнологичных средств реабилитации, а решение для аутентификации Mobile ID принесло билайну «Премию Рунет». Образ жизни Забота о клиенте — это один из принципов образа жизни билайн. И здесь речь не только про клиентов как пользователей продуктов и услуг компании, а речь и о сотрудниках с первого момента знакомства с компанией. В компании, которая развивает клиентоцентричность во внешнем контуре, фокус на внутреннем клиенте - важный элемент корпоративной среды. В 2022 году билайн запустил личный кабинет кандидата, который помогает человеку трудоустроиться в компанию с помощью одного смартфона, без очередей в отдел кадров и бумажной волокиты. Для сотрудников Являясь высокотехнологичной компанией, билайн использует свои компетенции для улучшения качества жизни сотрудников, повышения их мотивации и продуктивности работы. В компании есть собственный корпоративный университет и различные программы, способствующие развитию карьеры. В 2022 году продолжила действовать программа благополучия BeeWINNER, запущенная в период пандемии COVID и глобального локдауна. Она включает проекты по физическому, социальному, психологическому и семейному благополучию и инструменты профессионального развития. beetech Сейчас в билайне работают более 3000 IT-специалистов; основной стек — Kafka, Python, Java, Django, Spring. Развивается направление Data Science и анализа данных, что позволяет закрывать полный жизненный цикл моделей машинного обучения. Вместе с коллегами из DS трудятся и эксперты из чаптера дата-инженеров — сейчас это более 100 человек, работающих над более чем 40 проектами. Цель чаптера —совершенствовать навыки инженеров данных, поэтому в компании сотрудники регулярно обучаются и активно участвуют в профильных конференциях. У билайна амбициозные планы в области реализации продуктов и услуг, основанных на развитии цифровых решений, искусственного интеллекта и больших данных
Тип компании
Крупная IT компания
Год основания
1993
Количество сотрудников
30000
Бонусы от компании
Карьерный рост, ДМС, Обучение, Оплата обучения