Data Engineer
Платим
****** руб/мес.
Предлагаем работу
Удаленная работа
Локация
Москва
В архиве
Необходимые навыки
Apache spark Средний
Apache spark Средний
Big data engineer Средний
Hadoop Средний
Kubernetes Средний
Python Средний
Scala Средний
SQL Средний
Базы данных Средний
Опыт в специальности middle
О проекте
Мы ищем дата инженера для работ по миграции ETL системы на новый технологический стек с применением решений Apache Spark/HiFi.
Продукт "ETL" представляет собой информационную систему:
- Для сбора данных об абонентах с разных систем-источников Компании
- Для реализации обработки полученных данных
- Для реализация передачи сведений об абонентах и платежах клиентов ПАО "ВымпелКом" .
Чем нужно будет заниматься
- Разработка ETL-процессов для взаимодействия различных систем у оператора связи, в том числе для выгрузки и загрузки информации в Хранилище данных (СУБД ORACLE, ...) средствами стека Apache.
- Миграции Платформ Данных (Informatica Power Center на стек Apache SPARK/Nifi).
- Проектировать и разрабатывать новый функционал для дальнейшего развития проекта.
- Принимать участие в обсуждении новых фич.
- Участие в развитии архитектуры высоконагруженных приложений.
- Развитие текущего решения, базирующегося на ETL-технологиях, участие в формировании его стратегии и архитектуры.
- Проводить code-review.
Требования
- Опыт работы Data Engineer от 2 лет.
- Отличное владение Scala или Python.
- Знание SQL на уровне написания сложных запросов.
- Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
- Опыт работы с Hadoop от 1 года
- Готовность общаться с бизнесом и отвечать end-to-end за задачу.
- Будет плюсом, если вы:
- Работали с потоковой обработкой данных.
- Знакомы с инструментом NiFi.
Мы предлагаем
- Сильную команду специалистов, с которой можно расти.
- Свободу в принятии решений, возможность влиять на процесс и результат.
- Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом.
- Ежегодный процесс ревью.
- Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок.
- Внешнее и внутреннее обучение, участие в митапах и конференциях.
- Гибкий график работы.
- Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
- Корпоративные скидки на фитнес, обучение, путешествия и т.п.
- Служебную сотовую связь.
Процесс найма
1 этап - общение с рекрутером на 15-20 минут.
2 этап - техническое интервью, котороу включает в себя теорию и liveoding
3 этап - знакомство с командой.