Data Engineer
We pay
****** rub/мес.
We offer a job
Remote work
Location
Moscow
In the archive
Required skills
Apache spark Middle
Apache spark Middle
Big data engineer Middle
Hadoop Middle
Kubernetes Middle
Python Middle
Scala Middle
SQL Middle
Базы данных Middle
Professional experience middle
About project
Мы ищем дата инженера для работ по миграции ETL системы на новый технологический стек с применением решений Apache Spark/HiFi.
Продукт "ETL" представляет собой информационную систему:
- Для сбора данных об абонентах с разных систем-источников Компании
- Для реализации обработки полученных данных
- Для реализация передачи сведений об абонентах и платежах клиентов ПАО "ВымпелКом" .
Your responsibilities
- Разработка ETL-процессов для взаимодействия различных систем у оператора связи, в том числе для выгрузки и загрузки информации в Хранилище данных (СУБД ORACLE, ...) средствами стека Apache.
- Миграции Платформ Данных (Informatica Power Center на стек Apache SPARK/Nifi).
- Проектировать и разрабатывать новый функционал для дальнейшего развития проекта.
- Принимать участие в обсуждении новых фич.
- Участие в развитии архитектуры высоконагруженных приложений.
- Развитие текущего решения, базирующегося на ETL-технологиях, участие в формировании его стратегии и архитектуры.
- Проводить code-review.
Requirements
- Опыт работы Data Engineer от 2 лет.
- Отличное владение Scala или Python.
- Знание SQL на уровне написания сложных запросов.
- Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
- Опыт работы с Hadoop от 1 года
- Готовность общаться с бизнесом и отвечать end-to-end за задачу.
- Будет плюсом, если вы:
- Работали с потоковой обработкой данных.
- Знакомы с инструментом NiFi.
We offer
- Сильную команду специалистов, с которой можно расти.
- Свободу в принятии решений, возможность влиять на процесс и результат.
- Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом.
- Ежегодный процесс ревью.
- Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок.
- Внешнее и внутреннее обучение, участие в митапах и конференциях.
- Гибкий график работы.
- Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
- Корпоративные скидки на фитнес, обучение, путешествия и т.п.
- Служебную сотовую связь.
Hiring process
1 этап - общение с рекрутером на 15-20 минут.
2 этап - техническое интервью, котороу включает в себя теорию и liveoding
3 этап - знакомство с командой.