Data Engineer

Описание вакансии

Мы— команда дата-инженеров, которая строит и поддерживает ядро данных. Мы создаем надежные ETL-процессы, проектируем хранилища данных и обеспечиваем аналитиков и дата-сайентистов качественными данными.

Мы ищем:

Инженера данных, который не только умеет строить ETL-пайплайны и витрины, но и мыслит как инженер по качеству данных (Data QA), проходя полный цикл: от проектирования и разработки скриптов сбора данных до внедрения комплексных стратегий их тестирования.

Обязанности

• Разработка и поддержка ETL/ELT скриптов и пайплайнов.
• Написание и оптимизация SQL-запросов для извлечения и преобразования данных.
• Помощь в мониторинге выполнения джобов, поиск и первичный анализ ошибок.

• Тестирование данных, как код:
• -разработка и внедрение стратегии тестирования (Data Testing Strategy) для пайплайнов данных.
• -будет преимуществом - написание и поддержка автоматических тестов для данных: проверка целостности (integrity), свежести (freshness), качества (quality), соответствия схеме (schema conformity), точности бизнес-правил (accuracy).
• -будет преимуществом - интеграция тестов в CI/CD пайплайны (с использованием, например, dbt test, Python-скриптов, Unit-тестов).
• Работа с документацией по существующим процессам и создание новой.
• Активное участие в код-ревью, изучение лучших практик командной разработки витрин.

Требования

• Понимание основ SQL: умение писать запросы с JOIN, GROUP BY, подзапросами. Оконные функции — будут преимуществом.
• Практические знания и навыки Python для целей ETL: понимание структур данных, работа с библиотеками (Pandas, Requests), написание скриптов.
• Понимание принципов работы баз данных: что такое индекс, нормализация, транзакция.
• Понимание принципов ETL/ELT и зачем это нужно.
• Опыт с фреймворками оркестрации: Airflow, Trino, Dagster или аналоги.
• Опыт тестирования данных: практическое применение одного из подходов/инструментов: dbt test, Great Expectations, Pandas/Spark + pytest, unit-тестирование.
• Готовность учиться, внимательность к деталям

Будет огромным плюсом (Nice to have):

• Опыт работы с любым из классических DWH (PostgreSQL, ClickHouse и т.д.) или облачными платформами (Redshift) даже в учебных целях.
• Основы командной строки (Linux).
• Понимание контейнеризации (Docker)
• Умение работать с API.

Условия

• офисный формат работы (современный офис в Москве м. Кутузовский проспект c зонами отдыха и спортзалом)
• годовой бонус и ежегодный пересмотр
• обучение за счет Компании: Корпоративный университет, онлайн курсы, неограниченный доступ к библиотеке, тренинги, митапы и возможность получить новую квалификацию
• расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
• льготная ипотека в Сбере
• корпоративная пенсионная программа
• бесплатная подписка СберПрайм