Дата-инженер

Описание вакансии

Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии.

Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana.

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий.

Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком.

Задачи

• Построение новых и рефакторинг старых ETL-процессов
• Ad hoc задачи по выгрузкам / подготовке данных, их автоматизация при необходимости
• Участие в доработках платформы и фреймворка расчётов
• Разработка отчётов в SuperSet
• Автоматизация процессов с использованием LLM

Требования

• Опыт работы с SQL и большими объёмами данных
• Опыт построения сложных ETL-процессов
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
• Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow

Будет плюсом

Опыт работы с YTsaurus, YQL, LLM.

Ключевые навыки

• Анализ данных
• A/B тесты
• Автоматизация процессов
• Clickhouse
• Автоматизация
• Алгоритмы и структуры данных