Data Lakehouse Engineer в Корпоративное хранилище

RWB (Wildberries & Russ) · Москва

Описание вакансии

Вам предстоит:

Проектировать и развивать Data Lakehouse платформу;
Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino;
Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake;
Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana;
Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm);
Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт.

Формат работы - гибридный по договоренности с руководителем.

Вы нам подходите, если:

Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений;
Обладаете опытом проектирования DLH с нуля;
Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов;
Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий);
У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов;
Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов.