Мы развиваем Цифровую Платформу Данных (ЦПД) - корпоративное DWH-решение для сбора, обработки и предоставления данных бизнес-подразделениям. Ищем Tech Lead разработчика, который будет участвовать в развитии архитектуры платформы, обеспечении стабильности процессов и повышении качества данных.
Tech Lead, для исполнения архитектурного развития платформы и технологических решений, лидирования команды разработки.
- Техническое лидерство команды
- Code review и развитие инженерных стандартов
- Менторинг и развитие разработчиков
- Развитие архитектуры ЦПД
- Формирование стандартов разработки и Data Engineering best practices
- Выбор инструментов и технологических подходов
- Проработка архитектуры отказоустойчивости и масштабируемости
- Сбор, анализ и формализация требований бизнес-заказчиков
- Проектирование и реализация решений в рамках ЦПД
- Разработка и оптимизация ETL/ELT-процессов
- Настройка, мониторинг и отладка регламентных процессов загрузки и трансформации данных
- Мониторинг качества данных, анализ инцидентов, устранение сбоев
- Восстановление корректности данных при инцидентах
- Участие в проектах по оптимизации, автоматизации и повышению надежности платформы
- Подготовка технической документации
- Обмен экспертизой и менторинг внутри команды
Наши ожидания:
- Архитектура и данные
- Глубокое понимание архитектуры DWH
- Опыт проектирования распределённых систем обработки данных
- Понимание процессов CDC / ETL / ELT
- Опыт работы с большими объёмами данных
Базы данных:
- Экспертные знания SQL (оптимизация, планы выполнения, сложные запросы)
- Опыт работы с PostgreSQL / Greenplum
- Понимание принципов работы MPP-систем
- Опыт оптимизации производительности
Инструменты:
- Уверенная работа с Git (ветвление, code review, release-процесс)
- Python для задач обработки данных
- Опыт работы с S3-совместимыми хранилищами
- Уверенная работа со Spark
- Опыт работы с инструментами управления пайплайнами (dbt, Dagster или аналоги)
- Понимание CI/CD для data-пайплайнов
- Опыт работы с ETL-инструментами (Informatica PowerCenter или аналоги)
- Навыки мониторинга и поддержки продакшн-систем
Будет плюсом:
- Опыт построения Lakehouse-архитектуры
- Опыт построения self-service аналитической среды
- Опыт миграции DWH или масштабирования платформ
Мы ожидаем от Tech Lead:
- Самостоятельно формирует архитектурные решения
- Предлагает и реализует улучшения платформы
- Участвует в стратегических технических решениях
- Видит систему целиком, а не только отдельные пайплайны
Условия: