Чем предстоит заниматься
Проектировать, развивать и оптимизировать платформы хранения и обработки данных (DWH и Data Lake)
Реализовывать надёжные, масштабируемые и повторяемые ETL/ELT-процессы
Интегрировать данные из различных источников (БД, API, файловые хранилища и др.)
Оптимизировать SQL-запросы и организацию хранения данных в соответствии с потребностями аналитики
Разрабатывать стриминговые процессы обработки данных на базе Apache Flink и Python
Внедрять лучшие практики в области качества данных, мониторинга и информационной безопасности
Что важно знать и уметь
Уверенные знания принципов построения архитектуры хранилищ данных (DWH) и многомерного моделирования
Продвинутый уровень SQL: оконные функции, анализ и оптимизация планов выполнения, стратегии соединений
Опыт работы с Hadoop/S3 и различными форматами хранения (Parquet, Avro, ORC)
Практический опыт использования Apache Airflow для оркестрации процессов
Навыки интеграции данных из PostgreSQL, Oracle, API, S3, FTP/NFS и других источников
Владение Python для написания скриптов и утилит
Уверенная работа в Linux-среде: bash, работа с логами, автоматизация, диагностика
Системное мышление и самостоятельный подход к решению задач
Будет плюсом
Понимание архитектуры Apache Kafka
Опыт работы с Apache Flink, знание Java на базовом уровне
Опыт использования Apache Spark
Знание принципов CDC и опыт работы с инструментами Oracle GoldenGate, Debezium
Навыки работы с Docker, Kubernetes, CI/CD и Git
Опыт построения отчётности и визуализации данных (Superset, Power BI и др.)