О проекте
Мы строим DataHub — централизованную платформу управления данными экосистемы Centras Group. Это «сердце» нашей IT-инфраструктуры, связующее звено между 20+ источниками (Web, Mobile, CRM, ERP) и потребителями данных (CDP, MDM, BI).
Наша глобальная цель — создать Single Customer View (единый профиль клиента), обеспечив бизнес качественными данными для персонализации маркетинга и принятия решений.
Ключевая задача (The Challenge)
Вам предстоит выстроить архитектуру данных. Главный вызов — реализовать механизмы идентификации и склейки профилей клиентов (Identity Resolution). Нужно превратить разрозненные потоки данных (анонимные cookie, user_id, транзакции в ERP) в «золотую запись» клиента, чтобы мы могли узнать своего пользователя на любом этапе взаимодействия — от первого клика на сайте до покупки.
Чем предстоит заниматься:
- Архитектура и проектирование: Спроектировать структуру хранилища данных (DWH) и архитектуру баз данных DataHub.
- ETL и Интеграция: Настройка пайплайнов сбора данных из разнородных источников (Logs API, CRM, ERP, внешние API). Разработка и поддержка DAG-ов в Apache Airflow.
- Identity Resolution: Реализация алгоритмов склейки профилей (связка centr_cid, user_id, contact_hash) для обеспечения кросс-платформенного трекинга.
- Качество данных (Data Quality): Внедрение процессов очистки, дедупликации и обогащения данных перед их передачей в MDM и CDP системы.
- Аналитическая база: Подготовка витрин данных для BI-систем и создание фундамента для будущей ML-аналитики.
- Взаимодействие с командой: Постановка технических заданий бэкенд-разработчикам (например, по прокидыванию ID в события) и тесное общение с бизнес-заказчиками.
Наш стек (текущий и планируемый):
- Orchestration: Apache Airflow.
- DB/DWH: PostgreSQL, ClickHouse.
- Languages: Python (pandas, pyspark, requests), SQL.
- Tracking & Sources: Yandex Metrica (Logs API), GA4, внутренние CRM/ERP системы.
Что ожидаем от кандидата:
Сильный SQL
Уверенный Python
Опыт с оркестраторами
Работа с веб-данными
Архитектурное мышление
Гибкость и командный дух
Будет большим плюсом :)
● Реальный коммерческий опыт построения DWH или CDP-систем с нуля.
● Опыт внедрения и профильного использования dbt (Data Build Tool).
● Навыки подготовки оптимизированных витрин для BI-инструментов (Superset, Tableau, Power BI).
● Понимание принципов Data Governance, обеспечения Data Quality и защиты персональных данных (GDPR/КЗПД).
Условия:
- Оформление согласно трудовому законодательству РК
- Скидки на медицинское страхование в собственной клинике
- Обучение и профессиональное развитие в iHub
- Участие в конференциях (внутренние и внешние)
- Корпоративная культура: тимбилдинги (летние и зимние), различные спортивные мероприятия, интеллектуальные игры (Quizы)
- Предоставление выходного дня (адм. дни - в зависимости от стажа работы в компании) без удержания заработной платы
- Отпуск 28 календарных дней
- Начисление баллов – Сенткоинов, возможность заработать внутреннюю валюту и потратить её на разные бонусы в компании.