Мы разрабатываем масштабную систему видеомониторинга и интеллектуальной аналитики. Проект включает обработку видеопотоков, анализ событий и построение AI-решений уровня production. Сейчас мы в поисках Senior/middle ML engineer

• ViT & Мультимодальность: Глубокое понимание Vision Transformers (ViT, Swin, DETR) и видео-трансформеров (TimeSformer, ViViT). Опыт работы с VLM (LLaVA, Qwen-VL) на стыке текста и видеопотоков, fine-tuning (LoRA/QLoRA).
• Video Analytics & DeepStream: Проектирование highload пайплайнов для реал-тайм видеоаналитики. Практический опыт с NVIDIA DeepStream SDK (GStreamer, nvinfer, мультистриминг, трекинг), обработка RTSP-потоков с минимальным latency.
• GPU Optimization & TensorRT: Профилирование и ускорение инференса на GPU. Уверенная работа с TensorRT (layer fusion, INT8/FP16 calibration, dynamic shapes, сборка движков через trtexec), понимание CUDA-специфики и узких мест памяти.
• OpenVINO & Quantization: Оптимизация моделей для CPU/Edge-деплоя. Опыт работы с OpenVINO и NNCF для Post-Training Quantization (INT8/INT4), accuracy-aware тюнинг и минимизация деградации качества при сжатии.
• Dynamo & Компиляция графов: Использование PyTorch 2.0 Dynamo (torch.compile) для JIT-компиляции и слияния графов (AOTAutograd, Triton kernels), ускорение обучения и инференса "из коробки".
• LLM & Кастомные Агентные Системы: Проектирование агентных архитектур поверх LLM без жесткой привязки к "магии" фреймворков. Реализация графов состояний (LangGraph, конечные автоматы), кастомный Tool Calling/Function Calling, паттерны ReAct/Plan-and-Execute, управление контекстом и памятью агентов, оркестрация мультиагентного взаимодействия. Сервинг LLM (vLLM, Continuous Batching).
• RAG & Retrieval: Проектирование пайплайнов от чанкинга до генерации. Понимание векторных БД (HNSW), типов эмбеддингов (Dense, Sparse, ColBERT) и архитектуры реранкинга.
• System Design & MLOps: Проектирование end-to-end AI-архитектуры (FastAPI, K8s, Kafka), расчет Cost/Performance trade-off, LLMOps (Evaluation: RAGAS, LLM-as-a-Judge), CI/CD для ML-моделей.

Что должен уметь кандидат:

• Строить highload-пайплайны видеоаналитики: Проектировать и запускать в прод системы реал-тайм обработки видео (десятки/сотни RTSP-потоков) на базе NVIDIA DeepStream. Уметь писать кастомные GStreamer-плагины, связывать трекинг и детекцию, минимизировать сквозное latency (e2e latency).
• Выжимать максимум из железа (GPU/CPU Optimization): Брать PyTorch-модель и ускорять её в 3-10 раз. Самостоятельно конвертировать модели в ONNX/TensorRT (настраивать динамические размеры, INT8/FP16 калибровку) или OpenVINO (использовать NNCF для квантования с сохранением точности). Применять torch.compile (Dynamo) для ускорения тренировки и инференса.
• Проектировать кастомные агентные системы: Создавать автономных AI-агентов с нуля (или на базе LangGraph), отказываясь от "магии" тяжелых фреймворков там, где нужен контроль. Уметь связывать LLM с внешними API (Function Calling), выстраивать графы состояний, управлять контекстом/памятью агента и обрабатывать его ошибки/галлюцинации.
• Внедрять VLM и ViT в бизнес-процессы: Файн-тюнить Vision Transformers и мультимодальные модели (LLaVA, Qwen-VL) под специфические доменные данные (специфичные кадры, медицинские снимки, спутниковые фото). Склеивать CV-пайплайны (YOLO/DeepStream) с LLM для генерации текстовых отчетов по видео.
• Собирать продакшен-системы на базе RAG: Инжестировать тонны неструктурированных данных, подбирать оптимальные стратегии чанкинга и эмбеддингов, строить гибридный поиск (BM25 + Dense) и реранкинг. Уметь оценивать качество RAG-пайплайна (RAGAS) и устранять галлюцинации.
• Выводить AI в Production (End-to-End): Упаковывать модели в микросервисы (FastAPI/gRPC),orchestрировать их в Docker/Kubernetes. Настраивать CI/CD для ML, мониторить инференс (TTFB, throughput, GPU utilization, drift метрик) и строить процессы переобучения/обновления моделей без даунтайма.
• Принимать архитектурные решения: Оценивать Cost/Performance trade-off: выбирать между вызовом API провайдера и деплоем Open Source модели на своих GPU; решать, когда писать кастомного агента на чистом Python, а когда использовать готовый фреймворк.
• Брать техническое лидерство: Проектировать архитектуру AI-компонентов проекта, декомпозировать задачи для мидлов и джуниоров, проводить код-ревью ML-кода и задавать стандарты качества (логирование, тестирование, репродуктивность) в команде.

Условия:

• Работа над масштабным государственным / национальным проектом

• Современный AI-стек (LLM, multimodal, CV)

• Возможность влиять на архитектуру решений

• Конкурентную заработную плату