Go-разработчик

Описание вакансии

ML Media — продукт ML R&D: единый gateway для различных AI-технологий. Продуктовые команды VK интегрируются с платформой один раз и получают доступ ко всему спектру речевых и мультимедийных ML-моделей:

• ASR — распознавание речи: синхронное, асинхронное (длинные аудио) и realtime-стриминг
• TTS — синтез речи
• CV — компьютерное зрение: детекция лиц, оценка качества видео, deepfake-детекция, OCR
• VQE — улучшение качества речи: шумоподавление, определение голосовой активности
• Диаризация — разметка аудио по спикерам
• Суммаризация — краткое содержание аудио и видео на базе LLM: главные тезисы длинных записей за секунды, а не часы прослушивания

За единым API платформа скрывает всю инженерную обвязку: маршрутизацию и балансировку нагрузки на GPU-парк с моделями на NVIDIA Triton Inference Server и vLLM, квоты и рейт-лимиты, асинхронную обработку длинных медиа, защиту GPU-парка от перегрузки и наблюдаемость всего контура.

ML Media уже интегрирована с ключевыми продуктами VK: MAX, VK Мессенджер, VK ID, VK Звонки и VK Видео. Наши пользователи — миллионы людей, которые каждый день распознают и синтезируют речь, общаются с голосовыми ассистентами и смотрят видео.

Сейчас мы проходим трек платформизации существующих технологий: ASR, TTS, CV и другие сервисы уже работают в production по отдельности — мы объединяем их в единую платформу с общим API, единой плоскостью управления и общей инфраструктурой. Отдельная инженерная задача — сделать так, чтобы подключение новой технологии к платформе занимало дни, а не месяцы.

Команда интеграции технологий разрабатывает компоненты платформы — API-шлюз (gRPC, REST и MCP для LLM-агентов), плоскость управления (пользователи, токены, квоты), асинхронный контур обработки задач и клиентский инструментарий (CLI, MCP) — и отвечает за то, чтобы research-модели становились надёжными production-API.

Задачи

• Разработка платформы: API-шлюз (gRPC, REST, MCP), плоскость управления (пользователи, токены, квоты), асинхронный контур обработки задач, клиентский инструментарий (CLI, MCP)

• Поддержка существующих интеграций: сопровождение интеграций продуктовых команд (MAX, VK Мессенджер, VK ID, VK Звонки, VK Видео), помощь в подключении, разбор инцидентов

• Балансировка и роутинг запросов к ML-бэкендам: кастомные gRPC balancer'ы, health-probing реальными inference-запросами, теговый роутинг моделей

• Admission control на основе утилизации GPU: метрики throughput, гистерезис throttle/reject, сигналы автоскейлеру

• Асинхронная обработка длинных медиа: Kafka-воркеры, outbox, ретраи и восстановление задач, партиционирование таблиц PostgreSQL

• Наблюдаемость и эксплуатация: Prometheus-метрики, Sentry, структурированные логи, поиск узких мест

• Взаимодействие с ML-командами и продуктовыми заказчиками, участие в проработке архитектуры

Требования

• Опыт коммерческой разработки на Go

• Уверенное владение конкурентностью: goroutines, context, errgroup, graceful shutdown
• Опыт проектирования отказоустойчивых высоконагруженных систем
• Опыт с gRPC (streaming, interceptors), PostgreSQL, Redis, Kafka или другими брокерами сообщений
• Навыки диагностики production-проблем: метрики, логи, профилирование
• Системное мышление

Будет плюсом

• Опыт с NVIDIA Triton Inference Server, vLLM или другими платформами ML-сервинга
• Понимание метрик ML-инференса: real-time factor, throughput, latency, утилизация GPU
• Опыт разработки кастомных gRPC balancer'ов или resolver'ов
• Опыт с admission control, capacity planning, автоскейлингом
• Понимание agentic AI: MCP, tool calling
• Опыт с sqlc, testcontainers, codegen-пайплайнами
• Знание Python — для взаимодействия с ML-кодом бэкендов

Ключевые навыки

• Диагностика
• PostgreSQL
• Архитектура
• Эксплуатация
• Работа с клиентами
• Prometheus
• Маршрутизация
• Активность