Linux developer — RK3588, Video-In, Video-Out, ML/CV, Dewarp, H264 encoding

Описание вакансии

Приглашаем опытного разработчика встроенных Linux систем, фокус на обработке видео на аппаратных платформах Rockchip, NVidia Jetson. Исключительно мирные продукты, западные заказчики, долгосрочные и стабильные проекты.

Два проекта, с которых предлагаем начать:

1. Написание софта верхнего уровня для панорамной камеры базе RK3588. Камера будет устанавливаться на гольф-поля и мониторить прилёт мяча в лунку. Требуется написать детектор мяча на площадке, определять, попал ли мяч в лунку, определять расстояние, на котором он остановился. Требуется разработать метод оптимального кодирования информации о площадке и минимизировать объем видеоинформации, доставляемой на сервер.

2. Интеграция с виртуальными гольф-симуляторами. Мы устанавливаем в гольф-клубы записывающие устройства, которые стримят игру в виртуальный гольф к нам в облако. Мы обучаем модели игры на основе полученных записей, что позволит предлагать игроку делать ставки на исход собственного удара в системе. Требуется разработать алгоритм систему неинвазивного мониторинга игры, где мы имеем доступ только к HDMI сигналу, по которому рендеры из симулятора идут на проектор.

Обязанности:

• Разработка ПО для встроенных Линкус-систем на базе RK3588
• Разработка алгоритмов обработки видеопотоков с камер, сегментация изображения, детекция объектов
• Захват видео (Video-In)
• Применение ML/CV моделей, запуск моделей на NPU
• Вывод обработанного видео (Video-Out)
• Кодирование видео (.H264/265)
• Стриминг видеопотоков и метаданных в облако
• Оптимизация потребления, интеграция с облачными сервисами

Требования:

• Длительный опыт разработки под Linux для встраиваемых систем
• Опыт обработки видеопотоков на Rockchip, NVidia Jetson

Желательно:

• Опыт работы над проектами сложных электронных устройств
• Понимание схемотехники, принципов работы современной электроники
• Знание английского языка на уровне, достаточном для технического общения с коллегами-иностранцами.

Кратко о нас:

Мы - инжиниринговая компания полного цикла. Мы создаем электронные устройства от идеи до массового производства для заказчиков в Америке и Европе. У нас есть офисы разработки в Москве и Иваново, мы производим электронику в Тайване, разрабатываем софт во Вьетнаме. У нас сложные проекты, быстрый темп работы и очень адекватные коллеги.

Примеры недавних и активных в настоящий момент проектов:

• Карманная система личной безопасности. Встроенная камера наблюдения, центральный процессор RV1106G3, система датчиков, сенсорный хаб на nRF54L15, спикер и микрофон. Интерфейсы BLE/WiFi/LTE. Full-stack разработка (hardware/firmware/mobile app, back/front, UX/UI).
• Система мониторинга для гольф-полей. Разработка кастомных панорамных камер на RK3588 со стримингом видео через LTE. Интеграция радара для отслеживания мяча. Продвинутый софт для управления сетью устройств на множестве гольф-полей. Очень сложный и масштабный full-stack проект (электроника, firmware, UX/UI, back/front, mobile, интеграция с 3rd party системами)
• Голосовой ассистент на базе ИИ. Формат плоского кредла, вставляется в айфон. Активирует DP Alt Mode. Принимает видео с экрана телефона, конвертирует кадры в JPEG при помощи ПЛИС. Кадры отправляются в облако, в ответ генерируется последовательность нажатий мыши и клавиатуры, которое устройство ретранслирует на айфон. Фактически, OpenClaw для телефона. Всё в формате платы 53x9 мм.
• Система "умная яхта". Набор датчиков для применения на лодках и яхтах разного размера. Гейтвей Zigbee-to-LoRaWAN для лодок. LoRaWAN интерфейс для передачи данных на берег. Своя система мониторинга состояния лодок и предупреждения опасных ситуаций. Частная сеть LoRaWAN.
• Семейство электровелосипедов нового поколения. Цифровое управление steer-by-wire. Полное проектирование конструктива, схемотехники и встроенного ПО. Четыре процессорных узла. Бортовая шина CAN. Кастомные бутлоадеры и каскадное обновление встроенного ПО.
• Смарт-часы со встроенными картами, i.MX RT500, конкурент часам Garmin Fenix. Полная разработка электроники и конструктива, встроенного софта, облачных сервисов. Разработка велась в четырех странах.
• Кастомная материнская платы для Nvidia Orin NX (мы - официальный партнер NVidia).
• VR-шлем со встроенными электродами ЭЭГ (на базе Meta Quest Pro). Полная разработка конструктива, электроники, встроенного софта, интеграция с VR-приложением.
• Система диагностики спазмов мышц ротовой полости, сбора телеметрии о состоянии пациента. Разработка электроники, конструктива, встроенного ПО, мобильного приложения.
• 8-канальный портативный энцефалограф, возможность подключения пассивных и активных электродов.
• Система промышленного взвешивания с облачными сервисами управления запасами. Разработка электроники и встроенного ПО, web-сервисы.
• Интерактивный баскетбольный щит (Nvidia Orin / RK3588). Разработка конструктива, электроники, ML конвейеров для сегментации игровой площадки, распознавание игроков, мяча, определение траектории движения мяча, детекция промахов и попаданий в сетку.

Мы вовлечены во все стадии разработки - от создания PoC и pre-EVT прототипов до запуска в производство в Китае и в Тайване. Если у вас есть интерес к новыми технологиям, к постоянной разработке инженерно-сложных продуктов, ориентированных на международный рынок, будем рады с вами побеседовать.

Условия:

• Full-time занятость на наших проектах
• Возможна работа удаленно или в одном из наших офисов
• Поездки в Тайвань на запуск новых устройств
• Конкурентная заработная плата
• Корпоративная поддержка повышения уровня английского языка

Ключевые навыки

• RK3588
• NVidia Jetson
• V4L2 video
• Video in/out
• H.264
• H.265
• Computer Vision
• Machine Learning