Платформа 4.0
MLLM и RAG в видеоаналитике Platform 4.0
Промпты, мультимодальная интерпретация событий, нормативный контекст RAG и проверка ответов MLLM в VizorLabs Platform 4.0. Границы конфигурации и развития.
На этой странице
Зачем MLLM после детектора
Детектор находит визуальные признаки. Мультимодальная языковая модель может дополнить их человекочитаемым пояснением: описать ситуацию и дать оператору контекст для разбора. Входом служат изображение или видеофрагмент и доступные метаданные, а не только название обнаруженного объекта.
Обзор Platform 4.0 описывает MLLM как платформенный контур с промптами, выбором модели, тестированием на изображении и сохранением ответа в карточке. Состав моделей, RAG-источников, привязок и вычислительных ресурсов зависит от поставки.
Промпт, модель и привязка
Промпт задаёт задачу интерпретации: что описывать, какие признаки учитывать и в каком виде возвращать результат. Его можно связывать с камерой или классом событий в предусмотренной конфигурации. Модель и промпт нужно проверять совместно: один и тот же текст не гарантирует одинакового результата на разных моделях.
- Определите входные данные и исключите лишнюю служебную информацию.
- Разделите наблюдаемое на кадре, контекст из справочников и предположение модели.
- Проверьте промпт на обычных, спорных и отрицательных примерах.
- Предусмотрите ситуацию, когда изображения или контекста недостаточно для уверенного вывода.
RAG и нормативная база предприятия
RAG добавляет к запросу релевантные фрагменты разрешённых документов: регламентов, инструкций, классификаторов рисков и сведений об объекте. Это отличается от обучения модели на всех документах предприятия.
Для проектирования полезно зафиксировать версии документов, границы доступа, источники фрагментов и порядок обновления. Ответ по устаревшему регламенту или без ссылки на использованный материал нельзя считать проверенным объяснением требования. В концепции развития отдельно описана трассируемость каждого такого вывода.
Как проверять качество интерпретации
Начните с ограниченного набора типов событий. Сопоставьте исходные медиа, ответ модели и решение специалиста. Оценивайте не только убедительность формулировки, но и соответствие кадру, полноту контекста, корректность ссылки на норму и наличие необоснованных выводов.
В режиме автоматической верификации модель может выполнить проверку вместо оператора. В режиме дополнительного контекста её ответ поясняет событие; правила применения результата задаются отдельно. Уверенность детектора, уверенность языковой модели и решение оператора — разные показатели; объединять их в одну «точность системы» без методики нельзя.
| Проверка | Что искать |
|---|---|
| Визуальное подтверждение | Признак действительно виден или модель его достроила |
| Применимость правила | Документ относится к этому объекту, зоне и операции |
| Повторяемость | Как меняется результат на похожих кадрах и при обновлении промпта |
| Ресурсы | Время ответа, очередь обработки и нагрузка на целевое оборудование |
| Работа оператора | Помогает ли пояснение проверить событие и зафиксировать решение |
Что добавляет концепция развития
Дополнительное описание уже может запрашиваться через механизм верификации. Документ от 08.05.2026 отдельно предлагает расширенный процесс «Контекст»: теги, подробное описание события, ссылки на нормы, рекомендации оператору и управляемую историю генерации. Отдельные направления — чат по журналам и AI-черновики сценариев. Эти направления описаны как развитие, а не как доступный по умолчанию набор функций каждого релиза.