Sieve запустила мультимодальную лабораторию данных, сосредоточенную на аннотировании видео и аудио, согласно освещению этого анонса. Компания описывается как создающая инструменты для передового AI, с рабочими процессами, охватывающими аннотирование видео и аудио, а не только текста.
Различие, важное для агентной инженерии, заключается в том, где инструмент находится в стеке. Продукт Sieve нацелен на подготовку данных, а не на обслуживание моделей. Это ставит его выше по потоку от цикла оценки: аннотирование и разметка определяют, какие траектории существуют в наборе данных, и, следовательно, какие поведения агента вообще могут быть оценены. Для команд, работающих с мультимодальными агентами, практическое ограничение редко заключается в самом оценщике, а в стоимости и задержке превращения сырого вид
Несколько деталей остаются неясными из предоставленного освещения. Нет информации о поддерживаемых форматах, пропускной способности, механизмах контроля качества или о том, как результаты аннотирования экспортируются в конвейеры обучения и оценки. Бенчмарки, имена клиентов или даты доступности не были включены, поэтому заявления о масштабе пока не могут быть проверены независимо.
Behzat AI отслеживает инструменты аннотирования и подготовки данных как зависимость мультимодальной оценки агентов. Системы, которые не могут создавать надёжные метки для видео и аудио, не могут создавать надёжные оценки для агентов, которые их потребляют.