Perceptron: Perceptron Mk1

Суть

Мультимодальная модель Perceptron для анализа изображений и видео по запросу на естественном языке. Она формирует ответы о визуальном содержимом и может выдавать описания или структурированные результаты для задач восприятия.

Сильные стороны

В документации разработчика перечислены вопросы и ответы по изображениям и видео, обнаружение объектов, распознавание текста (OCR), создание подписей к изображениям и поиск фрагментов видео с указанием временных границ. Для одного изображения или видео можно задать несколько вопросов за один вызов. Модель также поддерживает адаптацию к визуальным задачам на примерах, переданных в контексте.

Контекст и модальности

По данным каталога, модель принимает текст, изображения и видео, а отвечает текстом. Размер контекста — 32 768 токенов, максимальная длина генерации — 8 192 токена. Документация описывает передачу изображений и видео вместе с текстовым вопросом; для изображений указаны JPEG, PNG и WebP, для видео — MP4 и WebM.

Типовые сценарии

Подходит для разбора видеозаписей и отдельных кадров: можно выяснять, что происходит, находить нужное событие, запрашивать временные границы фрагмента, распознавать текст на изображении или просить описать сцену. Детекция объектов полезна, когда требуется указать положение искомых объектов, а режим нескольких вопросов — когда один и тот же визуальный материал нужно проверить по нескольким пунктам.

Ограничения

В каталоге заявлены текст, изображения и видео на входе и текст на выходе; поддержку аудио эти сведения не подтверждают. Документация описывает API-задачи восприятия, но сама по себе не гарантирует безошибочное распознавание, точность координат или пригодность ответов для решений, где нужна проверка человеком. Время обработки видео в реальном времени в приведённых источниках не обещано.

Отличие от соседей по семейству

Документация отдельно упоминает Perceptron Mk1.5 и отмечает для него поддержку вызова инструментов и обновлённую обработку аннотаций. Это отличает описанную версию Mk1 по заявленным возможностям API; подробного сопоставления качества или полного перечня различий между версиями источник не приводит.