GPT-4o (2024-05-13)

Суть

GPT-4o — мультимодальная модель OpenAI, представленная 13 мая 2024 года. В этой версии можно отправлять текст, изображения и файлы, а получать текстовые ответы. Она рассчитана на диалоговые задачи, где нужно не только сформулировать ответ, но и учитывать содержание визуального материала.

Сильные стороны

В анонсе OpenAI отмечены способности модели работать с текстом, рассуждениями и кодом на уровне GPT-4 Turbo, а также улучшения в понимании изображений и обработке текстов на разных языках. Это делает её подходящей для задач, где важно совместить анализ текста с интерпретацией изображения. Эти характеристики описывают семейство GPT-4o; конкретные возможности вызова определяются доступными для этой версии входами и выходами.

Контекст и модальности

Длина контекста — 128 000 токенов. Согласно данным каталога, входные данные могут включать текст, изображения и файлы, а выход — текст. Поэтому в этом варианте не следует рассчитывать на аудиовход или генерацию аудио: они не указаны среди доступных модальностей. Анонс OpenAI описывает более широкий мультимодальный замысел GPT-4o, но при запуске через API были открыты текстовые и визуальные возможности.

Типовые сценарии

Модель можно использовать для вопросов по изображению, описания визуального содержимого, анализа предоставленных файлов, суммирования и редактирования текста, объяснения понятий, помощи с кодом и обычного диалога. Она также подходит для сценариев, где изображение или документ нужно рассматривать вместе с текстовой инструкцией.

Ограничения

Ответы модели могут содержать ошибки, поэтому важные сведения стоит проверять. Возможности версии ограничены перечисленными в каталоге модальностями: текст на выходе, текст, изображения и файлы на входе. Официальный анонс также отмечает, что у модели есть ограничения, но не даёт оснований считать её ответы безошибочными.

Отличие от соседей по семейству

По сравнению с GPT-4 Turbo OpenAI заявляла сопоставимый уровень для английского текста, рассуждений и программирования, а также улучшения в работе с изображениями и многоязычным текстом. Идентификатор с датой указывает на конкретный выпуск от 13 мая 2024 года, а не на автоматически обновляемую версию модели. При сравнении с другими вариантами GPT-4o важно сверять их фактические входы и выходы: общее описание семейства может включать модальности, недоступные в конкретной конфигурации.