OpenAI Text Embedding Ada 002

Суть

Модель OpenAI преобразует текст в числовые векторные представления — embeddings, которые помогают приложениям сопоставлять фрагменты по смыслу, а не только по совпадению слов. По данным каталога, на вход принимается текст, контекст составляет 8192 токена, а среди выходных модальностей указаны embeddings и text.

Сильные стороны

OpenAI представила модель как единое решение для нескольких задач, ранее обслуживавшихся отдельными embedding-моделями: поиска по тексту, сходства текстов и поиска по коду. В опубликованном сравнении она превосходила предыдущие embedding-модели OpenAI в задачах текстового и кодового поиска, а также определения сходства предложений; для классификации результаты были сопоставимы с прежними моделями. Увеличенный контекст упрощает обработку длинных документов без необходимости заранее дробить каждый материал на короткие части.

Типовые сценарии

Векторные представления можно сохранять в индексе и использовать для семантического поиска: запрос и документы сравниваются по близости векторных представлений, чтобы находить тематически релевантные материалы. Другие подходящие сценарии — ранжирование текстов по сходству, группировка похожих документов и поиск по коду. Embeddings также могут служить признаками для систем рекомендаций и классификации, но качество в каждом таком применении следует проверять на собственных данных.

Ограничения

Это embedding-модель, а не универсальная система для написания ответов: её основная функция — представлять текст в векторном виде. В анонсе OpenAI отмечено, что на задаче классификации с обучением лёгкого линейного слоя модель не превосходила text-similarity-davinci-001; для такого сценария компания рекомендовала сравнить качество обеих моделей. Результаты поиска и сходства зависят от того, как подготовлены тексты и запросы, а также от выбранного способа сравнения векторов. Для конкретного набора данных полезно оценивать релевантность результатов отдельно.