Sentence Transformers multi-qa-mpnet-base-dot-v1

Суть

Модель Sentence Transformers кодирует вопросы, предложения и абзацы в плотные векторные представления. Она предназначена прежде всего для семантического поиска: вопрос и подходящие ему фрагменты текста располагаются в векторном пространстве так, чтобы их можно было сопоставлять по dot-product. Модель обучалась на разнообразных парах «вопрос—ответ» и опирается на базовую модель MPNet.

Сильные стороны

Обучение на данных из разных источников и областей помогает использовать модель для широкого круга поисковых задач, а не только для одного тематического корпуса. Векторные представления удобно заранее рассчитывать для документов, хранить в векторном индексе, а затем сравнивать с представлением нового запроса. Для штатного сопоставления модель настроена на скалярное произведение; в реализации Sentence Transformers для этого предусмотрена функция dot score.

Контекст и модальности

Согласно данным каталога, модель принимает текст, возвращает эмбеддинги, а контекстное окно составляет 512 токенов. Карточка модели указывает, что вход длиннее 512 word pieces обрезается; при этом при обучении использовались тексты длиной до 250 word pieces, поэтому для более длинных фрагментов качество не гарантируется. Это модель векторизации, а не генератор ответов.

Типовые сценарии

Модель подходит для поиска релевантных абзацев по вопросу или короткому запросу, семантического поиска по базе знаний и FAQ, а также ранжирования найденных текстов по близости векторов. Типовой процесс: отдельно закодировать запрос и документы, вычислить dot-product между векторами и отсортировать документы по полученным оценкам.

Ограничения

Векторы этой версии не нормализованы, поэтому для сопоставления следует учитывать настройку dot-product, указанную в карточке модели. Длинные входы обрезаются, а обучение на фрагментах до 250 word pieces не даёт оснований считать, что модель одинаково хорошо обрабатывает объёмные документы целиком. Модель создаёт представления текста, но сама не формирует ответ на вопрос.

Отличие от соседей по семейству

В семействе Multi-QA есть варианты на MPNet, DistilBERT и MiniLM, а также версии с обозначением dot и cos. Данная версия использует MPNet и настроена на dot-product. Вариант multi-qa-mpnet-base-cos-v1 — соседняя модель с косинусной настройкой; выбор между ними связан со способом сравнения векторов и требованиями поискового конвейера.