Intfloat E5-Base-v2

Суть

E5-base-v2 — модель для получения текстовых эмбеддингов: она кодирует английский текст в векторы, пригодные для сравнения по смыслу. Модель относится к семейству E5 и основана на подходе контрастивного обучения с использованием слабой разметки. Она не предназначена для генерации ответов или продолжения диалога: результатом работы служит представление текста, которое можно использовать в других системах.

Сильные стороны

Для задач поиска модель обучена различать запрос и документ с учётом их роли. Поэтому в обучающем формате перед запросом ставят префикс query: , а перед текстом-кандидатом — passage: . Для задач, где сравниваются тексты одного типа, например семантическое сходство или поиск перефразировок, в карточке модели рекомендуется префикс query: . Эмбеддинги можно нормализовать и сравнивать, например, косинусной близостью; важнее порядок результатов, а не абсолютное значение оценки.

Контекст и модальности

На вход подаётся текст, на выходе формируются эмбеддинги. Контекст каталога — 512 токенов; более длинный текст при обработке обрезается. Поддержки изображений, аудио или видео в данных каталога не указано.

Типовые сценарии

Модель подходит для семантического поиска по коллекции документов, ранжирования текстовых фрагментов относительно запроса, поиска похожих предложений и перефразировок, а также кластеризации. В задачах поиска запрос кодируют с префиксом query: , а индексируемые документы — с passage: . Для использования в качестве признаков, например в классификации или группировке, авторы также рекомендуют query: .

Ограничения

Согласно карточке модели, она рассчитана только на английские тексты. Вход длиннее установленного контекста будет усечён, поэтому важные сведения в конце документа могут не попасть в представление. Для осмысленного применения необходимо отдельно организовать хранение векторов, поиск ближайших соседей и проверку качества на данных конкретной задачи. Сырые значения сходства не следует трактовать как вероятность или универсальную оценку релевантности.

Отличие от соседей по семейству

В линейке E5 есть варианты e5-small-v2, e5-base-v2 и e5-large-v2. Эта модель — вариант Base, тогда как соседние модели относятся к Small и Large. Карточки семейства показывают, что варианты отличаются устройством эмбеддингов; выбор стоит делать с учётом требований конкретного проекта и проверять на собственных запросах и документах. Формат префиксов query: и passage: используется для задач поиска и в документации этого семейства.