Intfloat E5-Large-v2

Суть

E5-large-v2 — модель встраивания текста из семейства E5, опубликованная под именем intfloat. Она преобразует английские запросы, фрагменты и документы в плотные векторные представления. Смысловая близость текстов отражается в близости их векторов, поэтому результаты можно сравнивать и ранжировать по сходству. Модель основана на подходе контрастивного предварительного обучения со слабой разметкой.

Сильные стороны

Модель предназначена для задач, где важно сопоставлять формулировки по смыслу, а не только искать совпадающие слова. В сценариях поиска рекомендуется явно обозначать тип входа: добавлять префикс query: для запроса и passage: для текста-кандидата. Для симметричных задач, например сравнения двух фраз, в карточке модели рекомендовано использовать query: для обоих текстов. Такое оформление соответствует тому, как модель обучалась, и помогает применять её в целевых сценариях.

Типовые сценарии

• Семантический поиск и retrieval: кодирование запроса и коллекции текстов с последующим ранжированием кандидатов по сходству векторов.
• Поиск фрагментов для систем ответов на вопросы и других приложений, которым нужно находить релевантный контекст в документах.
• Оценка семантического сходства, поиск перефразировок и кластеризация текстов.
• Получение векторных признаков для последующей классификации или других задач машинного обучения.

Ограничения

Модель предназначена только для английского текста; её применение к другим языкам не заявлено как поддерживаемый сценарий. Максимальная длина входа — 512 токенов: более длинные тексты обрезаются, поэтому важная информация в конце может не попасть в представление. Для поиска следует сохранять различие между префиксами запроса и документа, а для сопоставления векторов использовать одинаковую схему кодирования. В примере из карточки применяются усреднение скрытых состояний с учётом маски внимания и нормализация векторов; при самостоятельной интеграции важно согласовать обработку текста и вычисление сходства для запросов и индексируемых документов.