Thenlper GTE-Large

Суть

GTE-Large — модель для создания текстовых эмбеддингов, разработанная Alibaba DAMO Academy. Она кодирует текстовые фрагменты в векторные представления, которые можно сравнивать, чтобы оценивать смысловую близость. Семейство GTE основано на архитектуре BERT и обучалось на разнообразных парах текстов с оценкой релевантности. В исследовательской работе описан многоэтапный подход с контрастивным обучением.

Сильные стороны

Модель предназначена для задач, где важно находить смысловые соответствия, а не только совпадения слов. Её можно применять для извлечения информации, оценки семантического сходства и ранжирования текстов. Обучение на наборах данных из разных источников и областей поддерживает использование в различных сценариях обработки текста. В работе о GTE также описано применение общего подхода к поиску фрагментов кода, представленного как текст.

Типовые сценарии

• Семантический поиск по коллекциям документов или фрагментов текста.
• Подбор релевантных материалов для систем поиска и RAG.
• Сравнение запросов и документов либо пар предложений по смыслу.
• Переранжирование найденных результатов перед показом пользователю.

Ограничения

Модель рассчитана на английский язык; качество для других языков не следует считать подтверждённым. Она принимает текст и возвращает эмбеддинги, а не готовые ответы или сгенерированные документы. Контекст модели — 512 токенов; более длинный текст при обработке обрезается, поэтому документы обычно нужно делить на фрагменты. Для применения в поиске эмбеддинги запросов и индексируемых текстов следует получать совместимым способом, после чего сравнивать их подходящей метрикой.