ReMM SLERP 13B

Суть

ReMM SLERP 13B — экспериментальная пересборка MythoMax-L2-13B, созданная Undi95. В карточке модели указано, что итог получен слиянием ReML и Huginn v1.2 методом SLERP. ReML, в свою очередь, собирали на базе Llama 2 13B с компонентами Chronos-Beluga, Airoboros и Nous-Hermes. Это не отдельная модель, обученная с нуля, а комбинация уже существующих весов.

Сильные стороны

Модель объединяет несколько компонентов, связанных с диалоговыми и инструкционными моделями. В карточке приведён шаблон Alpaca: запрос оформляется как инструкция, а модель должна выдать ответ. Это может быть удобно в сценариях, где важны ответы на текстовые запросы и следование явным указаниям. Разработчик описывает проект именно как пробную пересборку, поэтому результаты могут зависеть от формулировки запроса и выбранного шаблона.

Контекст и модальности

По данным каталога, модель принимает и генерирует текст; длина контекста — 6144 токена. Поддержка изображений, аудио и других модальностей не заявлена. Для обращений в формате инструкций можно использовать шаблон Alpaca из карточки модели.

Типовые сценарии

Текстовые диалоги, ответы на инструкции, генерация и переформулирование текста. Модель можно рассматривать для экспериментов с объединёнными весами и сравнения разных вариантов сборки семейства ReMM.

Ограничения

Это экспериментальное слияние, а не описание гарантированных качеств или специализированных возможностей. В карточке не приводится подробная инструкция по настройке и не заявляется отдельная оптимизация для конкретной прикладной задачи. При использовании стоит соблюдать указанный формат prompt и проверять ответы, особенно если важна точность.

Отличие от соседей по семейству

ReMM позиционируется как обновлённая пересборка оригинальной MythoMax. В отличие от промежуточной ReML, она дополнительно объединяет ReML с Huginn v1.2 посредством SLERP. Коллекция Undi95 объединяет модели, основанные на MythoMax с обновлёнными компонентами.