# Llama 3.1 8B Instruct

> Текстовый помощник для диалога, генерации и обработки кода и обычного текста; подходит для чат-ботов и прикладных языковых задач.

- **ID для API:** `meta-llama/llama-3.1-8b-instruct`
- **Тип Модели:** Чат-модель
- **Контекст:** 131 072 токенов
- **Максимум на ответ:** 16 384 токенов
- **Вход:** текст → **Выход:** текст

## Описание

#### Суть
Инструкционная текстовая модель Meta для диалогового взаимодействия и генерации ответов. Она построена на архитектуре Llama 3.1; настройка с учётом инструкций включает дообучение на примерах и методы согласования ответов с человеческими предпочтениями. Версия с настройкой Instruct предназначена для общения в формате ассистента, а не только для продолжения произвольного текста.

#### Сильные стороны
Модель работает с несколькими языками и текстом, включая код. В карточке Meta среди поддерживаемых указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Предусмотрена поддержка сценариев вызова инструментов: модель может сформировать текстовый вызов, а приложение — выполнить соответствующее действие и вернуть результат в диалог. Это позволяет строить ассистентов, которые используют внешние функции, если интеграция реализована на стороне приложения.

#### Контекст и модальности
На вход принимает текст и генерирует текст. Длина контекста в данных каталога — 32768 токенов. Изображения, аудио и видео в качестве входа или результата не поддерживаются.

#### Типовые сценарии
Подходит для чат-ботов, ответов на вопросы по предоставленному тексту, суммаризации, переформулирования, черновиков писем и других текстов, а также помощи с кодом. В интеграциях с инструментами может выбирать или формировать вызовы функций, например для получения данных из подключённого сервиса; сами инструменты модель не запускает.

#### Ограничения
Это статическая модель, обученная на заранее собранных данных: сама по себе она не получает актуальную информацию из интернета и может ошибаться или уверенно выдавать неточные сведения. Поддержка языков в карточке явно обозначена для перечисленных языков; качество работы на других языках не следует считать гарантированным. Ответы, особенно в значимых или специализированных задачах, нужно проверять. Использование материалов Llama регулируется Community License и Acceptable Use Policy Meta.

#### Отличие от соседей по семейству
Модель относится к текстовым инструкционным версиям Llama 3.1. В семействе есть варианты большего размера, рассчитанные на ту же общую задачу диалогового взаимодействия; эта версия представляет более компактный вариант семейства. Как и другие текстовые модели этой линейки, она не является мультимодальной.

## Цены

- Запрос / 1М: 2,37 ₽
- Ответ / 1М: 4,74 ₽

## Параметры

max_tokens, temperature, top_p, stop, frequency_penalty, presence_penalty, repetition_penalty, top_k, seed, min_p, logit_bias, response_format

## Провайдеры

Выбрать Провайдера можно параметром `provider` в запросе.

| Провайдер | Цена | Контекст | Макс. ответ | Данные в РФ | 152-ФЗ |
| --- | --- | --- | --- | --- | --- |
| cloudflare/fp8 | Запрос / 1М: 18 ₽; Ответ / 1М: 33,98 ₽ | 32 000 | 28 800 | — | — |
| deepinfra/fp8 | Запрос / 1М: 2,37 ₽; Ответ / 1М: 4,74 ₽ | 131 072 | 16 384 | — | — |
| groq | Запрос / 1М: 5,92 ₽; Ответ / 1М: 9,47 ₽ | 131 072 | 117 964 | — | — |
| coreweave/bf16 | Запрос / 1М: 26,05 ₽; Ответ / 1М: 26,05 ₽ | 131 072 | 117 964 | — | — |

## Быстрый старт

```bash
curl https://polza.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $POLZA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "meta-llama/llama-3.1-8b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "Привет"
    }
  ]
}'
```

## Ссылки

- Страница: https://polza.ai/models/meta-llama/llama-3.1-8b-instruct
- Каталог: https://polza.ai/models