К списку моделей
Meta: Llama 3.1 8B Instruct
ID: meta-llama/llama-3.1-8b-instruct
11,4 ₽
Запрос / 1М
11,4 ₽
Ответ / 1М
—
Изображение вход / 1М
—
Изображение выход / 1М
33K
Контекст
8K
Макс. ответ
Провайдеры для Meta: Llama 3.1 8B Instruct
Cerebras
Статус
11,396 ₽Запрос / 1М
11,396 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
33KКонтекст
8KМакс. ответ
Дополнительные цены
11,396 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobstoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.logit_bias
cloudflare/fp8
Статус
17,322 ₽Запрос / 1М
32,707 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
32KКонтекст
32KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.seedФиксирует генерацию для воспроизводимых результатов.repetition_penaltyfrequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.min_pstopСписок строк, при встрече которых модель прекращает генерацию.logit_biasresponse_formatЗадаёт формат ответа: текст или структурированный JSON.
deepinfra/fp8
Статус
2,279 ₽Запрос / 1М
4,558 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
16KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.repetition_penaltytop_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.seedФиксирует генерацию для воспроизводимых результатов.min_presponse_formatЗадаёт формат ответа: текст или структурированный JSON.logit_bias
Friendli
Статус
11,396 ₽Запрос / 1М
11,396 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
8KМакс. ответ
Дополнительные цены
11,396 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.seedФиксирует генерацию для воспроизводимых результатов.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.min_prepetition_penaltytoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.
groq
Статус
5,698 ₽Запрос / 1М
9,117 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
131KМакс. ответ
Дополнительные цены
2,849 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.response_formatЗадаёт формат ответа: текст или структурированный JSON.toolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.
Hyperbolic
Статус
11,396 ₽Запрос / 1М
11,396 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
—Макс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.seedФиксирует генерацию для воспроизводимых результатов.logit_biastop_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.min_prepetition_penalty
Nebius
Статус
2,279 ₽Запрос / 1М
6,838 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
—Макс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltytoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.response_formatЗадаёт формат ответа: текст или структурированный JSON.structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.
novita/fp8
Статус
2,279 ₽Запрос / 1М
5,698 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
16KКонтекст
16KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.seedФиксирует генерацию для воспроизводимых результатов.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltyresponse_formatЗадаёт формат ответа: текст или структурированный JSON.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobs
SambaNova
Статус
11,396 ₽Запрос / 1М
22,792 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
16KКонтекст
4KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.stopСписок строк, при встрече которых модель прекращает генерацию.
SiliconFlow
Статус
6,838 ₽Запрос / 1М
6,838 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
33KКонтекст
4KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.frequency_penaltyСнижает вероятность повторения уже использованных токенов.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.
wandb/bf16
Статус
25,071 ₽Запрос / 1М
25,071 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
128KКонтекст
128KМакс. ответ
Дополнительные цены
25,071 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltyfrequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.toolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobs
deepinfra/bf16
Статус
2,279 ₽Запрос / 1М
5,698 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
16KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.repetition_penaltytop_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.seedФиксирует генерацию для воспроизводимых результатов.min_ptoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.logit_bias
coreweave/bf16
Статус
25,071 ₽Запрос / 1М
25,071 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
128KКонтекст
128KМакс. ответ
Дополнительные цены
25,071 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltyfrequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.toolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobs
wandb-legacy/bf16
Статус
25,071 ₽Запрос / 1М
25,071 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
128KКонтекст
128KМакс. ответ
Дополнительные цены
25,071 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltyfrequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.toolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobs
API и примеры кода
Наш сервис предоставляет единый API, совместимый с OpenAI SDK. Просто укажите наш base_url и используйте ключ, полученный
в личном кабинете.
Подробнее о «Meta: Llama 3.1 8B Instruct»
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
