К списку моделей
Meta: Llama 3.1 8B Instruct
ID: meta-llama/llama-3.1-8b-instruct
9,68 ₽
Запрос / 1М
9,68 ₽
Ответ / 1М
—
Изображение вход / 1М
—
Изображение выход / 1М
33K
Контекст
8K
Макс. ответ
Провайдеры для Meta: Llama 3.1 8B Instruct
Cerebras
Статус
9,684 ₽Запрос / 1М
9,684 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
33KКонтекст
8KМакс. ответ
Дополнительные цены
9,684 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobstoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.logit_bias
Cloudflare
Статус
14,72 ₽Запрос / 1М
27,794 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
32KКонтекст
32KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.seedФиксирует генерацию для воспроизводимых результатов.repetition_penaltyfrequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.min_pstopСписок строк, при встрече которых модель прекращает генерацию.logit_biasresponse_formatЗадаёт формат ответа: текст или структурированный JSON.
DeepInfra
Статус
1,937 ₽Запрос / 1М
4,842 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
16KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.repetition_penaltytop_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.seedФиксирует генерацию для воспроизводимых результатов.min_ptoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.logit_bias
Friendli
Статус
9,684 ₽Запрос / 1М
9,684 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
8KМакс. ответ
Дополнительные цены
9,684 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.seedФиксирует генерацию для воспроизводимых результатов.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.min_prepetition_penaltytoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.
Groq
Статус
4,842 ₽Запрос / 1М
7,748 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
131KМакс. ответ
Дополнительные цены
2,421 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.response_formatЗадаёт формат ответа: текст или структурированный JSON.toolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.
Hyperbolic
Статус
9,684 ₽Запрос / 1М
9,684 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
—Макс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.seedФиксирует генерацию для воспроизводимых результатов.logit_biastop_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.min_prepetition_penalty
Nebius
Статус
1,937 ₽Запрос / 1М
5,811 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
131KКонтекст
—Макс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltytoolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.response_formatЗадаёт формат ответа: текст или структурированный JSON.structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.
Novita
Статус
1,937 ₽Запрос / 1М
4,842 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
16KКонтекст
16KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.stopСписок строк, при встрече которых модель прекращает генерацию.frequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.seedФиксирует генерацию для воспроизводимых результатов.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltyresponse_formatЗадаёт формат ответа: текст или структурированный JSON.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobs
SambaNova
Статус
9,684 ₽Запрос / 1М
19,369 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
16KКонтекст
4KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.stopСписок строк, при встрече которых модель прекращает генерацию.
SiliconFlow
Статус
5,811 ₽Запрос / 1М
5,811 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
33KКонтекст
4KМакс. ответ
Дополнительные цены
—
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.frequency_penaltyСнижает вероятность повторения уже использованных токенов.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.
WandB
Статус
21,306 ₽Запрос / 1М
21,306 ₽Ответ / 1М
—Изображение вход / 1М
—Изображение выход / 1М
128KКонтекст
128KМакс. ответ
Дополнительные цены
21,306 ₽Кэш чтение / 1М
Политика в отношении данных
Prompt Training:-
Prompt Logging:-
Moderation:Not moderated
Поддерживаемые параметры
structured_outputsГарантирует, что ответ модели соответствует заданной JSON-схеме.response_formatЗадаёт формат ответа: текст или структурированный JSON.max_tokensЭто устанавливает верхний предел для количества токенов, которые модель может генерировать в ответ. Больше этого предела выдаваться не будет. Максимальное значение - это длина контекста за вычетом длины запроса.temperatureУправляет случайностью ответа. Низкие значения (0.0–0.3) делают ответ более детерминированным, высокие (0.7–1.0) — более креативным.top_pNucleus sampling — ограничивает выбор токенов по совокупной вероятности. Значение 0.9 означает, что модель рассматривает только токены, составляющие 90% вероятности.top_kОграничивает выбор токенов фиксированным количеством наиболее вероятных вариантов.repetition_penaltyfrequency_penaltyСнижает вероятность повторения уже использованных токенов.presence_penaltyПоощряет модель использовать новые темы в ответе.stopСписок строк, при встрече которых модель прекращает генерацию.seedФиксирует генерацию для воспроизводимых результатов.toolsПозволяет модели вызывать внешние функции (function calling) для получения данных или выполнения действий.tool_choiceУправляет тем, должна ли модель вызывать инструмент, и если да — какой именно.logprobsВозвращает логарифмические вероятности выбранных токенов.top_logprobs
API и примеры кода
Наш сервис предоставляет единый API, совместимый с OpenAI SDK. Просто укажите наш base_url и используйте ключ, полученный
в личном кабинете.
