Описание

Llama-3.1-Nemotron-Ultra-253B-v1 is a large language model (LLM) optimized for advanced reasoning, human-interactive chat, retrieval-augmented generation (RAG), and tool-calling tasks. Derived from Meta’s Llama-3.1-405B-Instruct, it has been significantly customized using Neural Architecture Search (NAS), resulting in enhanced efficiency, reduced memory usage, and improved inference latency. The model supports a context length of up to 128K tokens and can operate efficiently on an 8x NVIDIA H100 node.

Note: you must include detailed thinking on in the system prompt to enable reasoning. Please see Usage Recommendations for more.

Провайдеры для NVIDIA: Llama 3.1 Nemotron Ultra 253B v1

Nebius

Статус

56,049 ₽Запрос/ 1М

168,146 ₽Ответ / 1М

—Изображение вход /1М

—Изображение выход /1М

131KКонтекст

—Макс. ответ

Статус работы провайдера

Нет данных — 29 мар., 16:50 – 17:00

Дополнительные цены

—

Политика в отношении данных

Prompt Training:-

Prompt Logging:-

Moderation:Not moderated

Поддерживаемые параметры

reasoninginclude_reasoningmax_tokenstemperaturetop_pfrequency_penaltypresence_penaltytop_krepetition_penaltystructured_outputsresponse_format

API и примеры кода

Наш сервис предоставляет единый API, совместимый с OpenAI SDK. Просто укажите наш base_url и используйте ключ, полученный в личном кабинете.

import OpenAI from 'openai';

const openai = new OpenAI({
  baseURL: 'https://polza.ai/api/v1',
  apiKey: '<POLZA_AI_API_KEY>'
});

async function main() {
  const completion = await openai.chat.completions.create({
    model: 'nvidia/llama-3.1-nemotron-ultra-253b-v1',
    messages: [{
      role: 'user',
      content: 'Что думаешь об этой жизни?',
    }],
  });
  console.log(completion.choices[0].message);
}

main();

Выбор за вами

Polza.AI — лучший выбор

для

Воспользуйтесь сервисом прямо сейчас. А если остались вопросы - запишитесь на демо

Записаться на демо Получить API ключ