AI Prosumer
RU
nvidia/nemotron:latest

Llama-3.1-Nemotron-70B-Instruct — это крупная языковая модель, настроенная NVIDIA для повышения полезности ответов LLM на запросы пользователей.

Ввод → Вывод
Текст Текст
Ввод / Вывод · за 1M токенов
Недоступно в Credits
Окно контекста
131 072 токены
Лицензия: open_weights

От модели к приложению

Быстрый старт

Справочник API
  1. Получите свой ключ API

    Создайте ключ в ShareAI Console, затем сохраните его как переменную окружения на вашем сервере.

    Создать ключ API
    Переменная окружения
    export SHAREAI_API_KEY="your-api-key"
  2. Выберите свой конечный пункт

    Отправьте POST-запрос с вашим API-ключом в заголовке Authorization.

    POSThttps://api.shareai.now/api/v1/chat/completions

    Конечная точка этого тега не подтверждена. Проверьте справочник API и вашу консоль перед отправкой запроса.

  3. Сделайте ваш первый запрос

    Примеры используют выбранный вами тег и показывают его формат запроса. Запустите их на вашем сервере, чтобы сохранить ваш API-ключ в безопасности. Доступность модели и доступ к аккаунту проверяются при отправке запроса.

    cURL
    curl --fail-with-body --request POST 'https://api.shareai.now/api/v1/chat/completions' \
      --header "Authorization: Bearer ${SHAREAI_API_KEY}" \
      --header 'Content-Type: application/json' \
      --data-raw '{
      "model": "nvidia/nemotron:latest",
      "messages": [
        {
          "role": "user",
          "content": "Hello!"
        }
      ],
      "stream": false
    }'
    Python
    import json
    import os
    import urllib.request
    
    payload = {
        "model": "nvidia/nemotron:latest",
        "messages": [
            {
                "role": "user",
                "content": "Hello!",
            },
        ],
        "stream": False,
    }
    request = urllib.request.Request("https://api.shareai.now/api/v1/chat/completions",
        data=json.dumps(payload).encode(),
        headers={
            "Authorization": f"Bearer {os.environ['SHAREAI_API_KEY']}",
            "Content-Type": "application/json",
        },
        method="POST",
    )
    with urllib.request.urlopen(request, timeout=180) as response:
        print(json.dumps(json.load(response), indent=2))
    Go
    package main
    
    import (
        "bytes"
        "encoding/json"
        "fmt"
        "io"
        "net/http"
        "os"
        "time"
    )
    
    func main() {
        if err := run(); err != nil {
            fmt.Fprintln(os.Stderr, err)
            os.Exit(1)
        }
    }
    
    func run() error {
        key := os.Getenv("SHAREAI_API_KEY")
        if key == "" { return fmt.Errorf("set SHAREAI_API_KEY") }
        body := []byte(`{
      "model": "nvidia/nemotron:latest",
      "messages": [
        {
          "role": "user",
          "content": "Hello!"
        }
      ],
      "stream": false
    }`)
        request, err := http.NewRequest(http.MethodPost, "https://api.shareai.now/api/v1/chat/completions", bytes.NewReader(body))
        if err != nil { return err }
        request.Header.Set("Authorization", "Bearer " + key)
        request.Header.Set("Content-Type", "application/json")
        client := &http.Client{Timeout: 180 * time.Second}
        response, err := client.Do(request)
        if err != nil { return err }
        defer response.Body.Close()
        if response.StatusCode < 200 || response.StatusCode >= 300 {
            detail, _ := io.ReadAll(io.LimitReader(response.Body, 1<<20))
            return fmt.Errorf("ShareAI HTTP %d: %s", response.StatusCode, detail)
        }
        var result any
        if err := json.NewDecoder(response.Body).Decode(&result); err != nil { return err }
        encoder := json.NewEncoder(os.Stdout)
        encoder.SetIndent("", "  ")
        return encoder.Encode(result)
    }

    Сохраните как main.go и выполните команду go run main.go. Этот пример использует стандартную библиотеку Go.

    Настройте зависимости Rust

    В вашем проекте Cargo добавьте эти зависимости. Сохраните пример как src/main.rs, затем выполните команду cargo run.

    Команды Cargo
    cargo add [email protected] --no-default-features --features blocking,json,rustls-tls
    cargo add serde_json@1
    Ржавчина
    fn main() -> Result<(), Box<dyn std::error::Error>> {
        let api_key = std::env::var("SHAREAI_API_KEY")?;
        let payload: serde_json::Value = serde_json::from_str(r#"{
      "model": "nvidia/nemotron:latest",
      "messages": [
        {
          "role": "user",
          "content": "Hello!"
        }
      ],
      "stream": false
    }"#)?;
        let client = reqwest::blocking::Client::builder()
            .timeout(std::time::Duration::from_secs(180))
            .build()?;
        let response = client.post(r#"https://api.shareai.now/api/v1/chat/completions"#)
            .bearer_auth(api_key)
            .json(&payload)
            .send()?
            .error_for_status()?;
        let result: serde_json::Value = response.json()?;
        println!("{}", serde_json::to_string_pretty(&result)?);
        Ok(())
    }
    TypeScript
    const payload = {
      "model": "nvidia/nemotron:latest",
      "messages": [
        {
          "role": "user",
          "content": "Hello!"
        }
      ],
      "stream": false
    };
    const response = await fetch("https://api.shareai.now/api/v1/chat/completions", {
      method: 'POST',
      headers: {
        Authorization: `Bearer ${process.env.SHAREAI_API_KEY}`,
        'Content-Type': 'application/json',
      },
      body: JSON.stringify(payload),
    });
    if (!response.ok) throw new Error(await response.text());
    console.log(JSON.stringify(await response.json(), null, 2));

Цены

Нет предложения Credits для этого тега

Выберите другой тег Credits или изучите Token Exchange в Сети.

Изучить Сеть →

Немного подробнее

Часто задаваемые вопросы

Что такое nemotron?

Llama-3.1-Nemotron-70B-Instruct — это крупная языковая модель, настроенная NVIDIA для повышения полезности ответов LLM на запросы пользователей.

Сколько стоит nemotron?

Цена за токен для этого тега не опубликована. Проверьте вашу консоль для доступного доступа и текущих цен.

Какие входные и выходные данные поддерживает nemotron?

Входные данные: Текст. Выходные данные: Текст. Эти возможности применимы к выбранному тегу модели. Ознакомьтесь с документацией по конечной точке для поддерживаемых форматов запросов.

Какова длина контекста nemotron?

Этот тег имеет контекстное окно размером 131 072 токена. Размер контекста и пороги цен являются отдельными параметрами. Ограничения запросов могут быть ниже для конкретного развертывания.

Поддерживает ли nemotron вызов инструментов и структурированные выходные данные?

Вызов инструментов: поддерживается.

Как использовать nemotron с ShareAI?

Создайте ключ API в консоли ShareAI, выберите тег модели и отправьте аутентифицированный запрос на конечную точку в разделе "Быстрый старт". Ваш ключ должен иметь доступ к выбранной модели. Храните ваш ключ на сервере.