llama3-gradient
gradientai/llama3-gradient:8b-instruct-1048k-q4_0این مدل طول زمینه LLama-3 8B را از 8k به بیش از 1m توکن گسترش میدهد.
- ورودی → خروجی
- متن متن
- دسترسی
- تبادل توکن
- پنجره زمینه
- 1,048,576 توکنها
- برچسبهای مدل
- 35 نسخههای موجود
از مدل تا برنامه
شروع سریع
کلید API خود را دریافت کنید
یک کلید در کنسول ShareAI ایجاد کنید، سپس آن را به عنوان یک متغیر محیطی در سرور خود ذخیره کنید.
ایجاد کلید APIexport SHAREAI_API_KEY="your-api-key"نقطه پایانی خود را انتخاب کنید
یک درخواست POST با کلید API خود در هدر Authorization ارسال کنید.
ارسالhttps://api.shareai.now/api/v1/chat/completionsنقطه پایانی این برچسب تأیید نشده است. مرجع API و کنسول خود را بررسی کنید قبل از ارسال درخواست.
اولین درخواست خود را ارسال کنید
مثالها از برچسب انتخابی شما استفاده میکنند و قالب درخواست آن را نشان میدهند. آنها را روی سرور خود اجرا کنید تا کلید API شما خصوصی بماند. دسترسی به مدل و حساب هنگام ارسال درخواست بررسی میشود.
curl --fail-with-body --request POST 'https://api.shareai.now/api/v1/chat/completions' \ --header "Authorization: Bearer ${SHAREAI_API_KEY}" \ --header 'Content-Type: application/json' \ --data-raw '{ "model": "gradientai/llama3-gradient:8b-instruct-1048k-q4_0", "messages": [ { "role": "user", "content": "Hello!" } ], "stream": false }'import json import os import urllib.request payload = { "model": "gradientai/llama3-gradient:8b-instruct-1048k-q4_0", "messages": [ { "role": "user", "content": "Hello!", }, ], "stream": False, } request = urllib.request.Request("https://api.shareai.now/api/v1/chat/completions", data=json.dumps(payload).encode(), headers={ "Authorization": f"Bearer {os.environ['SHAREAI_API_KEY']}", "Content-Type": "application/json", }, method="POST", ) with urllib.request.urlopen(request, timeout=180) as response: print(json.dumps(json.load(response), indent=2))package main import ( "bytes" "encoding/json" "fmt" "io" "net/http" "os" "time" ) func main() { if err := run(); err != nil { fmt.Fprintln(os.Stderr, err) os.Exit(1) } } func run() error { key := os.Getenv("SHAREAI_API_KEY") if key == "" { return fmt.Errorf("set SHAREAI_API_KEY") } body := []byte(`{ "model": "gradientai/llama3-gradient:8b-instruct-1048k-q4_0", "messages": [ { "role": "user", "content": "Hello!" } ], "stream": false }`) request, err := http.NewRequest(http.MethodPost, "https://api.shareai.now/api/v1/chat/completions", bytes.NewReader(body)) if err != nil { return err } request.Header.Set("Authorization", "Bearer " + key) request.Header.Set("Content-Type", "application/json") client := &http.Client{Timeout: 180 * time.Second} response, err := client.Do(request) if err != nil { return err } defer response.Body.Close() if response.StatusCode < 200 || response.StatusCode >= 300 { detail, _ := io.ReadAll(io.LimitReader(response.Body, 1<<20)) return fmt.Errorf("ShareAI HTTP %d: %s", response.StatusCode, detail) } var result any if err := json.NewDecoder(response.Body).Decode(&result); err != nil { return err } encoder := json.NewEncoder(os.Stdout) encoder.SetIndent("", " ") return encoder.Encode(result) }به عنوان main.go ذخیره کنید و دستور go run main.go را اجرا کنید. این مثال از کتابخانه استاندارد Go استفاده میکند.
تنظیم وابستگیهای Rust
در پروژه Cargo خود، این وابستگیها را اضافه کنید. مثال را به عنوان src/main.rs ذخیره کنید، سپس دستور cargo run را اجرا کنید.
cargo add [email protected] --no-default-features --features blocking,json,rustls-tls cargo add serde_json@1fn main() -> Result<(), Box<dyn std::error::Error>> { let api_key = std::env::var("SHAREAI_API_KEY")?; let payload: serde_json::Value = serde_json::from_str(r#"{ "model": "gradientai/llama3-gradient:8b-instruct-1048k-q4_0", "messages": [ { "role": "user", "content": "Hello!" } ], "stream": false }"#)?; let client = reqwest::blocking::Client::builder() .timeout(std::time::Duration::from_secs(180)) .build()?; let response = client.post(r#"https://api.shareai.now/api/v1/chat/completions"#) .bearer_auth(api_key) .json(&payload) .send()? .error_for_status()?; let result: serde_json::Value = response.json()?; println!("{}", serde_json::to_string_pretty(&result)?); Ok(()) }const payload = { "model": "gradientai/llama3-gradient:8b-instruct-1048k-q4_0", "messages": [ { "role": "user", "content": "Hello!" } ], "stream": false }; const response = await fetch("https://api.shareai.now/api/v1/chat/completions", { method: 'POST', headers: { Authorization: `Bearer ${process.env.SHAREAI_API_KEY}`, 'Content-Type': 'application/json', }, body: JSON.stringify(payload), }); if (!response.ok) throw new Error(await response.text()); console.log(JSON.stringify(await response.json(), null, 2));
تبادل توکن
موجود از طریق تبادل توکن
از شبکه با موجودی توکن خود استفاده کنید. تنظیمات مصرف حساب شما تعیین میکند که درخواستها چگونه محاسبه شوند.
کمی جزئیات بیشتر
سوالات متداول
llama3-gradient چیست؟
این مدل طول زمینه LLama-3 8B را از 8k به بیش از 1m توکن گسترش میدهد.
هزینه استفاده از llama3-gradient چقدر است؟
این برچسب از طریق Token Exchange در دسترس است. تنظیمات مصرف حساب و موجودی توکن شما دسترسی و صورتحساب را تعیین میکند. برای بررسی موجودی و شرایط دسترسی خود، به Console مراجعه کنید.
چه ورودیها و خروجیهایی توسط llama3-gradient پشتیبانی میشوند؟
ورودیها: متن. خروجیها: متن. این قابلیتها برای برچسب مدل انتخابشده اعمال میشوند. مستندات نقطه پایانی را برای فرمتهای درخواست پشتیبانیشده بررسی کنید.
طول زمینه llama3-gradient چقدر است؟
این برچسب دارای یک پنجره زمینهای با ظرفیت 1,048,576 توکن است. اندازه زمینه و آستانههای قیمتگذاری جداگانه هستند. محدودیتهای درخواست ممکن است برای یک استقرار خاص کمتر باشد.
چگونه میتوانم از llama3-gradient با ShareAI استفاده کنم؟
یک کلید API در کنسول ShareAI ایجاد کنید، یک برچسب مدل انتخاب کنید و یک درخواست احراز هویت شده به نقطه پایانی در شروع سریع ارسال کنید. کلید شما باید به مدل انتخاب شده دسترسی داشته باشد. کلید خود را روی سرور خود نگه دارید.