lmsys/vicuna:latest4,096 Token上下文
代幣兌換
lmsys/vicuna:7b-q4_0一個基於 Llama 同 Llama 2 嘅通用聊天模型,支持 2K 至 16K 嘅上下文大小。
從模型到應用
喺 ShareAI 控制台創建一個鑰匙,然後將佢保存為你伺服器嘅環境變量。
創建 API 鑰匙export SHAREAI_API_KEY="your-api-key"用你嘅API密钥喺Authorization標頭入面發送POST請求。
https://api.shareai.now/api/v1/chat/completions以下請求會用你揀嘅標籤。喺你嘅伺服器上運行,保持你嘅API密钥私密。
curl --request POST 'https://api.shareai.now/api/v1/chat/completions' \
--header "Authorization: Bearer ${SHAREAI_API_KEY}" \
--header 'Content-Type: application/json' \
--data-raw '{
"model": "lmsys/vicuna:7b-q4_0",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": false
}'import json
import os
import urllib.request
payload = json.loads("{\n \"model\": \"lmsys/vicuna:7b-q4_0\",\n \"messages\": [\n {\n \"role\": \"user\",\n \"content\": \"Hello!\"\n }\n ],\n \"stream\": false\n}")
request = urllib.request.Request("https://api.shareai.now/api/v1/chat/completions",
data=json.dumps(payload).encode(),
headers={
"Authorization": f"Bearer {os.environ['SHAREAI_API_KEY']}",
"Content-Type": "application/json",
},
method="POST",
)
with urllib.request.urlopen(request) as response:
print(json.load(response))const response = await fetch("https://api.shareai.now/api/v1/chat/completions", {
method: 'POST',
headers: {
Authorization: `Bearer ${process.env.SHAREAI_API_KEY}`,
'Content-Type': 'application/json',
},
body: JSON.stringify({
"model": "lmsys/vicuna:7b-q4_0",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": false
}),
});
if (!response.ok) throw new Error(await response.text());
console.log(await response.json());用你嘅Token餘額使用網絡。你賬戶嘅消耗設置決定請求點樣計費。
更多細節
一個基於 Llama 同 Llama 2 嘅通用聊天模型,支持 2K 至 16K 嘅上下文大小。
呢個標籤可以通過Token Exchange獲得。你嘅token餘額同帳戶消耗設定會決定你嘅訪問權限同收費情況。請檢查你嘅Console了解餘額同資格。
輸入:文字。輸出:文字。呢啲功能適用於所揀嘅模型標籤。請查閱端點文件了解支援嘅請求格式。
呢個標籤有一個2,048個token嘅上下文窗口。上下文大小同定價門檻係分開嘅。某啲部署嘅請求限制可能會低啲。
喺 ShareAI Console 裏面創建一個 API key,揀一個模型標籤,然後喺快速入門入面向端點發送一個已認證嘅請求。你嘅 key 必須有訪問所揀模型嘅權限。將你嘅 key 保存在你嘅伺服器上。