ShareAI การเปลี่ยนเส้นทางอัตโนมัติ: การกำหนดเส้นทางแบบโมเดลเดียว + BYOI สำหรับ AI ที่ไม่มีการหยุดทำงาน

เมื่อผู้ให้บริการ AI มีปัญหา ผู้ใช้งานของคุณไม่ควรได้รับผลกระทบ. ShareAI การเปลี่ยนเส้นทางอัตโนมัติ ทำให้คำขอทำงานต่อเนื่องโดยการเปลี่ยนเส้นทางไปยัง โมเดลเดียวกัน ผ่านผู้ให้บริการหลายราย—เพื่อให้ประสบการณ์ยังคงเหมือนเดิมและคุณไม่ต้องส่งแพตช์ฉุกเฉิน คุณยังสามารถ BYOI (นำโครงสร้างพื้นฐานของคุณมาเอง) ใช้จุดเชื่อมต่อส่วนตัวเป็นค่าเริ่มต้นหรือเป็นระดับสำรองส่วนตัวได้.

ทำไมการหยุดทำงานถึงส่งผลเสีย (และทำไมผู้ให้บริการเดียว = จุดล้มเหลวเดียว)

รูปแบบเหตุการณ์จริง

การหยุดทำงานไม่ค่อยทำให้ ทุกอย่าง หยุดทำงาน ส่วนใหญ่จะเป็นปัญหาเฉพาะโมเดล การระเบิดของการจำกัดอัตรา การหยุดทำงานในภูมิภาค หรือช่วงเวลาการบำรุงรักษา หากระบบของคุณเชื่อมต่อกับ API เดียว ปัญหาเหล่านี้จะกลายเป็นบั๊กที่ผู้ใช้มองเห็นได้.

ต้นทุนที่ซ่อนอยู่ของ “ลองใหม่และภาวนา”

การลองใหม่โดยไม่มีการเปลี่ยนเส้นทางจะเพิ่มเวลาแฝง ใช้โควต้า และเพิ่มการละทิ้ง ระบบต้นทุนธุรกิจจะปรากฏใน SLA การสูญเสียลูกค้า และภาระงานสนับสนุน.

ความหมายของ “การเปลี่ยนเส้นทางโมเดลเดียวกัน” กับ ShareAI

การเปลี่ยนเส้นทางที่เทียบเท่าโมเดล

หาก โมเดล-x ที่ Provider A เริ่มล้มเหลว, ShareAI จะเปลี่ยนเส้นทางไปยัง โมเดลเดียวกัน (หรือเทียบเคียงที่ใกล้เคียงที่สุด) ที่ Provider B—พร้อมกับการป้องกันเพื่อให้พฤติกรรมคงที่. สิ่งนี้เปลี่ยนเวลาหยุดทำงานให้กลายเป็น การตัดสินใจเปลี่ยนเส้นทาง, ไม่ใช่การหยุดทำงานของผลิตภัณฑ์.

ไม่สามารถมองเห็นได้สำหรับผู้ใช้ปลายทางและโค้ดผลิตภัณฑ์

การรวมของคุณเรียกใช้เพียงจุดสิ้นสุดเดียว. การเปลี่ยนเส้นทางเกิดขึ้นใน control plane—ไม่มีการตั้งค่าสถานะฟีเจอร์, ไม่มีการปรับใช้ฉุกเฉิน สำหรับแอปของคุณ.

ตัวเลือกนโยบายที่เหมาะกับเป้าหมายของคุณ

ตั้งค่านโยบายต่อจุดสิ้นสุด เช่น ให้ความสำคัญกับความหน่วงต่ำ, ให้ความสำคัญกับต้นทุน, หรือ ลำดับผู้ให้บริการที่เข้มงวด. คุณตัดสินใจว่าต้องการเปลี่ยนไปใช้สำรองอย่างรวดเร็วแค่ไหน—และไปยังใคร.

วิธีการสองแบบในการใช้ ShareAI ในการผลิต

ชั้นการจัดการเริ่มต้น (ผู้ให้บริการหลายรายที่เปิดใช้งานตลอดเวลา)

ส่งคำขอทุกครั้งผ่าน ShareAI คุณจะได้รับการตรวจสอบสุขภาพ การกำหนดเส้นทางโมเดลเดียวกัน และการทดสอบ A/B ของผู้ให้บริการในตัว สำรวจ ตลาดโมเดล เพื่อเลือกผู้ให้บริการหลักและสำรองของคุณ: เรียกดูโมเดล

ตาข่ายนิรภัยแบบแทรก (เฉพาะเหตุการณ์)

รักษา SDK ปัจจุบันของคุณ แต่เชื่อมต่อ ShareAI เป็น เส้นทางสำรอง. เมื่อผู้ให้บริการหลักของคุณล้มเหลว ให้เปลี่ยนการรับส่งข้อมูลไปยัง ShareAI โดยอัตโนมัติโดยไม่มีการหยุดชะงักที่ผู้ใช้มองเห็น.

การกำหนดเส้นทางตามฟีเจอร์

ตัวอย่าง: การแชทใช้ผู้ให้บริการ X เป็นค่าเริ่มต้น; การฝังใช้ผู้ให้บริการ Y เพื่อราคา; ทั้งสองมีการเปลี่ยนไปใช้สำรองโดยอัตโนมัติ.

BYOI (นำโครงสร้างพื้นฐานของคุณเองมาใช้) กับ ShareAI

เชื่อมต่อการอนุมานแบบส่วนตัว

เชื่อมต่อปลายทางที่โฮสต์เอง (VPC, ในองค์กร, POP ของพันธมิตร) ใช้ BYOI เป็น ความจุหลัก หรือเป็น การสำรองข้อมูลส่วนตัว ระดับที่มีเพียงองค์กรของคุณเท่านั้นที่สามารถมองเห็นได้ เริ่มต้นจาก คู่มือผู้ให้บริการ และแดชบอร์ด: คู่มือผู้ให้บริการ • แดชบอร์ดผู้ให้บริการ

คีย์, โควต้า, การแบ่งปริมาณการใช้งาน

แนบคีย์ API หลายตัว (และผู้ให้บริการ) ต่อโมเดล; กำหนดโควต้าและการแบ่งปริมาณการใช้งานตามสภาพแวดล้อม/ทีม.

ภูมิภาคและการอยู่อาศัยของข้อมูล

กำหนดปริมาณการใช้งานไปยังภูมิศาสตร์ที่อนุญาตหรือร้องขอใหม่ผ่าน การตั้งค่าตำแหน่งทางภูมิศาสตร์ เพื่อให้เป็นไปตามเป้าหมายการปฏิบัติตามข้อกำหนดและความหน่วง การตั้งค่าตำแหน่งทางภูมิศาสตร์

วิธีการทำงานของการสำรองข้อมูลอัตโนมัติ (เบื้องหลัง)

การตรวจสอบสุขภาพและความหน่วง

ShareAI ตรวจสอบสุขภาพและความหน่วงของผู้ให้บริการ/โมเดล/ภูมิภาคอย่างต่อเนื่อง เกณฑ์ที่กำหนด ตัวตัดวงจร ที่เปลี่ยนปริมาณการใช้งานทันที.

แผนที่ความเทียบเท่าของโมเดล

แผนที่ที่ได้รับการคัดสรรจัดเรียง ID โมเดลระหว่างผู้ให้บริการ (และให้คะแนน “เทียบเคียงที่ใกล้ที่สุด”) เพื่อให้การสำรองข้อมูลรักษาพฤติกรรมการปฏิบัติตามคำสั่ง, ลักษณะเฉพาะของการจัดโทเค็น, และข้อจำกัดบริบทให้ใกล้เคียงที่สุดเท่าที่จะเป็นไปได้.

การลองใหม่อย่างปลอดภัยโดยการออกแบบ

คีย์ Idempotency และการถอยกลับแบบทวีคูณช่วยหลีกเลี่ยงงานซ้ำซ้อนในขณะที่ลดความล่าช้าของปลายทาง.

การสังเกตการณ์

คุณจะเห็น การติดตาม, เหตุผลของการเปลี่ยนไปใช้สำรอง, และความแตกต่างของต้นทุน/ความล่าช้า ใน Console และบันทึก อ่าน เอกสาร เมื่อคุณพร้อมสำหรับการวัดผลที่ลึกขึ้น: หน้าแรกเอกสารประกอบ

เริ่มต้นอย่างรวดเร็ว: ทำคำขอที่ทนทานครั้งแรกของคุณ

การตั้งค่า 5 ขั้นตอน

1. ลงชื่อเข้าใช้ และสร้างคีย์ API. ลงชื่อเข้าใช้หรือสมัครสมาชิก • สร้างคีย์ API
2. เลือก ผู้ให้บริการหลัก ต่อโมเดลใน Console.
3. เพิ่ม ผู้ให้บริการสำรอง (และจุดปลาย BYOI ที่เป็นตัวเลือก).
4. เปิดใช้งาน การกำหนดเส้นทางแบบรุ่นเดียวกัน และกำหนดนโยบายสำรอง (ความหน่วง/ค่าใช้จ่าย/ลำดับ).
5. ส่งคำขอแรกของคุณ (ด้านล่าง) และจำลองเหตุการณ์เพื่อดูการเปลี่ยนไปใช้สำรองอัตโนมัติ.

โค้ด: คำขอเดียว, การเปลี่ยนผู้ให้บริการอัตโนมัติ

JavaScript (fetch)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

Python (requests)

import os

ต้องการคำแนะนำที่ลึกซึ้งขึ้น? เริ่มต้นด้วย เอกสารอ้างอิง API การเริ่มต้นอย่างรวดเร็ว: เอกสารอ้างอิง API. หรือทดลองใช้งานจริงใน สนามเด็กเล่น (เหมาะสำหรับการตรวจสอบนโยบายสำรองโดยไม่ต้องเขียนโค้ด): เปิด Playground

ทำให้ประสบการณ์ราบรื่นในระหว่างเหตุการณ์

การหมดเวลาที่ชาญฉลาด & การตอบสนองบางส่วน

ล้มเหลวอย่างรวดเร็วจากผู้ให้บริการที่ล้มเหลว; สตรีมผลลัพธ์บางส่วนหาก UX ของคุณรองรับ จากนั้นทำให้สมบูรณ์จากสำรอง.

แคชคำถามที่พบบ่อย

แคชคำถามที่คงที่ (FAQ, คำถามระบบที่เป็นมาตรฐาน) เพื่อให้บริการทันทีในระหว่างเหตุการณ์.

คิวและจัดกลุ่มงานที่ไม่เร่งด่วน

จัดกลุ่มงานหนัก (เช่น การสรุปข้อมูล) เพื่อดำเนินการต่อเมื่อมีความสามารถที่เพียงพอโดยไม่ทิ้งงาน.

การสื่อสารที่โปร่งใส

เพิ่มแบนเนอร์ในแอปที่เชื่อมโยงกับสถานะผู้ให้บริการและสถานะการกำหนดเส้นทางของคุณเอง ชี้ผู้อ่านไปที่ การเผยแพร่/บันทึกการเปลี่ยนแปลง เมื่อพฤติกรรมเปลี่ยนแปลง: ดูการเผยแพร่

ควบคุมค่าใช้จ่ายในขณะที่ยังคงออนไลน์

เพดานค่าใช้จ่ายและลำดับสำรอง

ตั้งค่า ตัวคูณสูงสุด สำหรับการสำรองข้อมูล (เช่น “≤1.2× CPM หลัก”) หากการสำรองข้อมูลเกินค่า ให้กำหนดเส้นทางไปยังตัวเลือกที่เหมาะสมถัดไป.

งบประมาณและการแจ้งเตือนต่อทีม

ใช้งบประมาณต่อพื้นที่ทำงาน/โครงการ; แจ้งเตือนเมื่อมีการสำรองข้อมูลเพิ่มขึ้นเพื่อไม่ให้การเงินประหลาดใจ.

รายงานหลังเหตุการณ์

ทบทวนว่ามีการสำรองข้อมูลการจราจรมากน้อยเพียงใด ทำไม และความแตกต่างของค่าใช้จ่าย/ความล่าช้าเพื่อปรับปรุงนโยบาย.

ความปลอดภัยและการปฏิบัติตามข้อกำหนด แม้ในผู้ให้บริการหลายราย

การตรึงภูมิภาค: เก็บข้อมูลในภูมิภาคเมื่อจำเป็น. โหมดไม่เก็บข้อมูล: ปิดการบันทึกคำขอเมื่อจำเป็น. ความสามารถในการตรวจสอบ: ส่งออกบันทึกและการติดตามสำหรับสภาพแวดล้อมที่มีการควบคุม สำหรับภูมิศาสตร์และการควบคุมของผู้ให้บริการ ดูที่ การตั้งค่าตำแหน่งทางภูมิศาสตร์ ในคอนโซล: สถานที่ที่อนุญาต

คำถามที่พบบ่อย

ฉันสามารถบังคับให้ ShareAI ใช้ ID โมเดลที่แน่นอนได้หรือไม่?

ได้—ล็อกไปยังผู้ให้บริการ+ID โมเดลเฉพาะ หรืออนุญาตให้เปลี่ยนไปใช้โมเดลที่ใกล้เคียงที่สุดเมื่อไม่มีโมเดลที่เหมือนกัน.

ถ้าไม่มีโมเดลที่เหมือนกันเลยล่ะ?

ใช้นโยบาย ที่ใกล้เคียงที่สุด เพื่อเลือกโมเดลที่ใกล้เคียงที่สุดตามความสามารถ ขนาดบริบท และค่าใช้จ่าย คุณสามารถควบคุมว่าจะลดระดับอย่างราบรื่นหรือปิดการทำงาน.

ฉันจะทดสอบการสลับระบบสำรองโดยไม่ทำให้ระบบการผลิตหยุดทำงานได้อย่างไร?

ใช้นโยบาย สนามเด็กเล่น หรือใช้ staging key เพื่อจำลองความล้มเหลวของผู้ให้บริการ (เช่น บล็อกผู้ให้บริการรายหนึ่งชั่วคราว) และตรวจสอบ trace: สนามเด็กเล่น

BYOI ต้องการการเข้าถึงสาธารณะหรือไม่?

ไม่ คุณสามารถรัน ส่วนตัว/VPC endpoints และลงทะเบียนพวกมันเป็นผู้ให้บริการที่มองเห็นได้เฉพาะองค์กรของคุณ เริ่มต้นด้วย คู่มือผู้ให้บริการ: คู่มือผู้ให้บริการ

บทสรุป

การหยุดทำงานเป็นสิ่งที่หลีกเลี่ยงไม่ได้ ด้วย ShareAI การเปลี่ยนเส้นทางอัตโนมัติ และ BYOI, พวกมันไม่จำเป็นต้องก่อให้เกิดการหยุดชะงัก เส้นทางไปยัง โมเดลเดียวกัน ข้ามผู้ให้บริการ รักษา SLA ให้คงอยู่ และควบคุมค่าใช้จ่ายและการปฏิบัติตามข้อกำหนด—ทั้งหมดนี้โดยไม่ต้องเปลี่ยนโค้ดแอปของคุณ เมื่อผู้ให้บริการล้มเหลว ShareAI จะช่วยให้คุณออนไลน์ต่อไปได้.