SLM กับ LLM: มอบหมายงานการผลิตไปยังโมเดลที่เหมาะสม

การตัดสินใจระหว่าง SLM และ LLM ไม่ควรถูกกำหนดเพียงครั้งเดียวที่กระดานไวท์บอร์ดของสถาปัตยกรรมแล้วนำไปใช้กับทุกคำขอตลอดไป ในการผลิต ขนาดของโมเดลเป็นการตัดสินใจเกี่ยวกับการกำหนดเส้นทาง งานบางอย่างต้องการความกว้างขวาง ช่วงการให้เหตุผล และความยืดหยุ่นของโมเดลภาษาขนาดใหญ่ งานอื่นๆ มีความเสถียรเพียงพอที่โมเดลภาษาขนาดเล็กสามารถให้คำตอบที่ถูกต้องได้เร็วกว่าและมีต้นทุนต่ำกว่า.

คำถามในทางปฏิบัติไม่ใช่ว่าโมเดลประเภทใดจะชนะ คำถามในทางปฏิบัติคือโมเดลใดควรจัดการกับแต่ละงาน ภายใต้ข้อจำกัดใด และจะมีการสำรองข้อมูลอย่างไรเมื่อคุณภาพ ความล่าช้า ต้นทุน หรือความพร้อมใช้งานเปลี่ยนแปลง.

การตัดสินใจระหว่าง SLM และ LLM เป็นการตัดสินใจเกี่ยวกับการกำหนดเส้นทาง

โมเดลภาษาขนาดใหญ่มักจะดีกว่าสำหรับงานที่ไม่มีข้อจำกัด: การให้เหตุผลที่ซับซ้อน, ความช่วยเหลือในการเขียนโค้ด, การดึงข้อมูลความรู้ที่กว้างขวาง, การวางแผนหลายขั้นตอน และกรณีที่ผู้ใช้อาจถามอะไรก็ได้ โมเดลภาษาขนาดเล็กมักจะดีกว่าสำหรับงานที่ทำซ้ำได้ มีขอบเขตแคบ และมีปริมาณมาก ซึ่งรูปแบบการป้อนข้อมูลสามารถคาดเดาได้และรูปแบบผลลัพธ์เป็นที่เข้าใจอย่างดี.

ความแตกต่างนั้นมีความสำคัญสำหรับ AI ในการผลิต เพราะผลิตภัณฑ์หนึ่งมักจะมีงานหลายประเภท ผู้ช่วยสนับสนุนลูกค้าอาจต้องการ LLM สำหรับการสนทนาที่คลุมเครือ, SLM สำหรับการจำแนกเจตนา, โมเดลเฉพาะทางสำหรับการดึงข้อมูล และโมเดลสำรองสำหรับความน่าเชื่อถือ การพิจารณาทั้งหมดนี้เป็นตัวเลือกโมเดลเดียวมักจะทำให้เสียทั้งคุณภาพหรืองบประมาณ.

การเปรียบเทียบอย่างรวดเร็ว

ปัจจัยในการตัดสินใจ	ความเหมาะสมของ LLM	ความเหมาะสมของ SLM
รูปแบบของงาน	ไม่มีข้อจำกัด, หลายขั้นตอน, คาดเดาไม่ได้	แคบ, เสถียร, ทำซ้ำได้
ความต้องการคุณภาพ	ช่วงการให้เหตุผลสูงและความยืดหยุ่น	ผลลัพธ์ที่สม่ำเสมอสำหรับงานที่ทราบ
ความหน่วง	มักจะช้ากว่า ขึ้นอยู่กับโมเดลและผู้ให้บริการ	มักจะเร็วกว่าในงานที่มีข้อจำกัด
ค่าใช้จ่าย	สูงกว่าในการใช้งานที่กว้างและมีบริบทขนาดใหญ่	ต่ำกว่าเมื่อใช้งานในขนาดใหญ่สำหรับงานง่าย ๆ
การใช้งานที่ดีที่สุด	การวิจัย, การเขียนโค้ด, เอเจนต์, การสังเคราะห์, การสนทนาที่ซับซ้อน	การจัดประเภท, การสกัดข้อมูล, การกำหนดเส้นทาง, สรุปสั้น ๆ, การตรวจสอบ
ความเสี่ยง	ใช้จ่ายเกินความจำเป็นในงานง่าย ๆ	ประสิทธิภาพต่ำในงานที่ซับซ้อนหรือคลุมเครือ

ใช้ LLM เมื่อความยืดหยุ่นมีความสำคัญ

ใช้ LLM เมื่องานต้องการการให้เหตุผลที่ยืดหยุ่น, บริบทกว้าง, หรือการสังเคราะห์ที่สร้างสรรค์ งานเหล่านี้เป็นกระบวนการที่คำสั่งสามารถเปลี่ยนแปลงได้หลากหลาย และโมเดลต้องมีความสามารถเพียงพอในการตีความสถานการณ์ใหม่ ๆ โดยไม่ต้องใช้คู่มือที่ตายตัว.

• การสนทนากับลูกค้าที่คำถามถัดไปของผู้ใช้งานยากที่จะคาดเดา.
• กระบวนการทำงานของเอเจนต์ที่ต้องการการวางแผน, การใช้เครื่องมือ, และการกู้คืนจากความล้มเหลวบางส่วน.
• การสร้างโค้ด, การดีบัก, และการให้เหตุผลเชิงสถาปัตยกรรม.
• การสังเคราะห์แบบยาวจากเอกสารหรือคำสั่งจำนวนมาก.
• การสำรวจผลิตภัณฑ์ในระยะแรก เมื่อทีมยังคงเรียนรู้ว่ากระบวนการทำงานควรเป็นอย่างไร.

LLM มีประโยชน์อย่างยิ่งในช่วงเริ่มต้นของวงจรชีวิตฟีเจอร์ AI เมื่อยังไม่ได้กำหนดงานอย่างสมบูรณ์ โมเดลขนาดใหญ่ช่วยให้ทีมมีพื้นที่ในการเรียนรู้ เมื่อกระบวนการทำงานเริ่มซ้ำได้ บางขั้นตอนอาจเหมาะสมสำหรับโมเดลขนาดเล็กกว่า.

ใช้ SLM เมื่อเวิร์กโฟลว์มีความเสถียร

ใช้ SLM เมื่อเวิร์กโฟลว์มีขอบเขตที่ชัดเจน, อินพุตที่คาดการณ์ได้, และเอาต์พุตที่สามารถวัดผลได้ งานเหล่านี้มักให้ความสำคัญกับปริมาณงาน, ความหน่วงเวลา, และเศรษฐศาสตร์ต่อหน่วยมากกว่าช่วงการให้เหตุผลที่กว้าง.

• การจัดประเภทเจตนาสำหรับตั๋วสนับสนุนหรือการกำหนดเส้นทางแชท.
• การดึงข้อมูลที่มีโครงสร้างจากประเภทเอกสารที่รู้จัก.
• สรุปสั้น ๆ ด้วยรูปแบบที่กำหนดไว้.
• การตรวจสอบนโยบาย, ตัวกรองความปลอดภัย, หรือขั้นตอนการตรวจสอบ.
• งานเบื้องหลังที่ทำซ้ำ ๆ ซึ่งมีปริมาณสูงและงานมีขอบเขตแคบ.

SLM ไม่ได้ดีกว่าโดยอัตโนมัติเพียงเพราะมีขนาดเล็กกว่า มันจะดีกว่าเมื่องานมีข้อจำกัดเพียงพอที่โมเดลขนาดเล็กสามารถตอบสนองมาตรฐานคุณภาพได้ วิธีเดียวที่เชื่อถือได้ในการทราบคือการทดสอบกับตัวอย่างการผลิตจริง.

สร้างเส้นทางการกำหนดเส้นทางแบบไฮบริด

รูปแบบการผลิตที่แข็งแกร่งที่สุดมักเป็นแบบไฮบริด เริ่มต้นด้วยเส้นทางที่มีความสามารถมากที่สุดในขณะที่ฟีเจอร์ยังใหม่, รวบรวมตัวอย่างจริง, ระบุงานย่อยที่ทำซ้ำได้, และย้ายงานย่อยเหล่านั้นไปยังเส้นทางที่เล็กกว่าหรือเฉพาะทางมากขึ้นเฉพาะเมื่อมีหลักฐานสนับสนุนการเปลี่ยนแปลง.

แผนการกำหนดเส้นทางง่าย ๆ อาจมีลักษณะดังนี้:

1. ใช้ LLM สำหรับการสำรวจเบื้องต้นและการสำรองที่ซับซ้อน.
2. บันทึกประเภทงาน, ความหน่วงเวลา, สัญญาณคุณภาพ, และต้นทุนต่อเวิร์กโฟลว์ที่เสร็จสมบูรณ์.
3. ค้นหาขั้นตอนที่ทำซ้ำซึ่งมีรูปแบบอินพุตและเอาต์พุตที่เสถียร.
4. ทดสอบ SLM ในขั้นตอนเหล่านั้นด้วยตัวอย่างจริง.
5. ส่งเฉพาะส่วนงานที่ได้รับการพิสูจน์แล้วไปยัง SLM.
6. เก็บ LLM ไว้เป็นตัวเลือกสำรองสำหรับคำขอที่มีความมั่นใจต่ำ, ไม่ชัดเจน, หรือคำขอที่ล้มเหลว.

สิ่งนี้ช่วยให้ทีมลดต้นทุนและความล่าช้าโดยไม่ต้องแสร้งทำว่าทุกคำขอนั้นง่าย นอกจากนี้ยังทำให้การพัฒนากองแบบจำลองง่ายขึ้นเมื่อมีผู้ให้บริการใหม่, ขนาดของแบบจำลอง, และตัวเลือกน้ำหนักเปิดที่พร้อมใช้งาน.

ตำแหน่งที่ ShareAI เข้ากันได้

ShareAI ช่วยให้ Builders สามารถกำหนดเส้นทางผ่านเครือข่ายแบบจำลอง AI และผู้ให้บริการที่หลากหลายผ่าน API เดียว แทนที่จะมองว่า SLM กับ LLM เป็นการตัดสินใจของผู้ให้บริการถาวร, Builders สามารถเปรียบเทียบตัวเลือก, ทดสอบเส้นทาง, และแยกตรรกะของผลิตภัณฑ์ออกจากชั้นแบบจำลอง.

สิ่งนี้มีประโยชน์สำหรับผลิตภัณฑ์ SaaS, เอเจนซี่, เครื่องมือโอเพ่นซอร์ส, แอปที่คำนึงถึงความเป็นส่วนตัว, และทีมซอฟต์แวร์ภายในที่ต้องการฟีเจอร์ AI แต่ไม่ต้องการให้การเปลี่ยนแปลงแบบจำลองทุกครั้งกลายเป็นรอบการปล่อยเวอร์ชัน Builders สามารถเริ่มต้นด้วย เอกสาร ShareAI, เปรียบเทียบ แบบจำลอง AI ที่มีอยู่, และทดสอบผลลัพธ์ใน ShareAI สนามเด็กเล่น.

ตรรกะการกำหนดเส้นทางแบบจำลองเดียวกันยังสนับสนุนผู้ให้บริการอีกด้วย หากผู้ให้บริการมีความสามารถที่แข็งแกร่งในด้านความล่าช้า, ความพร้อมใช้งาน, หรือการกำหนดราคาสำหรับงานบางประเภท, การกำหนดเส้นทางจะช่วยให้ความสามารถนั้นเข้าถึงความต้องการได้ สำหรับผู้สร้างและเจ้าของแบบจำลอง, การกำหนดเส้นทางสามารถทำให้แบบจำลองง่ายต่อการทดลอง, นำไปใช้, และสร้างรายได้เมื่อเหมาะสมกับงานการผลิตจริง.

การทดสอบที่ใช้งานได้จริงก่อนเปลี่ยนงาน

ก่อนที่จะย้ายงานจาก LLM ไปยัง SLM, กำหนดเกณฑ์คุณภาพ ตัวอย่างเช่น, ขั้นตอนการสกัดอาจต้องการ JSON ที่ถูกต้อง, ฟิลด์ที่ถูกต้อง, และไม่มีค่าที่ถูกสร้างขึ้น ขั้นตอนการจำแนกอาจต้องการความสอดคล้องกับป้ายกำกับของมนุษย์ที่เกินเกณฑ์เป้าหมาย ขั้นตอนการกำหนดเส้นทางอาจต้องการทั้งความแม่นยำและเวลาตอบสนองที่รวดเร็ว.

• เลือกงานที่แคบและมีเกณฑ์ความสำเร็จที่ชัดเจน.
• สร้างชุดทดสอบจากตัวอย่างลูกค้าหรือการผลิตจริง.
• เปรียบเทียบผลลัพธ์ของ LLM และ SLM เคียงข้างกัน.
• วัดต้นทุนของงานทั้งหมด, ไม่ใช่แค่ราคาของโทเค็น.
• ตั้งกฎสำรองสำหรับผลลัพธ์ที่มีความมั่นใจต่ำหรือผลลัพธ์ที่ผิดรูปแบบ.
• ทบทวนประสิทธิภาพของเส้นทางหลังการใช้งาน เนื่องจากโมเดลและผู้ให้บริการมีการเปลี่ยนแปลง.

คำตอบที่ถูกต้องไม่ใช่การแทนที่การเรียก LLM ทุกครั้งด้วย SLM คำตอบที่ดีกว่าคือการจัดเส้นทางงานที่มั่นคงไปยังโมเดลขนาดเล็กและรักษาโมเดลขนาดใหญ่ไว้สำหรับงานที่จำเป็นจริงๆ.

สำหรับคำจำกัดความที่กว้างขึ้นของโมเดลภาษาขนาดเล็ก ดูคู่มือของ Microsoft Azure โมเดลภาษาขนาดเล็ก.

คำถามที่พบบ่อย

ความแตกต่างหลักระหว่าง SLM และ LLM คืออะไร?

SLM มีขนาดเล็กกว่าและมักเหมาะสมกับงานที่แคบและทำซ้ำได้ ส่วน LLM มีขนาดใหญ่กว่าและมักเหมาะสมกับการให้เหตุผลที่กว้าง การสนทนาที่ซับซ้อน การเขียนโค้ด และงานที่ไม่สามารถคาดเดาได้.

SLM มีราคาถูกกว่า LLM เสมอหรือไม่?

SLM มักมีราคาถูกกว่าสำหรับงานที่มีปริมาณมากและแคบ แต่การเปรียบเทียบที่แท้จริงคือค่าใช้จ่ายต่อหนึ่งงานที่สำเร็จ โมเดลราคาถูกที่ล้มเหลวบ่อยครั้งอาจมีค่าใช้จ่ายสูงกว่าในแง่ของการลองใหม่ การเรียกสำรอง และการตรวจสอบโดยมนุษย์.

SLM มีความเร็วมากกว่า LLM เสมอหรือไม่?

โมเดลขนาดเล็กมักมีความเร็วมากกว่า แต่ความหน่วงขึ้นอยู่กับผู้ให้บริการ ฮาร์ดแวร์ ภูมิภาค การจัดคิว ความยาวบริบท และพฤติกรรมการสตรีม วัดผลการทำงานทั้งหมด ไม่ใช่แค่ขนาดของโมเดล.

ผลิตภัณฑ์หนึ่งสามารถใช้ทั้ง SLM และ LLM ได้หรือไม่?

ได้ ระบบการผลิตหลายระบบควรใช้ทั้งสองอย่าง จัดเส้นทางงานที่ง่ายและมั่นคงไปยัง SLM และเก็บ LLM ไว้สำหรับคำขอที่ซับซ้อน คลุมเครือ หรือมีมูลค่าสูง.

เมื่อใดที่ทีมควรหลีกเลี่ยงการใช้ SLM?

หลีกเลี่ยงการใช้ SLM เมื่องานมีลักษณะเปิดกว้าง กำหนดไม่ชัดเจน มีความสำคัญด้านความปลอดภัยโดยไม่มีการตรวจสอบที่เข้มงวด หรือขึ้นอยู่กับการให้เหตุผลที่กว้างซึ่งโมเดลขนาดเล็กไม่สามารถจัดการได้อย่างน่าเชื่อถือ.

การกำหนดเส้นทางของโมเดลช่วยในการตัดสินใจระหว่าง SLM กับ LLM ได้อย่างไร?

การกำหนดเส้นทางของโมเดลช่วยให้แอปพลิเคชันเลือกโมเดลตามงาน ลูกค้า ขีดจำกัดค่าใช้จ่าย เป้าหมายความล่าช้า หรือเงื่อนไขสำรองได้ ซึ่งมีความยืดหยุ่นมากกว่าการเลือกขนาดโมเดลเดียวสำหรับทุกคำขอ.

ผู้สร้างควรเริ่มต้นด้วย LLM หรือ SLM?

เริ่มต้นด้วยเส้นทางที่ช่วยให้คุณเรียนรู้ได้เร็วที่สุด หลายทีมเริ่มต้นด้วย LLM ในขณะที่กระบวนการทำงานยังเปลี่ยนแปลงอยู่ จากนั้นย้ายงานย่อยที่เสถียรไปยัง SLM หลังจากที่มีตัวอย่างจริงและตัวชี้วัดความสำเร็จที่ชัดเจน.

ShareAI สร้างหรือโฮสต์แอปพลิเคชันของฉันหรือไม่?

ไม่ ShareAI ไม่ใช่กรอบงานแอปพลิเคชัน, CMS, แพลตฟอร์มโฮสติ้ง หรือเครื่องมือสร้างแบบไม่ต้องเขียนโค้ด ผู้สร้างใช้ ShareAI เพื่อเข้าถึง เปรียบเทียบ และกำหนดเส้นทางโมเดล AI ผ่าน API เดียว.

เอเจนซี่ควรใช้การกำหนดเส้นทาง SLM กับ LLM อย่างไร?

เอเจนซี่สามารถกำหนดเส้นทางงานของลูกค้าตามค่าใช้จ่าย คุณภาพ ความต้องการด้านความเป็นส่วนตัว และข้อกำหนดด้านเวลาตอบสนอง ซึ่งช่วยหลีกเลี่ยงการสร้างแผนการผสานรวมโมเดลแบบกำหนดเองตั้งแต่ต้นสำหรับลูกค้าแต่ละราย.

ผู้ให้บริการได้รับประโยชน์จากการกำหนดเส้นทาง SLM และ LLM อย่างไร?

ผู้ให้บริการสามารถได้รับความต้องการเมื่อความสามารถในการประมวลผลหรือการอนุมานของพวกเขาทำงานได้ดีสำหรับประเภทงานเฉพาะ การกำหนดเส้นทางช่วยให้ความสามารถของผู้ให้บริการที่ดีสามารถถูกค้นพบโดยผู้สร้าง.

การทดสอบการผลิตครั้งแรกที่ปลอดภัยที่สุดคืออะไร?

เลือกงานที่แคบหนึ่งงาน กำหนดเกณฑ์ความสำเร็จ เปรียบเทียบผลลัพธ์ของ SLM และ LLM บนตัวอย่างจริง ตั้งกฎสำรอง และจากนั้นจึงกำหนดเส้นทางการจราจรส่วนเล็ก ๆ ไปยังเส้นทางใหม่.

รวม API หนึ่งตัว เพื่อทดสอบเส้นทางของโมเดลโดยไม่ผูกตรรกะของผลิตภัณฑ์กับขนาดโมเดลเดียว.