Gudunmawar Gudunmawa don Wakilan Lamba: TTFT da Throughput

Gudunmawar sauri a cikin lambar AI yana da sauƙin sauƙaƙawa. Ƙungiyoyi sau da yawa suna magana game da samfur ko bayanan baya kamar dai kawai yana da sauri ko jinkiri, amma ainihin hanyoyin lambar suna raba sauri zuwa aƙalla tambayoyi biyu daban: yadda sauri kalmar farko mai amfani ta iso, da kuma yadda tsarin zai iya ci gaba da aiki da zarar samarwa ya fara.

Wani kwanan nan Cline benchmark ya sanya wannan rarrabuwa a fili sosai. A cikin gajeren aikin salon kawarwa, saitin da aka tallafa da girgije ya yi nasara saboda ya fara da sauri. A cikin gwajin tsawon tsawon tsinkaye, saitin DGX Spark na gida ya samar da ƙarfi mai dorewa fiye da GPU na mabukaci da ke gudanar da samfur ɗaya tare da nauyin ƙwaƙwalwar ajiya mai nauyi. Ga ƙungiyoyin da ke zaɓar inda za su gudanar da wakilan lamba, wannan bambanci yana da matuƙar mahimmanci.

Kwatanta mai sauri: abin da gwajin ya nuna

• Saitin Mac da aka tallafa da girgije ya yi nasara a gajeren aikin “Thunderdome” a cikin dakika 1.04.
• Wannan benchmark ɗin ya auna DGX Spark a 42.9 kalmomi a cikin dakika a cikin tsere tsinkaye kai tsaye.
• Saitin RTX 4090 ya kai 8.7 kalmomi a cikin dakika tare da nauyin RAM mai nauyi.
• Lokacin bango a cikin tsere tsinkaye kai tsaye ya kasance a 5.11 seconds don Mac da aka tallafa da girgije, 21.83 seconds don DGX Spark, da 93.89 seconds don workstation 4090.

Cikakkun bayanan kayan aiki suna taimakawa wajen bayyana tazara. NVIDIA’s Bayanin tsarin DGX Spark yana haskaka ƙirar ƙwaƙwalwar ajiya guda 128 GB, yayin da injin gwajin 4090 ya kasance da 24 GB na VRAM kuma dole ne ya sauke yawancin samfurin 120B cikin RAM na tsarin. Wannan yana canza dukkan tsarin aikin.

Dalilin da yasa TTFT ya yi nasara a gajeren tsere

A cikin ƙaramin aikin jere, lokaci-zuwa-kalmar-farko yana yanke hukunci ga wanda ya yi nasara. Tsarin farko da ya fahimci umarnin, ya samar da umarni mai inganci, kuma ya aiwatar da shi yana samun farkon da sauran na iya kasa dawowa daga gare shi. Wannan shi ne ainihin abin da ya faru a cikin gajeren gwajin Cline.

Tsarin girgije na iya haskakawa a nan saboda bayanan baya an riga an inganta su don hanyoyin amsa masu sauri. Idan aikin ku yawanci yana da saurin rarrabuwa, gajeren umarni, ko ƙananan madaukai na wakilai inda amsar farko ta fi mahimmanci fiye da tsawon lokaci, ƙaramin TTFT na iya doke injin gida mai ƙarfi.

Dalilin da ya sa throughput ya fi mahimmanci a cikin ainihin zaman lamba

Yawancin zaman lamba ba su da saurin yanke hukunci na dakika ɗaya. Suna da tsawo, madaukai masu rikitarwa tare da gyaran fayil, kira kayan aiki, sake gwadawa, gudanar da gwaji, da ɗaruruwan ko dubunnan kalmomi da aka samar. Wannan shi ne inda dorewar throughput ya fara zama mafi mahimmanci fiye da farkon fashewa.

A 42.9 tokens a sakan guda, sakamakon DGX Spark yana nuna abin da ke faruwa idan babban samfurin ya kasance a cikin ƙwaƙwalwar ajiya mai sauri. Akasin haka, sakamakon 4090 yana nuna yadda tsadar cirewa ke zama idan samfurin ya yi girma sosai don VRAM na gida. Iri ɗaya na samfurin na iya jin bambanci sosai dangane da tsarin ƙwaƙwalwar ajiya, ba kawai alamar GPU ko farashi ba.

Idan kuna aiki tare da tarin gida, Takardun Ollama suna da kyau don tunani kan yadda ƙungiyoyi ke bayyana ƙarshen samfurin gida da na girgije a hanya mai dacewa. Darasin da ya fi muhimmanci ba shine wane kayan aiki kuka zaɓa ba. Shine cewa girman samfurin, dacewar ƙwaƙwalwar ajiya, da tsarin hanyar sadarwa suna canza ƙwarewar mai amfani fiye da yadda taken gwaji guda ɗaya ke nuna.

Girman samfurin yana canza tattalin arziki

Kwatancen Cline ya mayar da hankali kan samfurin 120B, wanda ke tura kayan masarufi na mabukaci zuwa wani yanayi daban. Da zarar samfurin ya fita daga ƙwaƙwalwar ajiya mai sauri, farashinku ba kawai tokens ba ne. Hakanan kuna biyan jinkiri, layi, da haƙurin mai haɓakawa.

Wannan shine dalilin da yasa gida da girgije ba su da zaɓi na falsafa kawai. Girgije na iya cin nasara akan dacewa da saurin farawa. Manyan tsarin gida na iya cin nasara akan sirri, farashin gefe mai tsayayye, da ci gaba mai dorewa. Kayan masarufi na mabukaci har yanzu na iya zama zaɓi mai kyau, amma galibi don ƙananan samfura waɗanda suka dace da kyau.

Inda ShareAI ya dace.

ShareAI yana taimakawa lokacin da amsar da ta fi dacewa ba ita ce ɗaya kawai ba har abada. Tare da 150+ samfura ta hanyar API ɗaya, zaku iya kiyaye tsarin aikin coding ɗinku yayin canza samfurin ko mai bayarwa dangane da aikin. Wannan yana da amfani lokacin da aiki ɗaya ya fi son ƙaramin TTFT kuma wani ya fi son ƙarfi mai dorewa ko farashi daban.

Kuna iya amfani da takardun ShareAI kuma API farawa da sauri don kiyaye wannan layin hanya mai sauƙi. Maimakon sake rubuta haɗin gwiwar ku duk lokacin da kuke son kwatanta masu samarwa ko samfura, zaku iya kiyaye wakilin yana nuni zuwa API ɗaya kuma ku yanke shawarar baya mai wayo a ƙarƙashinsa.

Yadda za a zaɓi madaidaicin tarin

• Zaɓi girgije-na-farko lokacin da amsar farko ta fi mahimmanci kuma saurin saitawa ya fi mahimmanci fiye da ikon gida.
• Zaɓi kayan aikin gida mai ƙwaƙwalwar ajiya mai girma lokacin da kake buƙatar sirri, farashi mai tsayayye, da ƙarfin aiki mai ƙarfi akan manyan samfura.
• Zaɓi GPUs na masu amfani da hankali kuma daidaita su da girman samfura da suka dace da kyau.
• Zaɓi matakin tsarawa kamar ShareAI lokacin da kake son kwatanta, jagorantar, da canza masu samarwa ba tare da sake gina tsarin aikin ka ba.

Mataki na gaba

Idan kana tantance saurin fassarar don wakilan lamba, kada ka tsaya a lamba ɗaya kawai. Auna amsa ta farko, saurin samarwa mai tsayayye, da cinikayyar aiki da ke da mahimmanci ga ƙungiyar ku. Sannan zaɓi matakin jagoranci wanda zai ba ku damar daidaitawa yayin da waɗannan fifikon suka canza.