Aplica\u021biile AI de produc\u021bie au nevoie de mai mult dec\u00e2t un prompt bun. Ele au nevoie de un strat de control care s\u0103 poat\u0103 inspecta ce intr\u0103 \u00een model, s\u0103 inspecteze ce se \u00eentoarce \u0219i s\u0103 ia o decizie clar\u0103 \u00eenainte ca r\u0103spunsul s\u0103 ajung\u0103 la un utilizator sau la un sistem ulterior.<\/p>\n\n\n\n
Aceasta este ideea din spatele balustradelor de protec\u021bie ale gateway-ului AI.<\/p>\n\n\n\n
Arhitectura exact\u0103 va varia \u00een func\u021bie de produs. Unele echipe pun verific\u0103ri \u00een backend-ul aplica\u021biei. Unele folosesc un gateway sau un proxy. Altele combin\u0103 set\u0103rile de siguran\u021b\u0103 la nivel de model cu valid\u0103ri personalizate. Punctul important este c\u0103 siguran\u021ba nu ar trebui s\u0103 depind\u0103 de fiecare echip\u0103 de func\u021bii care \u00ee\u0219i aminte\u0219te s\u0103 conecteze aceea\u0219i logic\u0103 la fiecare punct final.<\/p>\n\n\n\n
Pentru Constructori, balustradele de protec\u021bie fac parte din responsabilitatea produsului. ShareAI v\u0103 poate ajuta s\u0103 direc\u021biona\u021bi utilizarea modelului \u0219i s\u0103 monetiza\u021bi traficul AI, dar aplica\u021bia dvs. de\u021bine \u00een continuare politica, permisiunile, jurnalizarea, experien\u021ba clientului \u0219i revizuirea uman\u0103.<\/p>\n\n\n\n
O aplica\u021bie AI \u00eencepe de obicei simplu. Un punct final apeleaz\u0103 un model. Apoi utilizarea se extinde: mai multe func\u021bii, mai mul\u021bi clien\u021bi, mai mul\u021bi furnizori de modele, mai multe instrumente interne, mai multe intr\u0103ri generate de utilizatori \u0219i mai multe locuri unde un r\u0103spuns generat poate declan\u0219a o ac\u021biune.<\/p>\n\n\n\n
\u00cen acel moment, logica de siguran\u021b\u0103 pe func\u021bie devine greu de \u00eencredere. O versiune a aplica\u021biei poate bloca injec\u021bia de prompt. Alta poate verifica doar toxicitatea. O a treia poate s\u0103ri peste validarea ie\u0219irii deoarece echipa se gr\u0103bea spre lansare.<\/p>\n\n\n\n
Balustradele de protec\u021bie la nivel de gateway rezolv\u0103 problema consisten\u021bei prin plasarea valid\u0103rii aproape de traficul modelului. Aplica\u021bia poate trimite o cerere printr-un strat comun care evalueaz\u0103 promptul, r\u0103spunsul modelului sau ambele. Stratul returneaz\u0103 un verdict, cum ar fi permite, blocheaz\u0103, redacteaz\u0103, revizuie\u0219te sau re\u00eencearc\u0103.<\/p>\n\n\n\n
Acest lucru nu elimin\u0103 necesitatea judec\u0103\u021bii produsului. Creeaz\u0103 un singur loc pentru a o aplica.<\/p>\n\n\n\n
Balustradele de protec\u021bie bune ar trebui s\u0103 r\u0103spund\u0103 la patru \u00eentreb\u0103ri:<\/p>\n\n\n\n
Validarea intr\u0103rilor identific\u0103 riscurile \u00eenainte ca acestea s\u0103 ajung\u0103 la model.<\/p>\n\n\n\n
Prima categorie este injectarea de prompturi. Un utilizator, document, pagin\u0103 web sau rezultat al unui instrument poate con\u021bine instruc\u021biuni concepute pentru a suprascrie promptul sistemului, a dezv\u0103lui contextul ascuns sau a for\u021ba modelul s\u0103 utilizeze un instrument pe care nu ar trebui s\u0103-l foloseasc\u0103. OWASP Top 10 pentru Aplica\u021bii LLM<\/a> trateaz\u0103 injectarea de prompturi \u0219i agen\u021bia excesiv\u0103 ca riscuri esen\u021biale ale aplica\u021biilor LLM dintr-un motiv: modelul poate urma instruc\u021biuni, dar produsul este \u00eenc\u0103 responsabil pentru rezultat.<\/p>\n\n\n\n A doua categorie este conformitatea politicii. Dac\u0103 aplica\u021bia ta nu accept\u0103 con\u021binut medical, juridic, financiar, pentru adul\u021bi, abuziv sau legat de auto-v\u0103t\u0103mare, valideaz\u0103 acest lucru \u00eenainte de a consuma token-uri ale modelului sau de a crea un r\u0103spuns destinat clien\u021bilor.<\/p>\n\n\n\n A treia categorie este datele sensibile. Unele prompturi pot con\u021bine secrete, acredit\u0103ri, date personale sau con\u021binut proprietar care ar trebui blocat, mascat sau direc\u021bionat printr-un flux de lucru mai strict.<\/p>\n\n\n\n A patra categorie este permisiunea instrumentului. Dac\u0103 aplica\u021bia ta conecteaz\u0103 modele la instrumente prin modele precum Protocolul Contextului Modelului<\/a>, validarea ar trebui s\u0103 ia \u00een considerare ceea ce modelul are voie s\u0103 acceseze. Citirea unui fi\u0219ier, interogarea unei baze de date, trimiterea unui e-mail \u0219i \u0219tergerea unui \u00eenregistr\u0103ri nu ar trebui s\u0103 \u00eempart\u0103 acela\u0219i nivel de \u00eencredere.<\/p>\n\n\n\n Validarea rezultatelor identific\u0103 problemele dup\u0103 generare, dar \u00eenainte de expunere.<\/p>\n\n\n\n \u00cencepe cu verific\u0103ri directe de siguran\u021b\u0103: toxicitate, h\u0103r\u021buire, instruc\u021biuni nesigure, informa\u021bii sensibile \u0219i \u00eenc\u0103lc\u0103ri ale politicii. Modelul poate produce ceva ce produsul t\u0103u nu ar trebui s\u0103 afi\u0219eze, chiar dac\u0103 promptul original p\u0103rea inofensiv.<\/p>\n\n\n\n Apoi, valideaz\u0103 fundamentarea. Dac\u0103 aplica\u021bia ta furnizeaz\u0103 documente de referin\u021b\u0103, fragmente de recuperare, r\u00e2nduri din baze de date sau \u00eenregistr\u0103ri ale clien\u021bilor, r\u0103spunsul ar trebui verificat \u00een raport cu acel context. Un r\u0103spuns fluent, dar nefondat, poate fi mai d\u0103un\u0103tor dec\u00e2t un e\u0219ec evident, deoarece utilizatorii sunt mai predispu\u0219i s\u0103-l cread\u0103.<\/p>\n\n\n\n Apoi valideaz\u0103 structura. Dac\u0103 rezultatul trebuie s\u0103 fie JSON, un macro de suport, o clauz\u0103 contractual\u0103, o actualizare a bazei de date sau o comand\u0103 a unui instrument, verific\u0103 schema \u0219i c\u00e2mpurile permise. Nu permite modelului s\u0103 scrie text arbitrar \u00eentr-un loc care necesit\u0103 date constr\u00e2nse.<\/p>\n\n\n\n \u00cen cele din urm\u0103, valideaz\u0103 preg\u0103tirea ac\u021biunii. Un e-mail draft poate fi afi\u0219at utilizatorului pentru revizuire. O aprobare de rambursare, o modificare a contului, o fuziune de cod sau o notificare pentru client poate necesita o verificare explicit\u0103 uman\u0103.<\/p>\n\n\n\n Scopul nu este de a face fiecare r\u0103spuns perfect. Este de a preveni e\u0219ecurile previzibile s\u0103 ajung\u0103 \u00een locuri unde sunt costisitoare.<\/p>\n\n\n\n Un parapet este util doar dac\u0103 produsul \u0219tie ce s\u0103 fac\u0103 cu verdictul.<\/p>\n\n\n\n Pentru probleme cu risc sc\u0103zut, aplica\u021bia poate cere utilizatorului s\u0103 revizuiasc\u0103 solicitarea. Pentru rezultate neacceptate, aplica\u021bia poate r\u0103spunde cu o solu\u021bie de rezerv\u0103 sigur\u0103 \u0219i poate explica c\u0103 nu a putut verifica rezultatul. Pentru ac\u021biuni cu risc ridicat, aplica\u021bia poate trimite execu\u021bia c\u0103tre un evaluator uman.<\/p>\n\n\n\n Cea mai dificil\u0103 decizie este cum s\u0103 gestionezi e\u0219ecurile sistemului de parapet. Dac\u0103 validarea nu este disponibil\u0103, ar trebui aplica\u021bia s\u0103 e\u0219ueze deschis \u0219i s\u0103 continue, sau s\u0103 e\u0219ueze \u00eenchis \u0219i s\u0103 blocheze cererea?<\/p>\n\n\n\n Nu exist\u0103 un r\u0103spuns universal.<\/p>\n\n\n\n E\u0219ecul deschis poate fi rezonabil pentru func\u021bii de redactare cu risc sc\u0103zut, unde disponibilitatea conteaz\u0103 \u0219i rezultatul necesit\u0103 oricum revizuirea utilizatorului. E\u0219ecul \u00eenchis este mai sigur pentru fluxuri de lucru care implic\u0103 sfaturi reglementate, ac\u021biuni financiare, modific\u0103ri de cont, date private sau execu\u021bia de instrumente externe.<\/p>\n\n\n\n Lua\u021bi aceast\u0103 decizie pe flux de lucru, nu global. Un produs poate fi permisiv pentru brainstorming \u0219i strict pentru ac\u021biuni care afecteaz\u0103 clien\u021bii, banii, datele sau securitatea.<\/p>\n\n\n\n ShareAI ajut\u0103 Constructorii s\u0103 conecteze utilizarea AI la o pia\u021b\u0103 \u0219i un strat API. Constructorii pot direc\u021biona inferen\u021ba prin ShareAI, alege modele din marketplace transparent de modele<\/a>, \u0219i seta o marj\u0103 atunci c\u00e2nd propria lor aplica\u021bie genereaz\u0103 utilizarea AI.<\/p>\n\n\n\n Acest lucru nu face din ShareAI proprietarul modelului de siguran\u021b\u0103 al produsului dumneavoastr\u0103.<\/p>\n\n\n\n Constructorul de\u021bine \u00een continuare:<\/p>\n\n\n\n Aceast\u0103 distinc\u021bie este important\u0103. ShareAI poate sprijini economia produsului dvs. AI, dar m\u0103surile de siguran\u021b\u0103 fac parte din contractul aplica\u021biei pe care \u00eel \u00eencheia\u021bi cu clien\u021bii.<\/p>\n\n\n\n Dac\u0103 implementa\u021bi un flux de lucru Builder, \u00eencepe\u021bi cu documenta\u021bia ShareAI<\/a> \u0219i referin\u021ba API<\/a>, apoi asocia\u021bi integrarea cu propriile verific\u0103ri de politici \u0219i observabilitate.<\/p>\n\n\n\n Utiliza\u021bi aceast\u0103 list\u0103 de verificare atunci c\u00e2nd ad\u0103uga\u021bi m\u0103suri de siguran\u021b\u0103 \u00een jurul apelurilor modelului de produc\u021bie:<\/p>\n\n\n\nCe s\u0103 validezi \u00eenainte ca utilizatorul s\u0103 vad\u0103 rezultatul<\/h2>\n\n\n\n
Alege comportamentul de blocare, permitere sau revizuire \u00een mod deliberat.<\/h2>\n\n\n\n
Men\u021bine\u021bi clar rolul ShareAI<\/h2>\n\n\n\n
\n
O list\u0103 de verificare pentru implementare practic\u0103<\/h2>\n\n\n\n
\n