Ang pagkakaiba sa pagitan ng AI safety at AI security ay madaling malabo hanggang sa ang isang tawag sa modelo ay makaapekto sa isang customer, tiket, dokumento, transaksyon, o daloy ng trabaho ng ahente. Sa puntong iyon, mahalaga ang pagkakaiba.<\/p>\n\n\n\n
Ang AI safety ay nagtatanong kung ang sistema ay kumikilos sa mga paraang kapaki-pakinabang, maaasahan, at naaayon sa trabahong dapat nitong gawin. Ang AI security ay nagtatanong kung ang sistema, ang data nito, ang mga tool nito, o ang mga daanan ng access nito ay maaaring atakihin o magamit sa maling paraan. Kailangan ng mga production team ang pareho, dahil ang isang ligtas na modelo ay maaari pa ring maabuso, at ang isang secure na integrasyon ay maaari pa ring maglabas ng mapanganib o hindi maaasahang resulta.<\/p>\n\n\n\n
Para sa mga Tagabuo na nagtatrabaho gamit ang mga model API, ang praktikal na punto ng kontrol ay madalas ang mismong tawag sa modelo: aling modelo ang pinili, aling prompt ang ipinadala, aling mga tool ang pinapayagan, anong data ang nakakabit, ano ang naitatala, anong fallback path ang magagamit, at ano ang nakikita ng user kapag bumalik ang tugon.<\/p>\n\n\n\n
Ang AI safety ay tungkol sa pag-uugali at mga resulta ng isang sistema ng AI. Ang pangunahing tanong ay: dapat bang kumilos ang sistema sa ganitong paraan para sa user, gawain, at konteksto?<\/p>\n\n\n\n
Ang gawain sa safety ay madalas na sumasaklaw sa kalidad ng output, mapanganib na nilalaman, bias, hallucination, pagtanggi sa pag-uugali, katatagan, pagsusuri, at pangangasiwa ng tao. Kasama rin dito ang operasyonal na tanong na kinakaharap ng bawat product team sa huli: ano ang mangyayari kapag ang modelo ay hindi sigurado, mali, hindi kumpleto, o hiniling na gumawa ng isang bagay na labas sa nilalayon nitong saklaw?<\/p>\n\n\n\n
Sa NIST AI Risk Management Framework<\/a> ay kapaki-pakinabang dito dahil tinatrato nito ang panganib ng AI bilang isang bagay na dapat pamahalaan, i-map, sukatin, at pamahalaan ng mga team, hindi bilang isang desisyon sa pagpili ng modelo na ginagawa nang isang beses lamang. Ang ganitong pag-frame ay lalong mahalaga kapag ang isang produkto ay nagre-route ng trabaho sa iba't ibang mga modelo o provider.<\/p>\n\n\n\n Ang AI security ay tungkol sa pagprotekta sa integrasyon ng modelo mula sa pag-atake, hindi awtorisadong access, pagkalantad ng data, at pang-aabuso. Ang pangunahing tanong ay: maaari bang samantalahin ng isang tao ang sistemang ito, ang prompt nito, ang mga tool nito, ang mga retrieval source nito, o ang mga pahintulot nito?<\/p>\n\n\n\n Ang gawain sa security ay madalas na sumasaklaw sa prompt injection, paglalantad ng sensitibong impormasyon, pagkalason ng data sa pagsasanay o retrieval, panganib sa supply chain ng modelo, labis na pahintulot sa tool, denial of service, pagtagas ng kredensyal, at hindi secure na disenyo ng plugin o ahente. Ang OWASP Top 10 for Large Language Model Applications<\/a> ay isang kapaki-pakinabang na sanggunian dahil tinutukoy nito ang maraming mga mode ng pagkabigo na lumilitaw kapag ang mga LLM ay nakakabit sa totoong software.<\/p>\n\n\n\n Ang seguridad ay hindi lamang problema ng tagapagbigay ng modelo. Kailangan pa ring protektahan ng mga Tagabuo ang mga API key, i-authenticate ang mga user, tukuyin ang mga pahintulot sa workspace, salain ang mga retrieval source, kontrolin ang mga tool ng ahente, at subaybayan ang mga abnormal na pattern ng paggamit. Maaaring i-secure ng isang provider ang sarili nitong imprastraktura habang ang iyong aplikasyon ay naglalantad pa rin ng mapanganib na access sa tool o data ng user.<\/p>\n\n\n\n Ang pagsasapawan ay kung saan nagaganap ang maraming pagkabigo sa produksyon. Ang prompt injection ay isang isyu sa seguridad kapag ito ay nagmamanipula ng mga utos o pag-access sa datos, ngunit maaari itong maging isyu sa kaligtasan kapag ang minanipulang tugon ay umabot sa isang gumagamit. Ang isang ahente na may malawak na pahintulot ay isang alalahanin sa seguridad, ngunit ang mga aksyon nito ay maaaring lumikha ng panganib sa kaligtasan at negosyo kung ang modelo ay gumawa ng hindi maaasahang desisyon.<\/p>\n\n\n\n Maraming mga koponan ang nagsisimula sa isang modelo, isang API key, at isang prompt. Maaari itong gumana para sa isang prototype. Nagiging marupok ito kapag ang produkto ay nagdagdag ng maraming modelo, mga setting na partikular sa customer, mga tool ng ahente, retrieval, fallback routing, mga kontrol sa gastos, o pagsingil batay sa paggamit.<\/p>\n\n\n\n Ang isang control layer para sa tawag sa modelo ay nagbibigay sa mga Tagabuo ng isang pare-parehong lugar upang maglapat ng mga desisyon bago at pagkatapos ng inference. Maaari itong makatulong na sagutin ang mga tanong tulad ng:<\/p>\n\n\n\nAng AI Security ay Kumokontrol sa Panganib ng Pagsasamantala<\/h2>\n\n\n\n
Safety vs Security: Ang Praktikal na Pagkakaiba<\/h2>\n\n\n\n
Lugar<\/th> Kaligtasan ng AI<\/th> Seguridad ng AI<\/th><\/tr><\/thead> Pangunahing tanong<\/td> Dapat bang magpakita ang sistema ng ganitong pag-uugali?<\/td> Maaari bang samantalahin ng isang tao ang sistemang ito?<\/td><\/tr> Karaniwang panganib<\/td> Mapanganib, may kinikilingan, hindi maaasahan, o nakakalitong mga output<\/td> Prompt injection, pagkalantad ng data, pang-aabuso, o hindi awtorisadong pag-access<\/td><\/tr> Pangunahing kontrol<\/td> Mga pagsusuri, mga guardrail, pagsusuri ng tao, pagpili ng modelo, mga patakaran sa output<\/td> Pagpapatotoo, mga pahintulot, mga kontrol sa input, pamamahala ng mga lihim, paghihiwalay ng tool<\/td><\/tr> Halimbawa ng pagkabigo<\/td> Ang isang support assistant ay nagbibigay ng hindi ligtas na gabay sa refund<\/td> Ang isang malisyosong prompt ay nililinlang ang isang ahente upang ilantad ang pribadong data ng tiket<\/td><\/tr> Pagkakapatong ng may-ari<\/td> Produkto, patakaran, inhinyeriya, legal, mga eksperto sa domain<\/td> Seguridad, plataporma, inhinyeriya, operasyon<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Bakit Kailangan ng Sariling Control Layer ang Mga Tawag sa Modelo<\/h2>\n\n\n\n