Perbedaan antara keamanan AI dan keselamatan AI mudah kabur sampai panggilan model dapat memengaruhi pelanggan, tiket, dokumen, transaksi, atau alur kerja agen. Pada titik itu, perbedaannya menjadi penting.<\/p>\n\n\n\n
Keselamatan AI bertanya apakah sistem berperilaku dengan cara yang berguna, andal, dan selaras dengan tugas yang seharusnya dilakukan. Keamanan AI bertanya apakah sistem, datanya, alatnya, atau jalur aksesnya dapat diserang atau disalahgunakan. Tim produksi membutuhkan keduanya, karena model yang aman masih dapat dieksploitasi, dan integrasi yang aman masih dapat menghasilkan keluaran yang berbahaya atau tidak andal.<\/p>\n\n\n\n
Bagi Pembuat yang bekerja dengan API model, titik kontrol praktis sering kali adalah panggilan model itu sendiri: model mana yang dipilih, prompt mana yang dikirim, alat mana yang diizinkan, data apa yang dilampirkan, apa yang dicatat, jalur fallback apa yang tersedia, dan apa yang dilihat pengguna saat respons kembali.<\/p>\n\n\n\n
Keselamatan AI berkaitan dengan perilaku dan hasil dari sistem AI. Pertanyaan utamanya adalah: haruskah sistem berperilaku seperti ini untuk pengguna, tugas, dan konteks ini?<\/p>\n\n\n\n
Pekerjaan keselamatan sering mencakup kualitas keluaran, konten berbahaya, bias, halusinasi, perilaku penolakan, ketahanan, evaluasi, dan pengawasan manusia. Ini juga mencakup pertanyaan operasional yang pada akhirnya dihadapi setiap tim produk: apa yang terjadi ketika model tidak yakin, salah, tidak lengkap, atau diminta melakukan sesuatu di luar cakupan yang dimaksudkan?<\/p>\n\n\n\n
Model Kerangka Kerja Manajemen Risiko AI NIST<\/a> berguna di sini karena memperlakukan risiko AI sebagai sesuatu yang harus diatur, dipetakan, diukur, dan dikelola oleh tim, bukan sebagai keputusan pemilihan model satu kali. Kerangka ini sangat penting ketika sebuah produk mengarahkan pekerjaan melintasi beberapa model atau penyedia.<\/p>\n\n\n\n Keamanan AI berkaitan dengan melindungi integrasi model dari serangan, akses tidak sah, paparan data, dan penyalahgunaan. Pertanyaan utamanya adalah: dapatkah seseorang mengeksploitasi sistem ini, prompt-nya, alatnya, sumber pengambilannya, atau izinnya?<\/p>\n\n\n\n Pekerjaan keamanan sering mencakup injeksi prompt, pengungkapan informasi sensitif, peracunan data pelatihan atau pengambilan, risiko rantai pasokan model, izin alat yang berlebihan, penolakan layanan, kebocoran kredensial, dan desain plugin atau agen yang tidak aman. OWASP Top 10 untuk Aplikasi Model Bahasa Besar<\/a> adalah referensi yang berguna karena menyebutkan banyak mode kegagalan yang muncul setelah LLM dihubungkan ke perangkat lunak nyata.<\/p>\n\n\n\n Keamanan bukan hanya masalah penyedia model. Pembuat tetap perlu melindungi kunci API, mengautentikasi pengguna, membatasi izin ruang kerja, memfilter sumber pengambilan, mengontrol alat agen, dan memantau pola penggunaan yang tidak normal. Penyedia dapat mengamankan infrastruktur mereka sendiri sementara aplikasi Anda masih mengekspos akses alat yang berisiko atau data pengguna.<\/p>\n\n\n\n Tumpang tindih adalah tempat banyak kegagalan produksi terjadi. Penyuntikan prompt adalah masalah keamanan ketika itu memanipulasi instruksi atau akses data, tetapi dapat menjadi masalah keselamatan ketika respons yang dimanipulasi mencapai pengguna. Agen dengan izin luas adalah kekhawatiran keamanan, tetapi tindakannya dapat menciptakan risiko keselamatan dan bisnis jika model membuat keputusan yang tidak dapat diandalkan.<\/p>\n\n\n\n Banyak tim memulai dengan satu model, satu kunci API, dan satu prompt. Itu dapat bekerja untuk prototipe. Ini menjadi rapuh ketika produk menambahkan beberapa model, pengaturan khusus pelanggan, alat agen, pengambilan, pengalihan cadangan, kontrol biaya, atau penagihan berbasis penggunaan.<\/p>\n\n\n\n Lapisan kontrol panggilan model memberikan Pembuat tempat yang konsisten untuk menerapkan keputusan sebelum dan sesudah inferensi. Ini dapat membantu menjawab pertanyaan seperti:<\/p>\n\n\n\nKontrol Keamanan AI Mengelola Risiko Eksploitasi<\/h2>\n\n\n\n
Keselamatan vs Keamanan: Perbedaan Praktis<\/h2>\n\n\n\n
Area<\/th> Keamanan AI<\/th> Keamanan AI<\/th><\/tr><\/thead> Pertanyaan utama<\/td> Haruskah sistem menghasilkan perilaku ini?<\/td> Bisakah seseorang mengeksploitasi sistem ini?<\/td><\/tr> Risiko khas<\/td> Output yang berbahaya, bias, tidak dapat diandalkan, atau menyesatkan<\/td> Penyuntikan prompt, paparan data, penyalahgunaan, atau akses tidak sah<\/td><\/tr> Kontrol utama<\/td> Evaluasi, pembatasan, tinjauan manusia, pilihan model, kebijakan output<\/td> Otentikasi, izin, kontrol input, manajemen rahasia, isolasi alat<\/td><\/tr> Contoh kegagalan<\/td> Asisten dukungan memberikan panduan pengembalian dana yang tidak aman<\/td> Prompt berbahaya menipu agen untuk mengekspos data tiket pribadi<\/td><\/tr> Tumpang tindih pemilik<\/td> Produk, kebijakan, teknik, hukum, ahli domain<\/td> Keamanan, platform, teknik, operasi<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Mengapa Panggilan Model Membutuhkan Lapisan Kontrolnya Sendiri<\/h2>\n\n\n\n