Perkembangan pesat dalam AI generatif telah memungkinkan organisasi untuk membangun aplikasi yang kuat dengan mengintegrasikan model dasar dengan data dan sistem internal mereka. Potensi keuntungan sangat tinggi, namun risikonya juga besar—mulai dari paparan data sensitif dan pelanggaran kepatuhan hingga suntikan prompt dan serangan terhadap aplikasi yang telah diterapkan.
Untuk mengurangi risiko terkait AI, organisasi memerlukan pendekatan komprehensif yang mencakup seluruh siklus hidup aplikasi, mulai dari pengumpulan data hingga keluaran model. Dalam posting blog kali ini, kami akan membahas keadaan terkini keamanan genAI dan bagaimana Prisma Cloud dari Palo Alto Networks dapat digunakan bersama dengan Amazon Bedrock untuk membangun, mengelola, dan menerapkan aplikasi yang aman dengan kekuatan AI.
Prisma Cloud AI-SPM (Manajemen Postur Keamanan AI) dan Prisma Cloud DSPM (Manajemen Postur Keamanan Data) adalah kemampuan terintegrasi yang memberikan visibilitas, analisis risiko, dan kontrol keamanan untuk aset AI serta data sensitif di seluruh lingkungan cloud.
Amazon Bedrock adalah layanan yang sepenuhnya dikelola yang menawarkan akses ke berbagai model dasar dan alat untuk membangun dan menerapkan aplikasi AI generatif dengan aman, termasuk penyesuaian, RAG, pengalaman pengembang, dan alat kustomisasi. Amazon Bedrock Guardrails, yang baru-baru ini tersedia sebagai API terpisah, menambahkan kemampuan perlindungan runtime yang, antara lain, memblokir konten berbahaya dan mengidentifikasi halusinasi dalam keluaran LLM.
Tantangan Mengamankan GenAI Saat Beralih dari Fase Eksperimen ke Fitur
Seiring organisasi beralih dari bereksperimen dengan AI generatif ke penerapan dalam skala besar, tiga tren utama telah muncul, masing-masing dengan implikasi terkait keamanan.
- Integrasi dengan Data dan Sistem Internal Menyoroti Risiko Data
LLM “standar” perlu diperkaya dengan data milik perusahaan untuk menciptakan nilai yang signifikan bagi organisasi. Oleh karena itu, organisasi menyempurnakan model menggunakan data khusus domain atau menggunakan teknik seperti retrieval augmented generation (RAG) untuk menyuntikkan informasi relevan ke dalam prompt demi menciptakan asisten AI yang lebih disesuaikan dan mampu.
Namun, integrasi ini menciptakan permukaan serangan baru. Data sensitif yang digunakan untuk penyesuaian atau yang diberikan pada model pada saat inferensi bisa tanpa sengaja terekspos dalam keluaran model. Misalnya, sebuah LLM yang disesuaikan dengan dokumen internal perusahaan mungkin akan mengungkapkan potongan informasi rahasia jika diberi prompt yang tepat. Organisasi harus secara cermat mengontrol akses ke data inferensi dan memantau input serta output model untuk mencegah pengeluaran data dan memastikan kepatuhan terhadap regulasi privasi data.
Gambar 1 menggambarkan bagaimana data sensitif dapat terekspos oleh model yang telah disesuaikan. Risiko ini muncul selama proses penyesuaian dan tertanam dalam model. Satu-satunya cara untuk menghilangkan risiko setelahnya adalah dengan menerapkan kembali model tersebut.
Gambar 1: Paparan data sensitif oleh model yang disesuaikan
RAG juga membawa risiko paparan data lainnya. Contoh yang terlihat pada Gambar 2 lebih mudah diatasi dibandingkan contoh sebelumnya, karena paparan terjadi pada tahap “retrieval” dan bukan merupakan bagian dari model. Menghapus data sensitif dari data inferensi dapat menghilangkan risiko ini.
Gambar 2: Paparan informasi identifikasi pribadi melalui RAG
- Proliferasi Model dan Kerangka Kerja Memperumit Upaya Pemerintahan yang Efektif
API OpenAI dulunya adalah satu-satunya opsi yang layak untuk menambahkan kemampuan LLM ke aplikasi hanya beberapa tahun yang lalu. Saat ini, pengembang dapat memilih dari berbagai model dasar sumber terbuka—termasuk model khusus yang dirancang untuk pembuatan gambar, suara, atau video. Model penerapan juga semakin bervariasi. Selain API inferensi yang ditawarkan sebagai SaaS, model sekarang dapat diterapkan di lingkungan cloud pribadi, infrastruktur yang dikelola sendiri, dan dalam beberapa kasus, secara lokal.
Keberagaman ini memungkinkan pengembang memilih model yang paling efisien dan efektif untuk setiap tugas, yang pada akhirnya mengurangi biaya dan meningkatkan kualitas. Namun, keberagaman ini juga membuat tugas tim keamanan semakin rumit.
Penerapan AI bayangan dengan model yang tidak disetujui mungkin muncul, menyulitkan penilaian terhadap postur keamanan secara keseluruhan. Rantai pasokan model juga perlu mendapat perhatian. Misalnya, aktor jahat dapat menerbitkan model atau dataset yang terinfeksi dengan tujuan meracuni model downstream tempat model tersebut dilatih. Organisasi perlu memiliki cara untuk menemukan model yang diterapkan di lingkungan mereka dan melacak asal-usul serta silsilahnya.
- Peralihan dari Eksperimen ke Produksi Membutuhkan Kontrol Baru
Seiring perusahaan bergerak melampaui pengembangan bukti konsep awal dan mulai menerapkan genAI dalam produksi, serangkaian risiko keamanan aplikasi baru muncul. Serangan suntikan prompt, di mana prompt teks yang dirancang dengan cerdik menyebabkan perilaku yang tidak diinginkan dari model, sudah menargetkan model dan asisten AI populer. Penyerang menggunakan teknik ini untuk menghindari filter konten, menipu sistem AI untuk mengakses sumber daya yang tidak sah, atau mengungkapkan informasi sensitif melalui keluaran model.
Untuk mencegah serangan yang menargetkan model saat runtime, organisasi perlu secara proaktif mengidentifikasi kasus di mana model diterapkan tanpa kontrol keamanan dan keselamatan yang memadai (seperti pemantauan output). Mengidentifikasi masalah ini lebih awal dapat membantu mengurangi risiko yang lebih sulit dideteksi dan dicegah setelah aplikasi AI diterapkan di dunia nyata.