Bagaimana perisai saat ini dapat membahayakan keamanan

Revolusi Kecerdasan Buatan ada di sini untuk tetap tinggal. Perkembangan berbasis AI telah menjadi fondasi yang tak terbantahkan untuk perkembangan masa depan dan saat ini yang akan berdampak pada setiap bidang dalam industri teknologi-dan di luarnya. Demokratisasi AI, yang didorong oleh Openai, telah menempatkan alat -alat yang kuat di tangan jutaan orang. Yang mengatakan, ada kemungkinan bahwa standar keamanan platform AI saat ini tidak akan cukup untuk mencegah aktor buruk menggunakannya sebagai senjata potensial.

Potongan potensial mencari AI untuk menghasilkan petunjuk berbahaya

Pengembang melatih platform AI mereka dengan hampir semua data yang mereka temukan tersedia di internet. Ini telah menyebabkan beberapa kontroversi dan tuntutan hukum terkait hak cipta, tetapi itu bukan subjek artikel ini. Tujuan mereka adalah untuk memastikan bahwa chatbots mampu menanggapi hampir semua persyaratan yang dapat dibayangkan dengan cara yang paling dapat diandalkan. Tetapi apakah pengembang mempertimbangkan risiko potensial? Sudahkah mereka menerapkan perisai keamanan terhadap output yang berpotensi berbahaya?

Jawaban sederhananya mungkin “ya,” tetapi seperti semua yang terkait dengan pengembangan AI, ada banyak hal yang perlu dipertimbangkan. Perusahaan yang berfokus pada AI memiliki perisai keamanan terhadap apa yang disebut “permintaan berbahaya.” Permintaan berbahaya adalah permintaan agar, pada dasarnya, berupaya menghasilkan output yang berpotensi berbahaya, dengan satu atau lain cara. Permintaan ini berkisar dari tips tentang cara membangun senjata buatan sendiri hingga menghasilkan kode jahat (malware), di antara banyak situasi lain yang mungkin.

Anda mungkin berpikir mudah bagi perusahaan -perusahaan ini untuk membuat perisai yang efektif terhadap jenis situasi ini. Lagi pula, itu akan cukup untuk memblokir kata kunci tertentu, seperti halnya sistem moderasi platform media sosial, bukan? Yah, itu tidak sesederhana itu.

Jailbreak: Tricking AI untuk mendapatkan apa yang Anda inginkan

“Jailbreaking” bukanlah istilah baru. Penggemar iPhone lama akan mengetahuinya sebagai praktik “membebaskan” perangkat mereka untuk memungkinkan pemasangan perangkat lunak atau mod yang tidak sah, misalnya. Namun, istilah “jailbreaking” di segmen AI memiliki implikasi yang sangat berbeda. Penjara AI berarti menipu untuk menanggapi prompt yang berpotensi berbahaya, melewati semua hambatan keamanan. Jailbreak yang sukses menghasilkan output yang berpotensi berbahaya, dengan semua yang diperlukan.

Tetapi seberapa efektif upaya jailbreaking terhadap platform AI saat ini? Sayangnya, para peneliti telah menemukan bahwa calon aktor kriminal dapat mencapai tujuan mereka lebih sering daripada yang Anda pikirkan.

Anda mungkin pernah mendengar tentang Deepseek. Chatbot intelijen buatan Cina mengejutkan industri ini dengan menjanjikan kinerja yang sebanding dengan – atau bahkan lebih baik di beberapa bidang daripada – platform AI yang mengarus, termasuk model GPT Openai, dengan investasi yang jauh lebih kecil. Namun, para ahli dan pihak berwenang AI mulai memperingatkan tentang potensi risiko keamanan yang ditimbulkan dengan menggunakan chatbot.

Awalnya, perhatian utama adalah lokasi server Deepseek. Perusahaan menyimpan semua data yang dikumpulkan dari penggunanya di server di Cina. Ini berarti harus mematuhi hukum Tiongkok, yang memungkinkan negara untuk meminta data dari server tersebut jika dianggap tepat. Tetapi bahkan masalah ini dapat diminimalkan oleh penemuan lain yang berpotensi lebih serius.

Deepseek, AI yang paling mudah digunakan sebagai senjata karena perisai keamanan yang lemah

Antropik – salah satu nama utama dalam industri AI saat ini – dan Cisco – perusahaan telekomunikasi dan keamanan siber terkenal – berlaporan terbagi pada bulan Februari dengan hasil pengujian pada berbagai platform AI. Tes berfokus pada menentukan seberapa rentan beberapa platform AI utama menjadi jailbroken. Seperti yang mungkin Anda duga, Deepseek memperoleh hasil terburuk. Namun, saingan Baratnya juga menghasilkan angka yang mengkhawatirkan.

Antropik mengungkapkan bahwa Deepseek bahkan menawarkan hasil pada senjata biologis. Kita berbicara tentang output yang bisa memudahkan seseorang untuk membuat jenis senjata ini, bahkan di rumah. Tentu saja, ini cukup mengkhawatirkan, dan itu adalah risiko bahwa Eric Schmidt, mantan CEO Google, juga memperingatkan. Dario Amodei, CEO Anthropic, mengatakan bahwa Deepseek adalah “Yang terburuk pada dasarnya model apa pun yang pernah kami uji”Mengenai perisai keamanan terhadap dorongan berbahaya. Promptfoo, startup keamanan siber AI, juga memperingatkan bahwa Deepseek sangat rentan terhadap jailbreak.

Klaim Antropik sejalan dengan hasil tes Cisco. Tes ini melibatkan penggunaan 50 prompt acak – diawasi dari dataset Harmbench – dirancang untuk menghasilkan output berbahaya. Menurut Cisco, Deepseek menunjukkan tingkat keberhasilan serangan (ASR) 100%. Artinya, platform AI Cina tidak dapat memblokir prompt berbahaya.

Beberapa AI Barat juga rentan terhadap jailbreak

Cisco juga menguji perisai keamanan chatbots AI populer lainnya. Sayangnya, hasilnya tidak jauh lebih baik, yang tidak berbicara dengan baik tentang “sistem prompt anti-harmful” saat ini. Misalnya, model Pro GPT-1.5 Openai menunjukkan tingkat ASR yang sangat tinggi sebesar 86%. Sementara itu, Meta’s Llama 3.1 405b memiliki ASR yang jauh lebih buruk sebesar 96%. Pratinjau O1 Openai adalah pemain terbaik dalam pengujian dengan ASR hanya 26%.

Hasil ini menunjukkan bagaimana mekanisme keamanan yang lemah terhadap dorongan berbahaya dalam beberapa model AI dapat menjadikan output mereka sebagai senjata potensial.

Mengapa begitu sulit untuk memblokir petunjuk berbahaya?

Anda mungkin bertanya -tanya mengapa tampaknya sangat sulit untuk mengatur sistem keamanan yang sangat efektif terhadap jailbreaking AI. Ini terutama karena sifat sistem ini. Kueri AI berfungsi secara berbeda dari pencarian Google, misalnya. Jika Google ingin mencegah hasil pencarian yang berbahaya (seperti situs web dengan malware) muncul, itu hanya harus membuat beberapa blok di sana -sini.

Namun, segalanya menjadi lebih rumit ketika kita berbicara tentang chatbots bertenaga AI. Platform ini menawarkan pengalaman “percakapan” yang lebih kompleks. Selain itu, platform ini tidak hanya melakukan pencarian web tetapi juga memproses hasil dan menyajikannya kepada Anda dalam berbagai format. Misalnya, Anda dapat meminta Chatgpt untuk menulis cerita di dunia fiksi dengan karakter dan pengaturan tertentu. Hal -hal seperti ini tidak mungkin dalam pencarian Google – sesuatu yang ingin dipecahkan perusahaan dengan mode AI yang akan datang.

Justru fakta bahwa platform AI dapat melakukan begitu banyak hal yang membuat pemblokiran berbahaya mendorong tugas yang menantang. Pengembang harus sangat berhati -hati tentang apa yang mereka batasi. Lagi pula, jika mereka “melewati batas” dengan membatasi kata atau petunjuk, mereka dapat sangat mempengaruhi banyak kemampuan chatbot dan keandalan output. Pada akhirnya, pemblokiran yang berlebihan akan menyebabkan reaksi berantai terhadap banyak petunjuk lain yang berpotensi tidak berbahaya.

Karena pengembang tidak dapat dengan bebas memblokir istilah, ekspresi, atau permintaan yang mereka inginkan, aktor jahat berusaha memanipulasi chatbot menjadi “berpikir” bahwa prompt itu sebenarnya tidak memiliki tujuan jahat. Ini menghasilkan chatbot memberikan output yang berpotensi berbahaya bagi orang lain. Ini pada dasarnya seperti menerapkan rekayasa sosial – mengambil keuntungan dari ketidaktahuan teknologi orang atau kenaifan di internet untuk penipuan – tetapi untuk entitas digital.

Teknik Jailbreak AI Jailbreak Dunia Immersive Jaringan Cato

Baru -baru ini, perusahaan cybersecurity Cato Networks membagikan temuannya mengenai betapa rentannya platform AI untuk melakukan jailbreak. Namun, peneliti Cato tidak puas untuk mengulangi tes orang lain; Tim mengembangkan metode jailbreak baru yang terbukti cukup efektif.

Seperti yang disebutkan sebelumnya, AI Chatbots dapat menghasilkan cerita berdasarkan petunjuk Anda. Nah, teknik Cato, yang disebut “dunia imersif,” mengambil keuntungan dari kemampuan ini. Teknik ini melibatkan menipu platform untuk bertindak dalam konteks cerita yang sedang berkembang. Ini menciptakan semacam “kotak pasir” di mana, jika dilakukan dengan benar, chatbot akan menghasilkan output berbahaya tanpa masalah karena, secara teori, itu hanya dilakukan untuk sebuah cerita dan tidak mempengaruhi siapa pun.

Yang paling penting adalah membuat skenario fiktif yang terperinci. Pengguna harus menentukan dunia, konteks, aturan, dan karakter – dengan karakteristik mereka yang pasti. Tujuan penyerang juga harus selaras dengan konteksnya. Misalnya, untuk menghasilkan kode berbahaya, konteks yang terkait dengan dunia yang penuh dengan peretas mungkin berguna. Aturan juga harus beradaptasi dengan tujuan yang dimaksud. Dalam kasus hipotetis ini, akan berguna untuk menetapkan bahwa keterampilan peretasan dan pengkodean sangat penting untuk semua karakter.

Cato Networks merancang dunia fiksi yang disebut “Velora.” Di dunia ini, pengembangan malware bukanlah praktik ilegal. Semakin detail tentang konteks dan aturan dunia, semakin baik. Seolah -olah AI “membenamkan” dirinya dalam cerita, lebih banyak informasi yang Anda tambahkan. Jika Anda seorang pembaca yang rajin, kemungkinan Anda telah mengalami sesuatu yang serupa di beberapa titik. Itu juga membuat AI lebih dapat dipercaya bahwa Anda mencoba membuat cerita.

Platform AI menghasilkan malware mencuri kredensial di bawah konteks menulis cerita

Peneliti Cato menciptakan tiga karakter utama untuk cerita di Velora. Ada Dax, Administrator Antagonis dan Sistem. Lalu ada Jaxon, pengembang malware terbaik di Velora. Terakhir, Kaia adalah karakter dukungan teknis.

Menetapkan kondisi ini memungkinkan peneliti untuk memiliki platform AI menghasilkan kode berbahaya yang mampu mencuri kredensial dari Google Chrome’s Password Manager. Bagian penting dari cerita yang menginstruksikan chatbots untuk melakukan ini adalah ketika Kaia memberi tahu Jaxon bahwa Dax menyembunyikan rahasia kunci di Chrome’s Password Manager. Dari sana, peneliti dapat meminta agar chatbot menghasilkan kode berbahaya yang memungkinkannya untuk mendapatkan kredensial yang disimpan secara lokal di browser. Kecerdasan buatan melakukan ini karena, dalam pandangannya, hanya untuk memajukan cerita.

Tentu saja, ada seluruh proses kreatif sebelum mencapai titik itu. Teknik dunia yang mendalam mengharuskan semua petunjuk Anda konsisten dengan kerangka cerita. Terlalu jauh di luar kotak dapat memicu perisai keamanan chatbot.

Teknik ini berhasil diimplementasikan di Deepseek-R1, Deepseek-V3, Microsoft Copilot, dan Openai’s ChatGPT 4. Malware yang dihasilkan menargetkan Chrome V133.

Penalaran model AI dapat membantu menyelesaikan situasi

Ini hanyalah contoh kecil tentang bagaimana kecerdasan buatan dapat di -jailbroken. Penyerang juga mengandalkan beberapa teknik lain yang memungkinkan mereka mendapatkan output yang diinginkan. Jadi, menggunakan AI sebagai senjata potensial atau ancaman keamanan tidak sesulit yang Anda kira. Bahkan ada “pemasok” chatbots AI populer yang dimanipulasi untuk menghapus sistem keamanan. Platform ini sering tersedia di forum anonim dan web yang dalam, misalnya.

Mungkin saja generasi baru kecerdasan buatan akan lebih mengatasi masalah ini. Saat ini, chatbots bertenaga AI menerima kemampuan “penalaran”. Ini memungkinkan mereka untuk menggunakan lebih banyak daya pemrosesan dan mekanisme yang lebih kompleks untuk menganalisis prompt dan melaksanakannya. Fitur ini dapat membantu chatbots mendeteksi jika penyerang benar -benar mencoba untuk melakukan jailbreak.

Ada petunjuk yang menyarankan ini akan terjadi. Misalnya, model O1 Openai melakukan yang terbaik dalam tes Cisco saat memblokir permintaan berbahaya. Namun, Deepseek R1, model lain dengan kemampuan penalaran dan dirancang untuk bersaing dengan O1, menunjukkan hasil yang agak buruk dalam tes serupa. Kami berasumsi bahwa pada akhirnya, itu juga tergantung pada seberapa terampil pengembang dan/atau spesialis keamanan siber adalah ketika menyiapkan perisai yang mencegah output AI digunakan sebagai senjata.