Autonomi Yang Boleh Anda Tadbir: Rantaian Keselamatan Di Sebalik Ejen Penyewaan Bertindak ke atas Data Pelanggan
Oleh SocialHub.AI Pasukan
Persoalan CISO bukanlah sama ada AI harus menyentuh data pelanggan. Ia adalah rantaian kawalan yang menjadikan tindakan autonomi boleh diaudit dan dibatasi. Inilah rantaian itu, lapisan demi lapisan, dan risiko baki yang masih anda miliki.
Soalan yang salah, dan soalan yang betul
Apabila vendor mencadangkan agar ejen AI membaca, membuat pertimbangan dan bertindak ke atas data pelanggan anda, naluri daripada organisasi keselamatan adalah untuk bertanya sama ada anda harus membenarkannya sama sekali. Pembingkaian itu terasa berhemat, tetapi ia adalah soalan yang salah. "Patutkah AI menyentuh data pelanggan" tidak mempunyai jawapan ya atau tidak yang boleh dipertahankan, kerana risikonya bukan pada sentuhan. Ia berada dalam rantaian pelaksanaan antara model yang menghasilkan niat dan niat itu menjadi tindakan sebenar terhadap rekod sebenar.
Soalan yang lebih baik, dan yang sebenarnya boleh diambil tindakan oleh CISO, ialah: apakah rantaian kawalan yang menjadikan tindakan autonomi boleh diaudit dan dibatasi? Autonomi bukanlah ancamannya. Autonomi yang tidak dikawal adalah ancamannya. Jika anda boleh menamakan setiap pautan dalam rantaian yang berada di antara output model dan penulisan kepada rekod pelanggan, anda boleh membuat penaakulan tentang risiko sisa, menetapkan pemilikan dan membuat keputusan yang boleh dipertahankan. Jika anda tidak boleh, tiada bahasa dasar tentang "AI yang bertanggungjawab" akan menyelamatkan anda.
Siaran ini menghuraikan rantaian itu dari hujung ke hujung, sebagai kisah pertahanan yang mendalam. Setiap lapisan diterangkan oleh ancaman khusus yang ditanganinya, dipetakan secara longgar kepada jenis kategori yang digunakan oleh OWASP untuk LLM dan risiko aplikasi. Pembingkaian keseluruhan mengikuti semangat Rangka Kerja Pengurusan Risiko NIST AI: Risiko AI ialah proses berterusan, ditadbir dan diukur semula sepanjang hayat sistem, bukan senarai semak sekali sahaja yang anda tandatangani semasa perolehan. Kami akan jujur pada akhirnya tentang apa yang kawalan ini tidak selesaikan.
Lapisan satu: pelaksanaan yang disahkan, jadi halusinasi tidak pernah menjadi laluan pelaksanaan
Jurang pertama dan paling berbahaya dalam mana-mana sistem agentik ialah saat model memancarkan sesuatu yang kelihatan seperti arahan dan masa jalan menjalankannya dengan patuh. Model bahasa ialah penjana probabilistik; ia akhirnya akan menghasilkan string yang tidak sepatutnya wujud. Jika string itu dihantar ke shell atau penterjemah sebagaimana adanya, halusinasi menjadi laluan pelaksanaan yang tidak disemak. Ini ialah analog agentik suntikan klasik, dan ia merupakan ancaman yang membuatkan arkitek keselamatan terjaga.
Jawapan kami adalah untuk menolak untuk menganggap output model sebagai boleh laku pada mulanya. Perintah yang dijana AI disahkan terhadap pokok perintah statik, senarai dibenarkan operasi yang diketahui yang ditakrifkan terlebih dahulu, sebelum apa-apa berjalan. Perintah yang tiada dalam pokok tidak dilaksanakan, noktah. Perintah yang lulus dihantar melalui laluan pelaksanaan gaya shell=False yang dikekang, di mana argumen diluluskan sebagai parameter berstruktur diskret dan bukannya digabungkan menjadi string yang akan ditafsirkan semula oleh shell.
Kesannya ialah kreativiti model terhad kepada memilih antara operasi yang sistem sudah tahu cara melaksanakannya dengan selamat. Ia tidak boleh mencipta yang baharu. Perintah halusinasi gagal ditutup pada sempadan pengesahan dan bukannya menjadi tindakan langsung. Ini tidak menjadikan model betul; ia menjadikan ketidaktepatan model tidak aktif.
Lapisan dua: sambungan yang ditandatangani, disemak integriti, dikotak pasir
Platform Agentik mendapat pengaruhnya daripada kebolehpanjangan, Kemahiran pihak ketiga dan sambungan yang menambah keupayaan. Kebolehpanjangan juga merupakan permukaan serangan rantaian bekalan. Ancaman di sini ada dua: sambungan berniat jahat yang dibuat dengan niat jahat dan sambungan sah yang telah diusik atau dikompromikan di suatu tempat antara pengarang dan masa jalan. Mana-mana satu, dimuatkan tanpa ditanda, berjalan dengan kepercayaan sistem.
Kami menangani bahagian rantaian bekalan dengan kriptografi. Kemahiran Pihak Ketiga ditandatangani dengan Ed25519, dan integritinya disahkan dengan SHA-256 sebelum diterima. Tandatangan disemak terhadap senarai pembatalan sijil, jadi sambungan yang kunci tandatangannya telah dibatalkan ditolak walaupun ia pernah sah. Ini memberi anda asal usul dan keupayaan untuk menarik balik kepercayaan selepas fakta, yang penting apabila kunci didapati dikompromikan.
Asal usul adalah perlu tetapi tidak mencukupi, kerana sambungan yang ditandatangani masih boleh berkelakuan tidak baik semasa waktu jalan. Jadi sambungan yang diterima dilaksanakan di dalam kotak pasir masa jalan tiga lapisan yang mengehadkan sistem fail, rangkaian dan proses. Sambungan hanya melihat apa yang dibenarkan untuk dilihat dan hanya boleh mencapai apa yang dibenarkan untuk dicapai. Kami sengaja mempertimbangkan had ini: kotak pasir adalah kompromi praktikal, pengurangan jejari letupan yang kuat, bukan jaminan matematik pengasingan yang sempurna. Ia meningkatkan kos dan menyempitkan jangkauan sambungan bermusuhan; ia tidak menjadikan sambungan bermusuhan mustahil.
Lapisan tiga: akses alat terkawal melalui MCP
Apabila ejen mencapai luar dirinya untuk bertindak, melalui alat, persoalannya menjadi identiti, kebenaran dan perakaunan. Ancamannya adalah akses yang terlalu luas, di mana ejen boleh memanggil alat yang tidak mempunyai panggilan perniagaan; kos atau penyalahgunaan yang melampau, di mana ejen berulang atau didorong untuk menghabiskan sumber; dan ketidakupayaan untuk membina semula, selepas fakta, siapa yang melakukan apa.
Setiap panggilan alat melalui Protokol Konteks Model dikawal pada empat titik. Ia disahkan oleh kunci penyewa, jadi panggilan tersebut membawa identiti yang boleh disahkan. Ia dibenarkan bagi setiap alat, jadi memiliki kunci tidak memberikan keseluruhan permukaan, hanya operasi khusus yang berhak dimiliki oleh identiti. Ia diukur terhadap bajet yang dikuatkuasakan ke atas tetingkap setiap larian, setiap hari dan 30 hari bergulir, dengan suis bunuh yang boleh menghentikan aktiviti, jadi ejen yang tidak berfungsi atau dirampas tidak boleh menjalankan kos atau volum tanpa had secara senyap. Dan ia diaudit, dengan penyuntingan setiap panggilan supaya jejak itu sendiri tidak menjadi tempat baharu kebocoran data sensitif.
Secara keseluruhannya, semua ini mengubah akses alat daripada keupayaan tersirat kepada keupayaan yang eksplisit, paling tidak istimewa, dan bertanggungjawab. Belanjawan dan suis bunuh khususnya menangani mod kegagalan yang diabaikan sepenuhnya oleh kawalan akses klasik: ejen yang diberi kuasa sepenuhnya dan masih melakukan perkara yang salah pada skala besar kerana tiada apa yang menyuruhnya berhenti.
Lapisan empat: nombor daripada lapisan semantik, bukan daripada model
Ancaman yang lebih halus dalam analitik agentik ialah metrik yang direka. Tanya model bagaimana prestasi kohort dan ia dengan senang hati akan menghasilkan number yang kelihatan betul dan direka sepenuhnya. Dalam konteks pemasaran atau pengekalan, angka yang salah dengan yakin boleh mendorong keputusan sebenar, perubahan bajet, kempen, slaid papan, sebelum sesiapa perasan model itu mereka-rekanya.
Kami menutup perkara ini dengan mengalih keluar model daripada perniagaan menghasilkan angka. Nombor metrik datang daripada lapisan semantik yang diperakui, katalog terkawal di mana setiap metrik mempunyai definisi, pengiraan yang diketahui dan laluan pertanyaan skop penyewa. Peranan ejen adalah untuk meminta metrik dan menceritakan hasilnya; ia tidak dapat memperoleh number itu sendiri. Apabila sistem melaporkan GMV atau ahli aktif atau kadar penebusan, nilai tersebut kembali kepada definisi yang diperakui berbanding data sebenar, bukan kepada jujukan token yang kedengaran munasabah.
Di sinilah pengukuran impak perniagaan yang jujur berlaku. Kita boleh menunjukkan hasil seperti McDonald's China peningkatan GMV yang dikaitkan dengan ahli daripada kira-kira lima peratus kepada lapan puluh lima peratus, tepat kerana angka itu datang daripada metrik yang ditakrifkan dan boleh diaudit dan bukan daripada tekaan model. Disiplin yang menghalang fabrikasi adalah disiplin yang sama yang menjadikan hasil sebenar boleh dipercayai.
Lapisan lima: pengasingan penyewa sebagai hak milik keseluruhan susunan
Kebocoran rentas penyewa, iaitu data seorang pelanggan yang muncul dalam sesi pelanggan lain, merupakan kegagalan yang menamatkan kepercayaan secara kekal. Ia juga jarang disebabkan oleh satu pemeriksaan yang hilang. Ia muncul daripada sambungan antara komponen, di mana satu lapisan menganggap lapisan lain menguatkuasakan sempadan yang sebenarnya tidak dikuatkuasakan oleh sesiapa pun.
Jadi pengasingan dianggap sebagai sifat yang diperkukuh pada beberapa lapisan sekaligus dan bukannya satu pintu masuk. Konteks pengesahan membawa penyewa pada setiap permintaan. Pertanyaan diskopkan supaya akses data ditapis kepada penyewa mengikut pembinaan. Cache dibahagikan supaya hasil yang dicache untuk satu penyewa tidak boleh disampaikan kepada penyewa yang lain. Dan akses baca dalam lapisan semantik dimediasi melalui pandangan baca sahaja berasaskan geran, jadi pertanyaan analitikal pun dikekang oleh model kebenaran pangkalan data sendiri dan bukannya oleh kod aplikasi sahaja.
Tujuan pertindihan ini adalah bahawa tiada satu pepijat pun yang menjadi pelanggaran. Pertahanan mendalam di sini bukanlah redundansi untuk kepentingannya sendiri; ia adalah pengakuan bahawa mana-mana satu sempadan boleh dilaksanakan dengan salah dan kos kebocoran rentas penyewa cukup tinggi untuk mewajarkan ia terselamat daripada kesilapan.
Lapisan enam: pintu kelulusan manusia untuk tindakan berbangkit
Pautan terakhir sengaja tidak diautomasikan. Membaca, menganalisis, mendraf dan mencadangkan boleh menjadi autonomi. Pengaktifan, tindakan berbangkit yang menyentuh pelanggan atau melakukan perbelanjaan, melalui pintu kelulusan manusia. Seseorang yang mempunyai kuasa dan konteks menyemak apa yang ejen ingin lakukan dan memutuskan sama ada ia menghantar.
Ini bukanlah pengakuan bahawa automasi tidak boleh dipercayai. Ia adalah pilihan reka bentuk tentang di mana akauntabiliti harus diletakkan. Sesetengah keputusan membawa akibat yang sesebuah organisasi tidak boleh mewakilkan kepada sistem kebarangkalian, tidak kira betapa baiknya ditadbir urus. Mengekalkan manusia di pintu pengaktifan bermakna rantaian berakhir dengan seseorang yang boleh dipertanggungjawabkan, yang merupakan harta yang akan dicari oleh pengawal selia, lembaga atau semakan insiden.
Adalah wajar untuk menamakan bahawa pintu kelulusan mempunyai mod kegagalan mereka sendiri: cap getah. Pintu yang diklik oleh pelulus tanpa membaca adalah teater. Pintu itu hanya sekuat ulasan di sebaliknya, yang merupakan kawalan yang dimiliki dan diaudit oleh organisasi anda, bukan sesuatu yang boleh dijamin oleh platform bagi pihak anda.
Risiko baki yang masih anda miliki
Layout rantai dalam pelaksanaan penuh yang disahkan, sambungan yang ditandatangani dan dikotak pasir, akses alat yang dikawal, metrik yang diperakui, pengasingan penyewa berlapis dan kelulusan manusia, dan anda mempunyai postur pertahanan mendalam di mana setiap lapisan menangani ancaman yang dinamakan dan tiada kegagalan tunggal menjadi bencana. Itulah autonomi yang boleh ditadbir oleh CISO, kerana setiap pautan boleh diaudit dan dibatasi.
Kami tidak akan berpura-pura ia bebas risiko. Kawalan mengurangkan risiko; ia tidak menghapuskannya. Kotak pasir adalah kompromi praktikal, bukan pengasingan yang sempurna. Senarai dibenarkan mesti dikekalkan atau ia akan ketinggalan zaman. Pintu kelulusan akan terurai menjadi setem getah apabila disiplin luput. Senarai pembatalan hanya membantu jika ia terkini. Dan pembingkaian NIST adalah yang betul kerana ia jujur tentang perkara ini: Pengurusan risiko AI adalah proses yang berterusan. Model ancaman berubah, model berubah, sambungan ditambah, dan jaminan anda hanya sebaik kesediaan anda untuk terus mengukurnya semula. Hari anda menganggap ini sebagai senarai semak yang anda lengkapkan adalah hari postur mula reput.
Apa yang kekal bersama anda, perkara yang tidak boleh dimiliki oleh platform bagi pihak anda, adalah jelas: dasar untuk autonomi yang dibenarkan, orang yang mengendalikan pintu kelulusan dan benar-benar membaca apa yang mereka luluskan, penyelenggaraan senarai dibenarkan dan senarai pembatalan dan audit berterusan yang menukar log kepada akauntabiliti. Tugas kami adalah untuk memberi anda rangkaian di mana setiap pautan boleh diperiksa. Tugas anda adalah untuk mengawalnya. Jika anda ingin berjalan di rangkaian tersebut menentang model ancaman anda sendiri dan memutuskan di mana pintu gerbang anda sepatutnya berada, tempah demo dan bawa soalan paling sukar anda.
Bacaan berkaitan
Teruskan meneroka halaman yang paling berkaitan dengan yang ini.
Saluran Paip Bukan Gelung: Mengapa Hanya 'Kumpul' Menjadikan Pengekalan Kompaun
Kebanyakan martech menjalankan saluran paip sehala dan memanggilnya gelung. Perbezaannya ialah satu nod—tulis balik—dan ia adalah perbezaan antara tindanan yang boleh anda salin dan kelebihan yang tidak boleh anda salin.
Baca lebih lanjut ArtikelSaaS untuk AI: Apabila Pengguna Utama Perisian Anda Adalah Ejen, Bukan Orang
"SaaS untuk AI" ialah dakwaan seni bina yang tepat, bukan slogan. Apabila ejen merupakan pengguna utama, produk tersebut menjadi tadbir urus: siapa yang boleh bertindak, bagi pihak siapa, dan pada kos berapa.
Baca lebih lanjut ArtikelSatu Perbendaharaan Kata, Dua Khalayak: Mengapa AI dan Papan Pemuka Anda Mesti Berkongsi Lapisan Semantik
Alat ialah kata kerja yang digunakan oleh ejen. Lapisan semantik ialah perbendaharaan kata yang dikongsi yang memastikan kata kerja tersebut jujur. Bina sekali, layani orang dan ejen daripadanya, dan number bermaksud perkara yang sama tidak kira siapa yang bertanya.
Baca lebih lanjut ArtikelMCP Bukanlah Penyambung — Ia Permukaan Tadbir Urus Anda untuk Era Ejen
Kebanyakan liputan membingkaikan Protokol Konteks Model sebagai sistem paip. Pembingkaian semula perusahaan yang lebih penting: MCP ialah satu-satunya tempat yang boleh diaudit di mana identiti, kebenaran, pembalakan dan kawalan kos untuk penggunaan alatan AI diputuskan.
Baca lebih lanjut ArtikelJalankan Platform Pelanggan Anda dari Claude Code — dan Slack
Buka kunci bukanlah papan pemuka yang lebih pantas. Ia adalah model operasi yang berbeza: ejen terkawal di dalam alat AI yang telah digunakan oleh pasukan anda — menjawab dan bertindak dalam bahasa mudah, tanpa mengeksport data atau melepaskan kawalan.
Baca lebih lanjut ArtikelSatu Identiti, Seribu Perbualan: Suara Jenama dalam Era Hiper-Peribadian
Pemperibadian tanpa perpaduan jenama adalah hingar di luar jenama. Identiti tetap tanpa pemperibadian adalah siaran yang tidak relevan. Sempadan memegang kedua-duanya sekaligus.
Baca lebih lanjutIngin Mengetahui Lebih Lanjut?
Jadualkan perbualan dengan pakar gelung pengekalan kami.