首席資訊安全官 (CISO) 面臨的問題並非人工智慧是否應該接觸客戶數據，而是什麼樣的控制鏈能夠使自主行為可審計且有界限。以下是該鏈條的逐層結構，以及您仍需要承擔的剩餘風險。
錯誤的問題和正確的問題
當供應商提議讓AI代理讀取、推理並處理您的客戶資料時，安全部門的第一個反應是詢問是否應該允許這樣做。這種問法看似謹慎，卻是錯誤的問題。 「AI是否應該接觸客戶資料」這個問題沒有一個站得住腳的「是」或「否」的答案，因為風險不在於接觸本身。它位於模型生成意圖到該意圖轉化為針對真實記錄的實際操作之間的執行鏈中。
更恰當的問題，也是首席資訊安全官 (CISO) 真正可以採取行動的問題，是：如何建構一條控制鏈，使自主行為可審計且有界？自主性本身並非威脅，不受監管的自主性才是。如果您能夠列出模型輸出與客戶記錄寫入之間的每一個環節，您就可以推斷剩餘風險、分配責任並做出合理的決策。如果您做不到這一點，任何關於「負責任的人工智慧」的政策措辭都無濟於事。
本文以縱深防禦的方式，完整闡述了這條防禦鏈。每一層都根據其應對的具體威脅進行描述，並大致對應OWASP用於LLM和應用風險的類別。整個框架遵循NIST人工智慧風險管理框架的精神：人工智慧風險是一個持續的過程，需要在系統生命週期內進行管理和重新評估，而不是採購時簽署的一次性清單。最後，我們將坦誠地說明這些控制措施無法解決的問題。
第一層：驗證執行，確保幻覺永遠不會成為執行路徑
任何代理系統中第一個也是最危險的漏洞，是模型發出類似指令的內容，而執行時卻照常執行。語言模型是機率產生器；它最終會產生一個原本不應該存在的 string。如果將這個 string 原封不動地傳遞給 shell 或解釋器，幻覺就會變成一條未經檢查的執行路徑。這是代理系統中的經典注入攻擊，也是令安全架構師夜不能寐的威脅。
我們的答案是首先拒絕將模型輸出視為可執行檔。 AI 產生的命令會根據靜態命令樹進行驗證，靜態命令樹是在執行任何內容之前提前定義的已知操作的白名單。不在樹中的指令不會執行，完全停止。確實傳遞的命令透過受約束的 shell=False 樣式的執行路徑進行分派，其中參數作為離散的結構化參數傳遞，而不是連接到 shell 將重新解釋的字串中。
結果是，模型的創造力僅限於在系統已知能夠安全執行的操作中進行選擇。它無法創造新的操作。一個虛構的指令會在驗證邊界處關閉，而不是成為實際執行的操作。這並不能使模型變得正確；它只是使模型的錯誤變得難以糾正。
第二層：已簽署、完整性檢查、沙盒化的擴充程序
代理平台的優勢在於其可擴展性，第三方技能和擴充功能可以添加各種功能。然而，可擴展性也意味著供應鏈攻擊面。這裡有雙重威脅：一是惡意編寫的擴充程序，二是合法擴充功能在作者和執行時間之間的某個環節被竄改或入侵。無論哪種情況，未經檢查載入後都會獲得系統的信任。
我們採用加密技術來保障供應鏈安全。第三方技能使用 Ed25519 進行簽名，並在被允許之前使用 SHA-256 驗證其完整性。簽章會與憑證撤銷清單進行比對，因此即使曾經有效，簽署金鑰已被撤銷的擴充功能也會被拒絕。這為您提供了溯源信息，並允許您在事後撤銷信任，這在發現密鑰洩露時至關重要。
溯源是必要的，但並非充分條件，因為已簽署的擴充程式在執行時仍可能出現異常行為。因此，獲準的擴充功能會在一個三層運行時沙箱中執行，該沙箱限制了檔案系統、網路和進程的存取權限。擴充功能只能看到它被允許查看的內容，並且只能存取它被允許存取的內容。我們對此限制進行了明確規定：沙箱是一種實際的折衷方案，它大幅縮小了影響範圍，而不是完美隔離的數學保證。它提高了惡意擴充功能的成本並縮小了其影響範圍；但它並不能完全杜絕惡意擴充程式的存在。
第三層：透過MCP進行受控工具訪問
當代理人透過工具進行外部操作時，問題就變成了身分、授權和責任核算。潛在的威脅包括：權限過大，代理可以呼叫它無權調用的工具；成本失控或濫用，代理陷入循環或資源耗盡；以及事後無法還原操作者身分。
每次透過模型上下文協定呼叫工具都受到四點控制。首先，它透過租用戶金鑰進行身份驗證，因此每次呼叫都攜帶可驗證的身份資訊。其次，它按工具進行授權，因此擁有金鑰並不意味著授予所有權限，而只是授予該身分所授權的特定操作權限。最後，它受到預算的約束，該預算按每次運行、每天和滾動 30 天窗口執行，並設有終止開關，可以停止活動，因此故障或被劫持的代理無法悄無聲息地增加無限制的成本或流量。最後，它受到審計，並進行每次呼叫的脫敏處理，因此追蹤本身不會成為敏感資料外洩的新途徑。
總而言之，這些措施將工具存取權限從隱式能力轉變為顯式、最小權限、可問責的能力。預算和終止開關尤其針對傳統存取控製完全忽略的故障模式：代理即使擁有完全授權，仍然會大規模地執行錯誤操作，因為沒有任何機制阻止它。
第四層：來自語意層而非模型的數據
智慧分析中一個較隱密的威脅是捏造指標。詢問模型某個用戶群的表現如何，它會很樂意產生一個看起來正確但完全虛構的 number 值。在行銷或用戶留存方面，一個明顯錯誤的數據可能會在任何人發現模型捏造數據之前，就影響到實際決策、預算調整、行銷活動或董事會簡報的發布。
我們透過移除模型中用於生成資料的功能來結束本文。指標資料來自經過認證的語意層，這是一個受管控的目錄，其中每個指標都有其定義、已知的計算方法以及租戶範圍的查詢路徑。代理的角色是請求指標並描述結果；它本身無權推導 number。當系統報告 GMV、活躍會員或兌換率時，該值可追溯到基於真實數據的經過認證的定義，而不是一個聽起來合理的令牌序列。
這也是衡量業務影響真實性的關鍵。我們可以指出，McDonald's China將會員貢獻的GMV從大約5%提升到85%，正是因為這個數字來自一個明確且可審計的指標，而不是模型的猜測。防止造假的嚴謹性，正是確保真實結果可信的嚴謹性。
第五層：租戶隔離作為整個技術棧的屬性
跨租戶資料洩露，即一個客戶的資料出現在另一個客戶的會話中，是導致信任永久破裂的根本原因。它很少是由單一檢查缺失造成的，而是源自於組件之間的銜接問題，其中一層假定另一層強制執行了實際上並未強制執行的邊界。
因此，隔離被視為一種在多個層面同時強化的屬性，而非單一的門檻。身份驗證上下文在每個請求中都承載著租戶資訊。查詢範圍經過限定，因此資料存取在建置時就被過濾到特定租用戶。快取也經過分區，因此一個租用戶的快取結果無法提供給其他租用戶。語義層的讀取存取透過基於授權的唯讀視圖進行管理，因此即使是分析查詢也受到資料庫本身權限模型的限制，而不僅僅是應用程式程式碼的限制。
這些指標重疊的目的是為了避免單一漏洞演變成安全漏洞。此處的縱深防禦並非為了冗餘而冗餘；而是為了承認任何一道防線都可能出現實施錯誤，並且跨租戶洩露的成本足夠高，足以彌補任何疏忽造成的損失。
第六層：對重要操作進行人工審批
最後一個環節刻意避免自動化。閱讀、分析、撰寫和提案可以自動完成。但激活，即觸達客戶或促成消費的後續操作，需經過人工審批。一位擁有權限和相關背景的人員會審核代理的意圖，並決定是否執行。
這並非承認自動化系統不可信。而是一種關於責任歸屬的設計選擇。有些決策會帶來後果，無論系統管理多麼完善，組織都不應該將其委託給機率系統。確保啟動環節由人工把關，意味著整個流程最終由能夠追究責任的人負責，而這正是監管機構、董事會或事件審查部門所關注的重點。
值得一提的是，審批流程本身也存在著一種失效模式：橡皮圖章式審核。審批者不經閱讀就點擊通過的審核流程只是走過場。審核流程的有效性取決於其背後的審核，而審核本身就是貴組織必須擁有和審核的控制措施，而平台無法代表您做出保證。
您仍然需要承擔的剩餘風險
完整地建造安全鏈，包括經過驗證的執行、簽名和沙盒化的擴展、受控的工具訪問、認證的指標、分層租戶隔離以及人工審批，從而構建縱深防禦體系，其中每一層都針對特定的威脅，任何單一故障都不會造成災難性後果。這就是首席資訊安全官 (CISO) 可以真正簽署確認的可控自主權，因為每個環節都可審計且有界線。
我們不會假裝它毫無風險。控制措施可以降低風險，但無法消除風險。沙箱是一種切實可行的折衷方案，並非完美隔離。允許清單必須維護，否則就會過時。如果監管不力，審批門就會淪為橡皮圖章。撤銷清單只有在保持最新時才有效。 NIST 的框架之所以正確，恰恰在於它坦誠地指出：人工智慧風險管理是一個持續的過程。威脅模型會發生變化，模型會更新，擴充功能會不斷增加，而您的保障程度取決於您是否願意持續重新評估。如果您將此視為一份已完成的清單，那麼這種姿態就開始瓦解。
真正由您掌控、任何平台都無法代表您擁有的東西是清晰的：允許的自主權策略、負責審批並認真閱讀審批內容的人員、允許列表和撤銷列表的維護，以及將日誌轉化為問責制的持續審計。我們的工作是為您提供一條每個環節可檢查的鏈條。您的職責是管理它。如果您想根據自身的威脅模型來評估風險，並確定各個環節的設置，請預約演示並提出您最棘手的問題。
延伸閱讀
繼續瀏覽與此頁面最相關的頁面。
銷售管道並非循環：為什麼只有「累積」才能實現複利留存
大多數行銷技術都運行著單向管道，並稱之為循環。區別在於一個節點——寫回——而這正是您可以複製的技術堆疊與無法複製的優勢之間的區別。
了解更多 文章面向人工智慧的 SaaS：當您的軟體主要使用者是代理而非個人時
「面向人工智慧的SaaS」是一項精準的架構主張，而非口號。當智能體成為主要消費者時，產品就變成了治理工具：誰可以行動，代表誰行動，以及成本是多少。
了解更多 文章一種詞彙，兩種受眾：為什麼您的人工智慧和儀表板必須共享語義層
工具是代理使用的動詞。語意層是共享詞彙表，確保這些動詞的真實性。只需建構一次，即可服務於使用者和代理，無論誰提問，number 的含義都相同。
了解更多 文章MCP 不是連結器－它是您在代理時代的治理平台
大多數報告將模型上下文協定 (MCP) 描述為管道系統。更有意義的企業級重新定義：MCP 是唯一可審計的平台，用於決定 AI 工具使用的身份、授權、日誌記錄和成本控制。
了解更多 文章從 Claude Code 和 Slack 運行您的客戶平台
解鎖功能並非更快的儀錶板，而是一種不同的運行模式：在您的團隊已使用的 AI 工具內部整合一個受管代理程式——以自然語言回答問題並採取行動，無需匯出資料或放棄控制權。
了解更多 文章一個身份，千次對話：超個性化時代的品牌聲音
缺乏品牌統一性的個人化是與品牌無關的噪音。缺乏個人化的固定標誌是無關緊要的廣播。前衛在於同時兼顧兩者。
了解更多