AI가 작동하기 전에 제어하고, 작동한 후에 제어하지 마세요.

인공지능이 행동할 수 있게 되면, 실행에 앞서 제어권이 이동해야 합니다.

AI가 단순히 분석 결과만 제공하던 시절에는 사후 검토가 괜찮았습니다. 하지만 상담원이 권한을 변경하거나 예산을 소진하거나 고객에게 메시지를 보낼 수 있게 되면, 사후 검토는 이미 발생한 문제를 기록하는 것에 불과합니다. 규제 당국은 이제 그 위험성을 명확히 했습니다. EU AI법에 따라 고위험 AI는 문서화, 감독 및 투명성 의무를 준수해야 하며, 시장 감독 당국은 규정을 준수하지 않는 시스템의 철수를 요구할 수 있고, 위반 시 최대 1,500만 유로 또는 전 세계 연간 매출액의 3% 중 더 높은 금액의 벌금이 부과될 수 있습니다.

내부 위험 또한 심각합니다. 분석가들은 승인되지 않은 AI 활동의 대부분이 공격자가 아닌 일반적인 정책 위반(과도한 정보 공유, 부적절한 사용, 잘못된 에이전트 동작)에서 비롯된다는 사실을 발견했습니다. 이는 사전 실행 권한 부여 및 완벽한 추적 기능이 방지하고자 하는 바로 그 문제입니다. 거버넌스는 정책 문서에서 강제적인 런타임 제어로 전환되고 있으며, 전용 AI 거버넌스 기능은 드문 것에서 표준으로 자리 잡고 있습니다.

• 고위험 AI 의무에는 2026년부터 시행 권한이 부여되며 최대 1,500만 유로 또는 전 세계 연간 매출액의 3%까지 벌금이 부과됩니다. — EU AI 법 — 유럽 위원회 ↗
• 2026년까지 승인되지 않은 AI 거래의 최소 80%는 외부 공격이 아닌 내부 정책 위반에서 비롯될 것입니다. — 가트너 AI TRiSM(2025) ↗
• 2028년까지 대규모 조직의 25%가 AI 거버넌스 전담팀을 보유하게 될 것이며, 이는 2023년 1% 미만에서 증가한 수치입니다. — 가트너 AI TRiSM(2025) ↗

실행 전 승인 및 완벽한 추적 기능

모든 요청은 엔티티(어떤 object?), 액션(어떤 작업?), 스코프(범위?)의 세 단계로 구성된 피라미드 구조를 거치기 전에 평가됩니다. 액션은 읽기 전용 분석, 권장 사항, 제어된 쓰기, 고위험 실행의 네 가지 유형으로 나뉘며, 각 유형은 점진적으로 더 엄격한 권한을 요구합니다. 따라서 영향력이 클수록 요청이 실행되기 전에 더 많은 제어 단계를 거칩니다. 에이전트는 워크플로 컨텍스트에 제약을 받습니다. 즉, 워크플로에서 노출하는 내용만 볼 수 있고, 승인된 도구만 ​​사용하며, 허용된 콘텐츠만 생성합니다.

인간과 AI 운영자는 동일한 거버넌스 로직(두 개가 아닌 하나의 규칙 세트)에 따라 협력하며, 모든 작업은 시나리오, 노드, 판단, 규칙 및 결과와 함께 기록되어 모든 결정에 대한 감사 및 취소가 가능합니다. 데이터 상주 위치는 Azure 지역(미국, 유럽, 아시아)별로 구성할 수 있으며, 플랫폼은 SOC 2 Type II 감사를 받고 ISO 27001 인증을 받았으므로 정책 문서에 명시하는 것이 아니라 런타임에 제어가 적용됩니다.