一套AI如果只幫忙整理資料，出錯時通常還有時間重來；但當它開始會呼叫工具、寄出訊息、修改資料，甚至連續完成多個步驟，風險就不再只是「答案不夠準」。它可能在沒有人即時看見的情況下，把一個小錯誤一路放大。
這正是企業導入AI代理時最容易忽略的地方。大家常先看模型多聰明、能省多少時間，卻較少追問：誰准它做這件事？它可以碰到哪些資料？發現異常時，誰有權讓它立刻停下來？
歐盟開始追問的，不是模型會不會答題而是能否控制
歐盟執委會在2026年10月9日發布的〈執委會召開前沿AI安全與風險科學小組特別會議〉指出，科學小組正在檢視近期與失去控制有關的事件，並與歐盟AI辦公室共同擬定問題，要求涉及模型的開發業者說明。官方尚未公布事件細節、公司名稱及調查結論，因此不能把會議寫成已認定某家公司違法。
這場會議仍是一個清楚的治理訊號。歐盟找來60名獨立專家，工作不只是討論技術趨勢，還包括系統性風險、模型評估方法及跨境市場監督。監管問題已從「模型能做什麼」，往前走到「能力變強後，企業怎麼證明它仍在可控制的範圍內」。
評估、紀錄與通報，才是安全承諾能不能被查證的基礎
《歐盟人工智慧法》第55條要求具有系統性風險的通用AI模型業者，進行並記錄模型評估與對抗測試，評估及降低可能的系統性風險，追蹤重大事件並迅速通報，也要維持模型與基礎設施的資安。這些義務針對特定模型業者，不是所有使用AI的公司都直接適用相同條文。
歐盟執委會2026年10月更新的〈人工智慧法執法架構〉也說明，AI辦公室可要求業者提供資訊、技術文件或模型存取，以進行能力評估；若屬禁止的AI行為，最高罰款可達3500萬歐元或全球年營業額7％，取較高者。一般通用AI義務違規的上限則為1500萬歐元或3％。罰則是法規上限，不代表近期事件已經開罰。
真正值得企業學的，不是先猜會罰多少，而是證據要在平常留下。若公司只在事故後口頭說「有人工確認」，卻拿不出測試版本、權限設定、人工介入時點與修正紀錄，安全承諾很難被內部稽核、客戶或主管機關驗證。
台灣企業現在要盤點的是權限，而不只是選哪一個模型
台灣在2026年1月14日公布施行的《人工智慧基本法》，已把人類自主、隱私與資料治理、資安、安全、透明、公平及問責列為治理原則。法律也要求政府使用AI時進行風險評估並建立內控；民間企業的個別義務，仍須依產業法規、個資、消費者保護、契約及後續規範判斷，不能把政府條文直接套用到所有公司。
不過，企業不用等所有細則完成才開始管理。採購AI服務時，可以先畫出它實際能碰到的資料、系統與外部工具，再依影響程度決定權限。例如，整理公開資料與修改客戶帳戶，不應使用同一套核准門檻；產生建議與自動執行付款，也不能只靠同一句「人在迴路中」交代。
數位發展部在2026年7月生效的《人工智慧風險分類框架》提出盤點情境、識別風險、評估風險及應對風險4個流程。企業可以借用這套順序，但仍要把抽象原則翻成日常控制：哪些動作必須再次確認、誰能提高權限、紀錄保留多久、供應商更新模型後是否重測，以及發生異常時能否暫停服務。
AI治理不是把創新鎖住，而是讓出錯時真的踩得到煞車
AI代理的價值，正是能替人完成更多工作。若因為有風險就全部禁止，企業會失去改善流程的機會；但若只追求自動化比例，沒有設計邊界，省下的時間可能在一次錯誤中全部還回去。
比較穩健的做法，是把「能不能做」和「能不能直接做」分開。低影響工作可以給較多自主空間；牽涉金錢、個資、人事、醫療、安全或對外承諾時，應提高授權、測試及人工覆核強度。這不是不信任技術，而是承認同一個錯誤放在不同場景，後果完全不同。
歐盟這次特別會議尚未給出最終答案，卻提醒企業一件很實際的事：模型越能自己行動，管理責任就越不能只留給資訊部門或供應商。真正成熟的AI治理，不是保證系統永遠不出錯，而是每個重要動作都有邊界、有人負責、有紀錄可查，真的失控時也停得下來。
