HackerOne 研究洞察：從 OWASP Top 10 看 AI 資安風險的快速演變

Odin Info
3天前
讀畢需時 5 分鐘

文章來源 / HackerOne Official Blog

根據HackerOne最新的研究顯示，自 2024 年以來，與 AI 相關的有效資安通報數量已成長超過三倍。正在大規模部署 AI 的組織，正逐步體認到一個殘酷的事實：AI 擴大了機會，同時也擴大了曝光度。而當 AI 系統開始影響決策或與使用者互動的那一刻起，企業對風險的管理方式就必須隨之成熟。

這正是 AI Security Testing 成為關鍵轉捩點的原因！

AI 如何重塑曝光格局

AI 系統帶來不遵循固定執行路徑的安全漏洞。當模型解讀提示（Prompt）、擷取資料並呼叫工具時，攻擊者正利用其行為邏輯與協作流程中的弱點。這種轉變，也愈來愈清楚地反映在資安研究人員所提交的通報類型上。

最新一期《Hacker-Powered Security Report》的 AI 漏洞資料顯示，提示注入（Prompt Injection）、不安全的外掛與工具設計、過度的模型自主權（Model Agency），以及敏感資訊外洩等問題快速成長。這些風險源自 AI 系統「如何推理與行動」，而非傳統的用戶端或請求層級漏洞。

在 AI 採用初期，許多組織僅部署小規模或受限的應用，因此影響有限。然而，當 AI 系統開始具備自主性、能存取內部資料，或以大規模方式與使用者互動時，這些 AI 特有的風險就會轉變為實際營運風險。

「我們在數據中看到的趨勢，已經在現實世界中上演。近期的 AI 資安事件，包括 Claude jailbreak 與 Shai-Hulud 2.0，都揭露了提示控制、工具邊界與模型自主權的失效問題。這些相同的弱點模式，如今已成為 AI 有效資安通報的主流，進一步證實：當企業將 AI 擴展到實際使用者與決策流程中，AI 安全已成為一項成熟度的必要條件。」

—— Naz Bozdemir，HackerOne 首席產品研究員

早期 AI 採用者與 AI 成熟型企業之間的落差

處於 AI 採用早期階段的企業，通常專注於有限的部署情境，例如試點、內部工具或範圍狹小的功能。這類實作往往沿用既有的應用程式安全控制，因為 AI 元件是逐步導入，且運作於受限環境中。

相對地，AI 成熟型企業的規模完全不同。他們可能已有多個模型或代理（Agent）在正式環境中運行，將 AI 功能開放給外部使用者，或直接把 AI 深度整合進核心 SaaS 工作流程中。在這個階段，AI 的行為模式、資料存取與工具互動，已成為整體系統風險的重要組成，資安思維也必須隨之轉變。

AI 成熟度等級	範例	曝險類型
Level 1	簡易聊天機器人：基於公開資料的行銷 Q&A Bot	單一 LLM；使用商用基礎模型；無工具或長期記憶
Level 2	企業級 LLM：可存取 CRM 或客服工單等個資的支援助理	單一或多個 LLM、API、內部資料集、RAG 擷取、MCP 連接器
Level 3	Agentic 應用：可自主執行 SQL、腳本或網頁操作的內部代理	多代理協作；MCP 工具、A2A / ACP 驗證與操作紀錄
Level 4	前沿模型：OpenAI、Anthropic 或企業自建模型	專屬訓練資料、多租戶 Agentic 系統

隨著 AI 部署愈來愈成熟、應用範圍愈來愈廣，風險出現的頻率、可見度與影響力也同步提升。團隊開始面對以下問題：

非預期的不安全輸出
提示注入攻擊嘗試
敏感資訊洩漏
RAG 操作與資料投毒
傳統 QA 完全無法預測的高衝擊失效情境

當這些風險在正式環境中浮現時，企業領導者很快會發現，僅靠政策、教育訓練或基本防護欄已不足夠，他們需要的是驗證（Validation）。

AI 安全測試，是 AI 成熟度的關鍵指標

當組織將愈來愈多 AI 工作負載導入正式環境，風險便從理論層次轉為實際營運問題。將 AI 使用程度，對齊相應等級的安全測試能力，是建立 AI 信任基礎的關鍵，確保 AI 的安全性與可靠性都受到保障。

Gartner 指出，AI 安全測試最初將集中於那些已將大量 AI 工作負載導入正式環境的組織，而非仍處於實驗或早期部署階段的企業；但其採用速度將快速成長。

「AI 安全測試的成長速度非常快，因為 AI 模型、應用與代理所可能帶來的聲譽、法規與其他損害風險極高。企業將需要確保生成式 AI，特別是面向外部使用者的自動化聊天機器人與 AI 服務，其行為是可預測的，且不會造成資安與隱私曝險。」

—— Gartner®《Emerging Tech Impact Radar：AI 資安生態系》

AI 安全等級	實務樣貌
Level 1：基礎	將 AI 視為功能模組，納入資安範圍，確保輸入、輸出與資料流不失控
Level 2：受控	AI 存取內部資料、工具或客戶資訊，引入結構化對抗測試與基本自動化
Level 3：強化	AI 成為關鍵系統，安全設計自開發初期即導入，並整合至發佈流程
Level 4：持續	AI 視為關鍵基礎設施，從週期性測試轉為持續監控與自動化評估