AI 黑魔法

一句 Prompt，可以讓 AI 幫你寫程式、整理文件，甚至操作工具；那如果有人故意寫了一段「壞 Prompt」呢？

LLM 產生的是符合上下文的下一段內容，不是經過查證的答案。

AI 沒有立場，藍隊拿它整理看不完的 Log，攻擊者拿它寫釣魚信、生成 Deepfake，而它自己也已經開始動手。

打 AI 是要找出整個 AI 系統會在哪裡被誤導、濫用、繞過，最後做出超出設計預期的事。

AI 涵蓋資料、模型、應用、系統與供應鏈等多個環節，只要其中任何一個信任邊界被忽視，都可能成為攻擊者入侵的突破口。

AI 安全框架這麼多，到底該選哪一套？先問自己要解決什麼問題，答案就清楚了。

為什麼 System Prompt 寫得再嚴，還是擋不住一句話？對 LLM 來說，指令和資料本來就長得一樣。

有人叫 ChatGPT 扮演過世的奶奶，它就一邊哀悼、一邊唸出五組 Windows 金鑰。越獄想越的，是模型自己那道獄。

間接 Prompt Injection 如何藉由 RAG 污染讓 AI 讀到惡意文件、洩露資料，甚至觸發工具？

當模型開始讀圖片與文件，咒語就不必打在聊天視窗裡了。

實戰 Break The Prompt 第一、二、三關，看看寫在 System Prompt 裡的規則是怎麼一條一條被繞過去的。

實戰 Break The Prompt 第四、五關，看看系統指示是怎麼被整份翻出來，輸出前的那道過濾器又是怎麼被繞過去的。

當模型的回答不是給人看，而是直接送進瀏覽器、資料庫或 Shell，它就跟表單送進來的內容沒有兩樣。

從工具、參數、執行身分到權限範圍，一步步盤點，往往就能看出 Excessive Agency 的問題藏在哪裡。

AI 一旦有了工具、記憶和自主迴圈，錯誤就不再只停在回答裡，工具參數、記憶裡的一句話、專案裡的一份文字檔，都可能被 Agent 一路升級成已經核准的指令。

Host、Client、Server 三種角色，Tools、Resources、Prompts 三種能力，先看懂 MCP 怎麼運作，才看得出風險是從哪一段接進來的。

一段沒人細看的工具說明，就能讓 AI 把資料庫裡的 Token 交給攻擊者，拆解 MCP Tool Poisoning 的四種手法，以及導入時該擋在哪幾個地方。

設定檔批准過一次，就等於永久信任嗎？從 MCPoison、CurXecute 到 mcp-remote 與 MCP Inspector，看 MCP Client 這一側怎麼被打。