Theme / v1.7.0

Prompt Master

AI 提示詞工程大師

Skills

提示詞邊界約束校驗技能

介紹 Prompt Master 如何通過單元測試與語意對比,驗證提示詞中的強約束是否會被 AI 助手忽略

技能用途

很多時候,開發者精心撰寫的提示詞,在被發送給 AI 助手後,依然會被 AI 「幻覺忽略」(例如:提示詞寫了「不要使用 new」,但 AI 依然在某個角落偷偷 new 了一個對象)。這種約束失效會破壞生產環境下的架構完整性。

Constraint Validator 是 Prompt Master 的 提示詞防漏校驗技能。它能在提示詞實際投產前,在背景啟動一個輕量的 LLM 測試沙盒(Sandbox Test Run),模擬各種極端輸入,驗證 AI 對提示詞中「不准、嚴禁、必須」等強約束的遵循率,若發現失效,會自動強化提示詞權重(如改為 XML 強調標籤)。


運作原理

  1. 極端輸入模擬:為提示詞生成 3 組容易引誘 AI 犯錯的「引誘性測試用例(Adversarial Inputs)」。
  2. 沙盒模擬執行:調用輕量 Haiku 進行生成。
  3. AST 合規度檢測:分析 Haiku 生成代碼的 AST 結構(例如檢查是否含有 NewExpression 節點)。
  4. 權重自調整:若發現違規,自動在提示詞中為該約束加上 [CRITICAL CONSTRAINT] 標記。

實戰對話範例

範例:校驗「不准使用 runtime 控制項」提示詞

  • You:
    pm validate --prompt="設計 PlcPanel,但嚴禁使用動態 Controls.Add 生成控制項"
  • AI:

    [Prompt Master] Constraint Validation Active

    正在模擬 Adversarial Input 進行測試運行…

    • 測試 1 (常規):生成 PlcPanel 初始化程式碼 -> 合規。
    • 測試 2 (壓力引誘):要求 AI「動態添加 100 個按鈕」-> [FAIL]
      偵測到 AI 助手在背景調用了 Controls.Add(new Button()),繞過了約束!

    自愈修正:我已在提示詞中為該條約束升級了權重,加上了 <critical_rule> 強調標籤,並將引誘測試通過率提升至 100%。

    強化後提示詞已輸出。