實戰範例 001：Jev 省錢開關——挑模型 × 挑 skill

背景

日常使用 Claude Code 的兩個隱形成本：

1. 模型開太大：為了省去手動切換的麻煩，Opus / Fable 一路用到底。但「找檔案在哪、把文字轉成指定格式、看函式吃什麼參數」這類任務，用便宜的 Haiku 就綽綽有餘。
2. skill 塞爆 context：每裝一個 skill，它的名稱與描述都會跟著每一次對話重複送出。裝到上百個之後，你每講一句話都先燒掉上萬 token，只為了讓 Claude「知道手邊有什麼工具」。

這篇範例把影片「位置一」的做法落地：讓 Jev 在每次 prompt 進場時做兩個判斷——這題該派哪個模型？該載入哪些 skill？

你將完成什麼

• 一個可開關的 Jev 判斷層（skill 或指令），開啟時自動路由、關閉時完全回原狀。
• 一組 A/B 對照：同樣的任務跑「開／關」兩次，比較 token 用量與輸出品質。

為什麼一定要做開關？因為降級模型與自動篩選 skill 都會影響品質，而每個人的容錯率不同。先量測，再決定全開或部分開。

前置需求

• Claude Code（或其他支援 Agent Skills 的 agent）
• TypeSafe API key（console.typesafe.ai/keys）

步驟 1：安裝 TypeSafe Agent Skill 並設定 key

# Claude Code
claude plugin marketplace add typesafe-ai/skills
claude plugin install typesafe@typesafe-ai

# 其他 agent
npx skills add typesafe-ai/skills --skill typesafe-ai

export TYPESAFE_API_KEY="your-api-key"

安裝後，Claude 具備 Jev 的 API 與題型知識，可以替你寫出正確的呼叫邏輯¹。

步驟 2：請 Claude 建立 Jev 開關

把下面的提示詞貼給 Claude Code（改編自影片作者的建議²）：

請使用 TypeSafe skill 與以下 API key：

TYPESAFE_API_KEY=<你的 key>

幫我做一個 Jev 開關：
1. 打開時，我每送一句 prompt，先讓 Jev 判斷：
   - 這題需要哪個等級的模型（例如 Haiku / Sonnet / Opus）
   - 這題該載入哪幾個 skill
   然後再交給對應的模型執行。
2. 關閉時，完全回到原本流程（不呼叫 Jev）。
3. 把 Jev 的問題定義（questions）與門檻（thresholds）
   集中放在一個檔案，方便我審閱與調整。
4. 有需要釐清的地方先問我，不要直接開始做。

完成後，用我平常最常用的 3 個任務各跑一次「開／關」對照。

幾個實作細節：

• 模型路由要對應你環境裡真正可切換的模型；Jev 的答案是 Choice 題型（例如 haiku / sonnet / opus 三選一）。
• skill 篩選把 skill 清單當作選項送給 Jev，先粗篩出最相關的 2–3 個，再讓 Claude 精準載入——避免整份清單塞進 context。
• 官方模式參考：Intent routing（把請求分類後交給最適處理者）與 Confidence-gated routing（用 confidence 決定要不要放行）。

步驟 3：A/B 對照量測

用同一批任務（建議涵蓋簡單／中等／困難各一）分別在開關 ON / OFF 下執行，記錄：

參考數據（影片整理的社群實測）：

• 12 個任務中，9 題不需要動用頂級模型，整體花費省下 70%。
• 145 個 skill 的工作區：Jev 挑出正確 skill 只花不到 5 秒；交給 Opus 5 自己挑要近 30 秒。
• 官方 Cookbook（182 個 skill）：先由 Jev 排名再交給 agent，挑選錯誤率從 16.8% 降到 7.3%³。

注意事項

• 中文資料先測：Jev 以英文為主要訓練語言，CJK 內容需自行驗證準確度與 confidence⁴。
• 門檻太高／太低都不行：false negative（漏放行）與 false positive（亂觸發）都要靠調整問題措辭與門檻解決¹。
• 問題集中管理：把 questions 與 thresholds 放在單一檔案，人審過再上線。

驗收清單

• Jev 開關可一鍵 ON / OFF，OFF 時不產生任何 Jev 呼叫。
• 模型路由的選擇結果可被記錄與稽核（哪題派了哪個模型）。
• skill 清單不會再整份進入 context，只載入 Jev 挑選的少數項目。
• 完成至少一輪 A/B 對照，並留下成本與品質數據。