跳到主內容

Theme / jev-1.14.0

Jev

TypeSafe 的 System 1 決策模型

實戰範例

實戰範例 003:程式寫完的自動驗證

把 Code Review 與測試回饋迴圈變便宜:語意 Linter、全 codebase 掃描、百問清單 Review、大規模對抗測試,附影片實測的成本數據。

實戰範例 003:程式寫完的自動驗證

背景

Agentic Coding 的品質,取決於程式寫完之後的回饋迴圈 (feedback loop):寫完要審查、抓到 Bug 要修、修完還要再驗證。問題是——Review 與反覆跑測試,正是整個流程中最燒 token、最花時間的環節。

Jev 的優勢在於:驗證是多數情況下的「判斷題」(這段程式有沒有問題?這個命名清不清楚?),而不是「生成題」。把判斷丟給 Jev,大模型只處理被標記為高風險的少數項目。以下是影片整理的四種玩法。

玩法 1:語意 Linter

傳統 Linter 只能檢查語法與格式;要自訂規則得寫複雜的抽象語法樹 (AST) 規則,又長又容易誤判。改用 Jev,規則用大白話寫:

規則 1:檢查函式命名是否清楚交代它所做的事,包括潛在副作用。
規則 2:檢查 Log 印出的內容——如果是密鑰或金額,直接報錯;
        如果是敏感個資,跳出警告。

實作方式:

  1. 每個 PR 送出時,把改動的程式碼當作 state 送給 Jev。
  2. 每條規則是一個 Noul 題(「這行 Log 是否印出密鑰或金額?」)或 Choice 題。
  3. 用門檻決定「報錯」或「警告」,把結果貼回 PR 留言。

影片案例中,這類高度仰賴語意理解的檢查,每個 PR 全自動掃描的成本幾乎等於零。

玩法 2:全 Codebase 掃描

適合老專案的健康檢查,兩種掃描方式:

註解掃描

  1. 讓 Claude Code 搭配 Jev 把整個專案的註解掃一遍。
  2. Jev 判斷三件事:這條是廢話註解?這條已經與程式碼不符?這條值得保留?
  3. 揪出清單後,交給便宜的 Haiku 批量重寫。

影片實測:前 150 條註解只花 9.3 秒、約 1 美分;全專案完整掃描總花費 $0.57,找出約 1,700 條需改寫的註解。

Code Smell 掃描

同一套打法可以掃描重複代碼、無人引用的 Dead Code、寫死的 Magic Number。影片實測:整個專案掃了 2,800 萬 token,僅 $1.19。

玩法 3:百問清單 Code Review

不讓大模型「自由發揮」找問題,而是固定問卷:

  1. 工程師提交改動後,系統對這份 diff 一次拋出 100 個具體檢驗問題。例如:
    • 有沒有改動到不該動的共用模組?
    • 有沒有把原有的單元測試改弱了?
    • 這個改動引入效能瓶頸的風險有多高?
  2. 100 題打包給 Jev 評分(Noul / Score 混合)。
  3. 只有 Jev 判定為高風險的少數幾項,才送 Claude 做深度修復與審查。

影片估算:這個做法把審查階段真正需要人類或高階模型心智的內容砍掉將近 10 倍;但作者也提醒,它無法完全取代最嚴格的架構審查。

玩法 4:大規模對抗測試 (Adversarial Testing)

部署前用「便宜、敏捷的 agent 大軍」壓測:

  • 以 Browser-use 團隊的 Jev 版瀏覽器 agent,併發數十個無頭瀏覽器,模擬真實使用者的隨機操作與極端輸入。
  • 影片實測:完成一次「蘇黎世 → 倫敦」的機票預訂全流程只花 7 秒、0.4 美分。

可以想像的未來畫面:每個 PR 合併前,背後都有幾十隻便宜 agent 像特種部隊一樣做全方位壓力測試。

企業案例:影片提到監控平台 Sentry 的資安團隊把 Jev 整合進漏洞檢測 Pipeline——原本就採用小型開源模型降低成本,改用 Jev 後判斷準確率提升、延遲大幅降低,整體運算成本再便宜 5 倍以上。

閉環:讓 Claude 調校 Jev

四種玩法背後是同一套架構1:

Jev 第一線做成千上萬次極速判斷
      ↓
Claude 後端監控結果,發現偏差
      ↓
回頭優化 prompt 規則、調整門檻
      ↓
再放手讓 Jev 繼續跑,直到精準度達標

這本質上是 System 2 在訓練 System 1。實務上,把「問題定義 + 門檻」集中在一個檔案,讓 Claude 可以根據誤判案例持續迭代。

注意事項

  • 先量測再上線:門檻太高會漏掉真問題(false negative),太低會疲勞轟炸(false positive);先用歷史 PR 或已知 Bug 做回歸測試2。
  • 不能完全取代嚴格審查:涉及架構決策、跨系統影響的判斷,仍要人與高階模型。
  • 中文程式碼與中文註解要抽驗:Jev 的英文準確度最佳,你的 codebase 若是中文環境,先抽樣人工比對3。
  • 成本不是零:輸入 token 仍計費(jev-1.13.0 為 $42 / Btok),掃 2,800 萬 token 也要 $1.19——便宜的關鍵是「比起大模型便宜一個數量級」,而不是免費3。

驗收清單

  • 至少一條語意規則掛進 PR 流程,可自動產生報告。
  • 完成一次全專案註解或 Code Smell 掃描,並產出可執行的清單。
  • 百問清單已定義,且高風險項能自動分流給 Claude 深修。
  • 有一組已知案例驗證門檻(避免 false positive / false negative)。
  • 留下成本數據(每 PR / 每次全掃),證明比原流程便宜。

Footnotes

  1. Gary Chen,〈Jev + Claude,男女搭配,幹活不累〉,YouTube(10:54–15:30 段落)。 ↩

  2. TypeSafe 官方文件,Agent skill — Common issues(thresholds 調校建議)。 ↩

  3. Models(計費與語言支援) ↩ ↩2