Agentic Coding 關鍵心法與不傳之秘 / Jeremy Lu

session-2.md

影片：https://youtu.be/hJGdObD0C_w

---

/* 下半場心路歷程與開發八卦 -------------------------------------------------- */

• 為何我從 claude 跳去 codex

  • token efficiency (相同的事使用的 token 較少)

  • token 單價便宜很多 (平均少 50% 以上)

  • 訂閱方案補貼極大方 (約 110 倍)

  • claude code harness/model 開始出現劣化

    • 系統提示與各種附加提示耗用大量 token

    • opus-5 表現不佳，說話難懂，生成品質也錯誤百出，只能被迫改用 opus-4-8

    • fable 很強但用量額度不度無法當 daily driver

  → 經常重置 (像是撿到錢)

• 面對 fable/sol 這種超聰明模型，人類只需「把話講清楚」就夠了！也就是不用再學以前那些各種 prompt engineering hack 之類的奇技淫巧，你只要專心把需求與希望的目標說清楚，剩下的交給模型自己想辦法處理就夠囉！

• 第五代語言模型出來後它們的能力其實早已遠超過一般人類日常所需，大部份時候 sol/low 就能滿足 99% 程式需求，因此不斷追求更新、更強也更貴的模型已無意義，接下來的重點將在 steering、review、eval 與 local llm。

• llm 超會生成內容，閱讀時一定要帶著攻擊性態度，不斷自問我現在在看些什麼？這是我要的重點嗎？整份文件架構為何？否則無腦順順讀下去很容易淹死在文字海裏。

• ai coding 最大的誘惑：再叫 ai 順便多做一點、以燒完剩下的 quota、我稍後再一起看

  ← 這就是毀滅的開始，東西一多根本不會看、中間走歪一點點最終就會成一大坨賽，你以為賺到但其實是創造更大毀滅。

  • 要克制，不要因為訂閱制想燒光 token 就盲目做東西

  → 現在我寧願讓 quota 浪費也絕不無腦亂做東西。

• 真正實戰學到的痛點：

  • sol 想太多會過度設計、鑽牛角尖

  • terra 想不夠會漏掉重要工作或出大包

  → 這一切都只能靠人類監工與發現並督導修正，不然缺陷就這樣上線給人用了。

  → 這真的很苦惱因為沒招可防了，只能工人智慧手把手監控。

• 要非常熟悉與認真看 git diff 畫面

  • 找個好工具與工作流程很重要

  • 一定要小心看 llm 編輯變動的部份，往往小偏差就藏在裏面，如果一開始沒注意，等時間久了就會歪很大，最後一不注意整坨賽就進入產品裏開始產生破壞了。

• LLM 一開始就有可能在騙你(不論有意無意)，因此永遠要抱持防衛心態採敵意審查方式處理

  → 但人性就是懶，而且成功做出幾次東西後就會放下戒心開始全然信任 AI (接著就被騙慘)

• sol 的好處是想很多、壞處也是想很多，因此容易 over engineer

  → 而糟糕的是你不知道何時會發生哪種？

  → 因此絕不可冒然長時間無腦放著 sol 自己跑，要用的話務必人工在旁密切監視並隨時督導

• 生成式 ai 最重要的就是減法

  • 因為生成式已經很會做加法，人類再不喊停踩煞車就會一發不可收拾

• 開發技巧 → 好險有先建立 eval set 因此後來大量改東西時能立即驗証 regression

• 保護你的專注力超重要

  • 每天開工前先想清楚你要做的事並將它們寫下來，然後嚴格按表操課，否則很容易在快速 context switching 間迷失方向而被 AI 牽著走，最後搞的自己很累但重要目標卻未達成。

• LLM 超會主動附合你，或狂推下一步要做的事，也傾向做複雜的設計，這三點都是你要主動抗拒的

• 企業環境中有許多現實考量

  • 人多、能力水平不一、學習速度不等、死線壓力、成本考量、效益考核

  • 這些皆已納入 agentflow 設計時的考量，因此能有效解決企業面對的真實問題

• AI coding 所有難題一次解決

  • 新手的問題是不知如何下手？

  • 老手的問題是要求很多但手動操作掛一漏萬

  • 企業的要求是既能 one-shot 做完又要能完整 audit 留下記錄最好還能省錢

  • agentflow 用一套方案滿足了所有人需求！

• 體認與擁抱 agent 的不確定性是唯一出路，關鍵在如何驗收

  • 而 agentflow 先解決第一步：至少讓過程可視化並留下記錄，才知何處出錯與如何改！

• 題外話 ag 背後有一套巨大完整的 Eval 機制確保每個指令與步驟的產出品質，因此不怕修改提示後造成 regression，也能方便驗証不同 harness/model 組合立即判定能力是否堪用

• 下一步：採用地端模型將成本降為 1/10

  • 美國開源模型供應商：openrouter, ollama cloud, unsloth, firework, cerebras...(養牛不用自己喝牛奶？)

    • 目前密切監控中最俱潛力之開源模型：qwen, deepseek, glm, kimi

  • 地端 inference 工具：oMLX, ollama, LMStudio, vllm