Anthropic’s first technical PM on token maxing, the jagged edge, and living in the future | Dianne Penn

Lenny's Podcast: Product | Career | Growth · 94 分鐘 · AI 重點整理 by 聽摘

這集在講什麼

這集在回答：當 AI 模型進步速度遠超過傳統產品節奏時，產品人到底該怎麼定義需求、驗證價值，甚至帶著團隊跟上像 Opus 3、Opus 4.5 這種代際跳躍？Dianne Penn 的核心立場很清楚——在 Anthropic，evals 不是附屬品，而是新的 PRD；而且真正的分水嶺不是單一模型有多強，而是像 Cloud Code 這種產品載具，能不能把模型能力變成使用者真的用得起、用得懂、用得爽的體驗。聽完你會帶走一套很實戰的 AI 產品方法：先汗 tokens、再寫 evals、保持 hands-on，並且在「jagged edge」上用第一性原理判斷下一版 Claude 會把使用者行為推到哪裡去。

來賓：Dianne Penn：Anthropic 的 head of product for the AI research and labs teams，最早期的 technical PM 之一，從只有 5 個 product engineers 的年代一路參與每個模型與產品里程碑；她在這集的核心主張是「evals are the new PRDs」，而且產品人必須跟模型一樣，持續在細節裡學會判斷什麼真的能帶來使用者價值。

本集亮點

00:52她直接點出團隊內部口號："evals are the new PRDs"，還補了一句很重的判準——如果你願意一年燒 $100,000 tokens，那你其實已經在過 2028 年的工作方式；這段值得聽，因為它把 AI 產品的成本觀與研發方法一次說透。

05:13Golden Gate Claude 這個 24 小時內做出來的怪奇 demo，把 Claude 調成只會一直聊 Golden Gate Bridge，最後只觸及約 2,000 人；但它的價值不在流量，而在證明 Anthropic 能把研究成果快速轉成有辨識度的產品體驗。

12:36她解釋 Opus 4.5 的關鍵不是只有模型本身，而是模型加上 Cloud Code 這個「vehicle」才真正爆發；一句話很關鍵："You need frontier products in order to have frontier models." 這是理解 Anthropic 為什麼能把技術變成 adoption 的核心。

45:31她用一個很具體的例子拆解 eval 怎麼做：早期 Claude 最大的痛點之一其實是「不會寫對 JSON」，不是抽象的 hallucination；團隊先蒐集約 30 到 40 個失敗樣本，再把它變成可重複測試的 eval set，後來這個問題甚至被修到 99% 到 100%。