Jeff Dean: The 1% Rule for Building in AI

Y Combinator Startup Podcast · 57 分鐘 · AI 重點整理 by 聽摘

這集在講什麼

這集在追問兩個很實際的問題：AI 什麼時候真的會像「junior engineer」一樣能做事，以及創業者該把力氣放在哪一層，才有機會做出下一個 TPU 或 MapReduce。Jeff Dean 的答案很明確：真正的門檻不只在模型，而在 inference、latency、data movement、context engineering，因為光是把資料搬進來做計算，energy 就可能比算一次 multiplier 高出 1000 倍。聽完你會帶走一個很有用的判準：去找那些一般模型目前是 0/1 成功、而且能靠更好的 specs、skills、tools、或 specialized hardware 放大 10x 到 100x 的問題。

來賓：Jeff Dean：Google 傳奇工程領袖，做過 MapReduce、BigTable、TensorFlow、TPU、Gemini，長年在系統、機器學習硬體與大規模工程之間做出關鍵設計；他在這集最核心的主張是：「如果你真正理解資料，你應該能把它壓縮得很好，而 AI 的很多進展，本質上是把整個系統設計成更會壓縮、搬得更少、跑得更久。」

本集亮點

01:51他預測 2027 會看到更多 ML systems 自動化：把問題拆成子問題、跑大量 experiments、再把結果自動組回更好的系統；這段很值得聽，因為他不是在講抽象趨勢，而是在描述 AI 會怎麼自己改良自己。

07:05TPU 的起點不是「想做晶片」，而是 napkin math 算出 speech 一旦普及，CPU fleet 會被迫翻倍；最後做出的 chip 對當年的 CPU/GPU 有 30–80x energy efficiency、20–30x lower latency，這是經典的『先算帳再造硬體』案例。

20:07他們把 micro benchmark、改 code、重跑 benchmark、看 cache footprint 這套流程寫成 skill，讓 agent 直接做 performance optimization；這很反直覺，因為關鍵不是更聰明的模型，而是把人類最佳實作流程變成模型可執行的操作手冊。

44:47他舉 quantum chemistry 的例子：原本一個 density functional theory simulation 要跑一整晚，後來用神經網路近似後變成快 300,000 倍，幾乎一樣準；這段把『加速 evaluator』的重要性講得很透，因為它直接改變了科學實驗迴圈的速度上限。