聽摘聽摘

OpenAI Whistleblower FINALLY Speaks: “AI Has A 70% Chance Of Going Horribly Wrong!“

The Diary Of A CEO with Steven Bartlett · 121 分鐘 · AI 重點整理 by 聽摘

這集在講什麼

這集在問:當 AI 公司正試圖先自動化 AI 研究、再讓系統遞迴自我改進時,人類是否還來得及避免失控與權力壟斷?前 OpenAI 研究員 Daniel Kokotajlo 的核心判斷是,預設路徑並非漸進式工具革命,而是一場由企業競賽驅動、可能在 2027 至 2030 年急遽加速的「智慧爆炸」,他給出「70% 會嚴重失控」的主觀機率。聽完你能帶走一套辨識風險的框架:別只問 AI 會取代哪個工作,而要看誰控制資料中心裡那支「天才軍隊」、系統是否可解釋,以及監管能否在大規模失業前介入。最適合正在規劃職涯、投資 AI,或想判斷 AI 政策不該等到失業潮才處理的人聽。

來賓:來賓是 Daniel Kokotajlo,AI Futures Project 負責人、前 OpenAI 研究員;他在 OpenAI 做過 AI 能力預測、危險能力評估與 agent 相關研究,並因拒簽不得批評公司的離職條款而一度願意放棄約 200 萬美元、約占當時家庭淨資產 80% 的股權,因此有第一手觀察與公開發聲的可信度。他最核心的主張是:「AI 公司不是先替社會逐步自動化工作,而是先自動化自己;等智慧爆炸完成,衝擊才會像一波浪同時打進整個經濟。」他與主持人並非根本對立,但主持人傾向追問繁榮與個人職涯如何適應;Daniel 則認為在 superintelligence 情境下,「該學什麼工作」主要是政治分配問題,不是技能選擇問題。

本集亮點

03:53Daniel 的中位數預測是 2029 年出現 superintelligence,且 Anthropic 年營收從約 10 億美元跳到約 600 億美元、單年 60 倍成長;他要讀者看的是加速趨勢,不是死守某個年份。

07:20他反駁「資料中心裡的天才國度」這個說法,認為更準確是由公司指揮、同一模型大量複製的「資料中心天才軍隊」;關鍵風險不是 AI 有多聰明,而是誰能下命令。

17:21OpenAI 隨 ChatGPT 爆紅而不斷倍增人數後,內部對 superintelligence 後果的討論反而變少;這是組織成長如何把原本的安全使命稀釋成一般科技公司邏輯的具體案例。

20:20他拆解企業的技術路線:先把 coding 自動化,再接管發想、實驗分析與溝通等完整研究流程,最終讓 AI 公司不再需要人類員工;這正是他認為風險會突然跳升的引擎。

58:31Daniel 認為大規模失業不會先發生,反而可能到 2028 或 2029 才出現:公司先在內部完成 AI 研究自動化與遞迴改進,再一次向外擴散,等公眾感覺痛時可能已太晚。

01:20:43他的 Plan A 主張暫停前沿模型訓練約 6 個月至 1 年、保留既有模型 inference,並推動跨國資料中心檢查與「完全研究透明」;代價是削弱 OpenAI、Anthropic 的壟斷優勢,換取更快的安全研究與民主監督。

章節

3:17定義 superintelligence:為何中位數已提前到 2029
5:00拆解兩大風險:失控與「資料中心天才軍隊」的權力集中
10:04回看 OpenAI 內部:安全敘事如何讓位給搶先掌權
20:12追蹤智慧爆炸路線:從自動寫 code 到自動化整間 AI 公司
42:15釐清 70% 警告:不是必然滅絕,而是嚴重失控的預設風險
48:30重估工作衝擊:失業潮可能晚到,卻會來得像一波巨浪
75:00提出 AI 2040 Plan A:在 2029 暫停訓練、公開研究、跨國監管
108:30把 AI 紅利變公民股利:從每人 2.5 萬美元到年領 1,000 萬美元的假設

同節目其他集 看全部 ›

Sleep Apnea Expert: Most People Who Have This Silent Killer Will NEVER Find Out! | Dr Andy Galpin
The Quitting Expert: Sunk Costs Are Keeping You TRAPPED, Quit Before AI Comes! | Seth Godin
Ray Dalio: I Predicted 2008, I Know What Comes Next
Vitamin D Expert: The Supplement World Is Giving The WRONG Advice!
Most Replayed Moment: Matthew McConaughey - The Comfort Crisis Is Destroying Your Potential!
The Man Who Made $100M Before 32: The Secret Was To Stop Letting Them Control Me | Alex Hormozi

完整逐字稿(可點句跳播)、一集白板、AI 問答與一鍵摘錄,在聽摘裡看 👇

🎧 免費聽這集+邊聽邊摘 🗺 90 秒白板 聽摘是什麼?