OpenAI Whistleblower FINALLY Speaks: “AI Has A 70% Chance Of Going Horribly Wrong!“
這集在講什麼
這集在問:當 AI 公司正試圖先自動化 AI 研究、再讓系統遞迴自我改進時,人類是否還來得及避免失控與權力壟斷?前 OpenAI 研究員 Daniel Kokotajlo 的核心判斷是,預設路徑並非漸進式工具革命,而是一場由企業競賽驅動、可能在 2027 至 2030 年急遽加速的「智慧爆炸」,他給出「70% 會嚴重失控」的主觀機率。聽完你能帶走一套辨識風險的框架:別只問 AI 會取代哪個工作,而要看誰控制資料中心裡那支「天才軍隊」、系統是否可解釋,以及監管能否在大規模失業前介入。最適合正在規劃職涯、投資 AI,或想判斷 AI 政策不該等到失業潮才處理的人聽。
來賓:來賓是 Daniel Kokotajlo,AI Futures Project 負責人、前 OpenAI 研究員;他在 OpenAI 做過 AI 能力預測、危險能力評估與 agent 相關研究,並因拒簽不得批評公司的離職條款而一度願意放棄約 200 萬美元、約占當時家庭淨資產 80% 的股權,因此有第一手觀察與公開發聲的可信度。他最核心的主張是:「AI 公司不是先替社會逐步自動化工作,而是先自動化自己;等智慧爆炸完成,衝擊才會像一波浪同時打進整個經濟。」他與主持人並非根本對立,但主持人傾向追問繁榮與個人職涯如何適應;Daniel 則認為在 superintelligence 情境下,「該學什麼工作」主要是政治分配問題,不是技能選擇問題。
本集亮點
03:53Daniel 的中位數預測是 2029 年出現 superintelligence,且 Anthropic 年營收從約 10 億美元跳到約 600 億美元、單年 60 倍成長;他要讀者看的是加速趨勢,不是死守某個年份。
07:20他反駁「資料中心裡的天才國度」這個說法,認為更準確是由公司指揮、同一模型大量複製的「資料中心天才軍隊」;關鍵風險不是 AI 有多聰明,而是誰能下命令。
17:21OpenAI 隨 ChatGPT 爆紅而不斷倍增人數後,內部對 superintelligence 後果的討論反而變少;這是組織成長如何把原本的安全使命稀釋成一般科技公司邏輯的具體案例。
20:20他拆解企業的技術路線:先把 coding 自動化,再接管發想、實驗分析與溝通等完整研究流程,最終讓 AI 公司不再需要人類員工;這正是他認為風險會突然跳升的引擎。
58:31Daniel 認為大規模失業不會先發生,反而可能到 2028 或 2029 才出現:公司先在內部完成 AI 研究自動化與遞迴改進,再一次向外擴散,等公眾感覺痛時可能已太晚。
01:20:43他的 Plan A 主張暫停前沿模型訓練約 6 個月至 1 年、保留既有模型 inference,並推動跨國資料中心檢查與「完全研究透明」;代價是削弱 OpenAI、Anthropic 的壟斷優勢,換取更快的安全研究與民主監督。
章節
同節目其他集 看全部 ›
完整逐字稿(可點句跳播)、一集白板、AI 問答與一鍵摘錄,在聽摘裡看 👇
聽摘