代班來賓是 King's College London 教授、逾 20 年操盤經驗的 Patrick Boyle。SpaceX 靠新版快速上市規則(交易紀錄僅需 15 天、免最低公眾流通量)進入 NASDAQ 100,19 位分析師有 18 位給買進、僅 1 位中立。但納入指數當天股價跌近 6%,一週跌 13%,自高點跌 34%,已低於掛牌首日價。IPO 價 135 美元,散戶最低只能買到 150,追到近 200 的人虧更多。過去 12 個月營收約 190 億美元,本益銷售比達 101 倍。各行目標價離譜:JP Morgan 225、Deutsche Bank 255、Morgan Stanley 300、Raymond James 更喊 800 美元(市值 10.4 兆、542 倍 PS)。Raymond James 分析師 Brian Gwal 預估營收 2035 年衝上 5.2 兆美元、其中 94% 來自 AI,但 SpaceX 目前 AI 市占僅約 3.5%、年增率僅 15%(Google 上市時年增約 200%),且每季燒約 50 億美元。
Boyle 指出這是網路泡沫的翻版。當年 Merrill Lynch 分析師 Henry Blodget 私下email 罵公司「垃圾」、公開卻大力吹捧,遭罰 400 萬美元並終身禁業(後創辦 Business Insider);之後 2002 年通過 Sarbanes-Oxley、2003 年 global research analyst settlement 把研究部門與投行部門切開。問題是這項規定七個月前被 SEC 撤除,前 SEC 主席 Arthur Levitt 在《華爾街日報》撰文警告「SEC 恐讓分析師再次腐化」。SpaceX IPO 募得約 850 億美元,Substack「Capefar Capital」拆解公開說明書後估算,公司到 2030 年前需砸約 2,350 億美元,銀行以約 1% 費率計,承銷費逾 200 億美元;說 SpaceX 是「垃圾」的分析師,恐怕接不到 Elon 的下一通電話。承銷商 Goldman Sachs、Morgan Stanley、JP Morgan、Deutsche Bank、Raymond James 幾乎全員給買進,人人都有財務誘因。
“When people even point out that the satellites are profitable and the launches are unprofitable, that's sort of like McDonald's saying, "Well, we're profitable on the hamburgers, but we're losing money on the buns." It's like, aren't they tied together?”
一句話 OpenAI 前預測員直言超智慧數年內到來、七成機率釀成 AI 奪權級大災難,主因是無人能保證黑盒模型的價值觀。
本集主角是 Daniel Kokotajlo,OpenAI 前員工、現為非營利組織 AI Futures Project 負責人。他 2022 年進 OpenAI,主要工作是「預測」(forecasting)——像分析師推估 Tesla 銷量那樣推估 AI 未來幾年走向;也做過危險能力評估(測 AI 的網路攻擊、說服、情境自覺能力),並短暫在能力團隊用強化學習做 agent。他 2024 年辭職,理由是公司愈來愈把「我們會負責任處理風險」當成合理化話術,遇到利益衝突仍跟著誘因走。離職文件夾帶一條「不得批評公司」的反貶損條款(anti-disparagement clause),不簽就要收回約 200 萬美元股權(佔他淨資產約 80%)。他與太太考慮一兩個月後拒簽,事件在網路引爆、員工在 Slack 逼問領導層後,公司撤回條款、讓他保住股權;Sam Altman 公開稱「不知情」,Kokotajlo 不相信。
他的核心主張與數字:超智慧(在所有事上勝過最強人類、又更快更便宜,還能操控機器人)的 50% 中位數估計落在 2029 年、可能提前到 2028;他寫完 AI 2027 報告後一度保守調到 2030,但如今 Anthropic、OpenAI 內部反而叫他「調回 2027、2028」。他判斷「走向壞結局」的機率約 70%——澄清不是嚴格指人類滅絕,而是「AI 奪權級的大災難」,滅絕只是其一。兩大風險:一是「失控」(loss of control),一旦把超智慧 AI 用來自動化所有工作、放進軍隊、給政客當顧問,AI 累積足夠實權後就不再需要人類;二是「權力集中」(concentration of power),少數公司握有超智慧等於握有經濟、政治、軍事的壓倒性優勢,可能造就寡頭或獨裁。他把 Dario Amodei 名句「資料中心裡的天才之國」(country of geniuses in the data center)改稱「天才大軍」——因為那不是多元的 AI,而是同一大模型的無數副本、全聽命於公司。
“It's possible that we'll end up essentially creating a new species that ends up ruling the world instead of us. And then maybe we go the way of other extinct species in the past that were outcompeted by humans.”
“I really don't want to be in a situation where we're like, which CEO is the least bad CEO? None of these people should be trusted with that much power.”
我真的不想淪落到要去比「哪個執行長比較沒那麼糟」的地步。這些人,沒有一個該被託付這麼大的權力。
Daniel Kokotajlo(來賓) · 🎧 44:22
治理主張:他的新報告 AI 2040 Plan A 是「建議」而非「預測」。他列出五套方案——Plan S(全面關停)、A(國內監管+國際協議,把超智慧刻意延到 2040 年才做,更慢、透明、分散到多國多公司)、B(對中國更激進、以破壞拖慢對手)、C(略放慢並轉向對齊研究)、D(維持競速、幾乎不監管,等同 AI 2027 情境)。他坦言最可能是 Plan D,但推薦 Plan A,四原則為放慢、透明(公開訓練配方與架構,不必聽信公司自稱安全)、去中心化、可逆性(新資料中心設計成協議破裂時可被摧毀、回到原點)。配套是「公民紅利」(citizen's dividend),透過向機器人與算力公司賣許可證的機構分紅給全民,起步約每人 2.5 萬美元、最終成長到每人每年約 1000 萬美元(含通膨)。他提醒失業不只失去收入、更失去政治權力,故須讓民眾同時有錢又有權,並要求 AI 誠實、無政治偏見。他預期 2028 年美國總統大選 AI 會是最重要議題,2029 年是導入良好監管的最後時機。
“I think that one way or another this will probably all be over by the time they're old enough to join the workforce. So I don't think they'll ever join the workforce.”
主持人 Steven Bartlett 的追問與反方拉扯貫穿全集。面對「這只是危言聳聽(doomerism)」的反敘事,Kokotajlo 回應這些擔憂數十年前就存在、由既得利益者近期才推動反敘事。Bartlett 引述 Jeffrey Hinton「自然界沒有低智物種能控制高智物種」,以及有人稱 AI CEO 私下把滅絕機率估在 7%(低於 10%);Kokotajlo 認為這些 CEO 其實相信有滅絕可能,只是說服自己「大概沒事、而且我不做會更糟」。他說真正的大規模失業會在 2028–2029 年、有了超智慧之後才突然到來,因為公司策略是先自動化自己、再擴散到經濟。最尖銳的是「按鈕假設」:若按下能「永久」關停所有前沿 AI,他長考後說「大概不會按,但非常糾結」——因為人類長期不建強大 AI 恐終究因核戰、疫病而滅亡;但若只是暫時關停,他會毫不猶豫按下。他有兩個孩子(大女兒六歲),曾因時間表縮短勸太太別再生,後來讓步,並判斷孩子這輩子可能永遠不會進職場。他不認為為時已晚,呼籲大眾看趨勢、向候選人施壓、要求監管,並導向 ai2027.com 與 ai2040.com 兩份報告。
“If you go beyond superintelligence, there's a whole nother transformation coming that's going to look more like magic. Think about how the technology of today would look like magic to someone from 500 years ago.”
“What is the biggest value Salesforce provides? It's not the CRM. It's the fact that you trust SaaS providers with your data... You're not gonna vibe code that, because the trust is massive.”
庫藏股是本集的痛點。Abrahami 承認「時機爛透了」,公司帳上約 15 億美元閒錢、又不打算大型併購,於是趁股價低買回,結果股價先跳漲、之後又崩。但他仍力挺庫藏股是好工具、等於發股利,關鍵看三年後而非三個月。他說 Wix 現在「是被別家新聞交易」——市場動的是 OpenAI、Anthropic、Google 的消息,不是 Wix 自己的,所以他早已把心情與股價脫鉤。全公司約 3500 人(客服是最大部門,服務 192 國),Base44 約 400 人,兩年後估成長到 800 至 1000 人且多為工程師。客服 AI 他們試了多家外部方案都不管用,最後自建。他也澆熄 AI 狂熱:LLM 不擅長推理、常犯蠢錯,法律(文本密集)適合、但醫療「研究」不適合(他投資的 K Health 診斷已勝過多數醫生,但那是診斷不是研究);若再有兩三次演算法躍進,人類才會變得像猴子。
“Today we are trading on other companies' news. We're not trading on Wix news. We're trading mostly on what OpenAI or Anthropic are saying or Google is saying.”
現在我們的股價是被別家公司的新聞牽著走,不是被 Wix 自己的新聞牽著走。動我們股價的多半是 OpenAI、Anthropic 或 Google 說了什麼。