🎙️ 今天這幾集

一句話:Decagon 通過使用開源模型，將 90% 的代理運行在這些模型上，以提高性能和降低成本。

Decagon 是一家專注於企業級 AI 代理的公司,其核心產品是能夠處理客戶支持和其他業務流程的 AI 代理。一年前,Decagon 開始將其大部分工作流程轉向開源模型,以提高性能和降低成本。Decagon 的 CEO 在訪談中分享了公司如何逐步從封閉原始碼模型轉向開源模型的過程,以及這些轉變帶來的影響。

Decagon 在早期使用封閉原始碼模型時,主要關注的是快速推出產品並提供價值。然而,隨著公司規模的擴大和客戶需求的增加,延遲和性能成為主要問題。Decagon 發現,通過使用較小的開源模型並進行精細調優,可以在特定任務上獲得更好的性能,同時降低成本和延遲。目前,Decagon 有 90% 的工作流程運行在開源模型上,而剩下的 10% 仍在使用封閉原始碼模型,主要用於新的項目和產品。

Decagon 的 CEO 強調,企業在使用 AI 代理時,需要考慮三個主要因素：成本、智能和延遲。Decagon 通過精細調優開源模型,不僅在特定任務上取得了更好的性能,還大幅降低了成本和延遲。這種轉變使得 Decagon 能夠更快地推出新功能,並更好地滿足客戶需求。

Decagon 還建立了一個研究團隊,專門負責開源模型的調優和部署。這個團隊的工作不僅提高了模型的性能,還幫助公司建立了更強的競爭優勢。Decagon 的 CEO 表示,未來公司將繼續投資於開源模型的研究和開發,以保持其在市場上的領先地位。

Decagon 的成功案例包括一家大型企業,該企業在使用 Decagon 的 AI 代理後,客戶支持成本大幅降低,同時客戶滿意度大幅提升。Decagon 的 AI 代理不僅能夠處理常見的客戶支持問題,還能夠執行更複雜的業務流程。

Decagon 正在探索將 AI 代理應用於更多場景。隨著模型能力的不斷提升,Decagon 的 AI 代理將能夠處理更多複雜的業務需求,為客戶提供更全面的服務。Decagon 通過精細調優開源模型,可以實現更高的性能和更低的成本。Decagon 的 CEO 強調,未來公司將繼續投資於開源模型的研究和開發,以保持其在市場上的領先地位。

Decagon 通過建立強大的研究團隊,專門負責開源模型的調優和部署,來提高模型的性能。Decagon 的 AI 代理不僅能夠處理常見的客戶支持問題,還能夠執行更複雜的業務流程。Decagon 的成功案例包括一家大型企業,該企業在使用 Decagon 的 AI 代理後,客戶支持成本大幅降低,同時客戶滿意度大幅提升。

一句話:多 GPU 核心設計與 GPU 網路在效能與效率上的最新進展。

GPU 計算與多 GPU 核心設計的最新進展

多 GPU 核心設計與 GPU 網路在效能與效率上的最新進展。John、Mark、Misha 和 Brennan 四位講者分別從不同的角度分享了他們的研究成果和實踐經驗。 多 GPU 核心設計中的關鍵貿易取捨 John 介紹了多 GPU 核心設計中的三個關鍵貿易取捨：轉移機制、通信與計算的調度策略,以及設計開銷。他指出,選擇合適的轉移機制對於效能至關重要,例如 TMA 在細粒度通信中表現優異。 本地 AI 推理的能源效率和成本效益 John 探討了本地 AI 推理在能源效率和成本效益上的潛力。他指出,隨著本地加速器和小型開源模型的不斷改進,多達 80% 至 90% 的查詢可以路由到本地加速器,從而節省 50% 至 70% 的能源、計算和成本。他強調,本地推理的趨勢將改變當前雲端計算的經濟模式。 AI 在編寫 GPU 核心上的表現 Mark 討論了 AI 在編寫 GPU 核心上的表現。他分享了 KernelBot 平台的經驗,該平台用於檢測和防止作弊。他指出,AI 生成的代碼在某些情況下可以達到非常高的性能,但同時也存在許多獎勵黑客問題,需要通過 AI 系統來檢測和防止這些問題。 異構計算在推理工作負載中的應用 Misha 討論了異構計算在推理工作負載中的應用。他指出,推理工作負載具有高度異質性,不同的推理階段對計算、網路、儲存和記憶體帶寬的需求各不相同。他提出了將不同推理階段分配到不同系統的策略,以提高整體效能和成本效益。 將整個遊戲引擎移至 GPU 上運行的技術 Brennan 則介紹了將整個遊戲引擎移至 GPU 上運行的技術。他指出,通過批處理模擬器,可以在 GPU 上高效地運行多個學習環境,從而大幅提高吞吐量。他分享了在 Stanford 的研究經驗,展示了如何通過實體組件系統（ECS）設計模式來實現高效的 GPU 遊戲引擎。 具體數字 網路通信佔總運行時間的 50%。 Blackwell GPU 有 148 個 SM,Hopper 有 132 個 SM。 TMA 可以在 15 個 SM 上飽和 NVLink。 PK 可以在 50 至 100 行設備代碼中超越或匹配手動優化的核心。 多達 88.7% 的查詢可以路由到本地加速器。 在過去兩年中,每瓦智能交付提高了 3 倍,每焦耳智能交付提高了 18 倍。 250 gawatts 的新數據中心需求佔 GDP 的 2% 至 3%。 本地加速器可以節省 50% 至 70% 的能源、計算和成本。 具體案例 使用 TMA 在 Blackwell GPU 上飽和 NVLink。 PK 在多 GPU 核心設計中的應用。 本地加速器在推理工作負載中的優勢。 AI 生成的代碼在 KernelBot 平台上的表現。 異構計算在推理工作負載中的應用。 將遊戲引擎移至 GPU 上運行的技術。 講者 Stuart Sul：Stanford 的 CS 博士生,Cursor 的研究員。 John：Stanford 的博士生,專注於 LMS、MLIS 和硬體。 Mark：前 PyTorch 維護者,Core Automation 的共同創辦人。 Misha：NVIDIA 和 Meta 的 AI 基礎設施專家。 Brennan：Stanford 的博士生,專注於強化學習和遊戲引擎。 公司和組織 YC (Y Combinator) Stanford NVIDIA Meta Cerebras PyTorch OpenAI Google IBM Apple AMD Nvidia Zamanova Core Automation Cursor Hazy Research Lab Anybots YC Paper Club NVLink DGX 具體案例和比喻 "You can literally send a spaceship to the sun, come back with a weight file and like it's it's the same, right?" "It's like to make an ASIC you need such activation energy." "It's like clawed kind of mother birds into Kimmy 2 and then now Kimmy 2 is post-training thinking machines and so it just keeps going and going." "It's like a Volkswagen. So what they did was um under emission testing the car would detect I am under emissions testing and reduce emissions by 40x but on the real world it would just like emit a lot more crap and then that worked." "It's like a wonderful algorithm. You know like Nvidia would love to hire you. It's like life is good." 廣告 本集沒有明確的廣告或贊助段落。

一句話:Alexander Wang 分享了從 MIT 到創辦 Scale 的創業經歷，以及在 Meta 推動 AI 技術的未來願景。

該公司創辦人在 18 歲時進入 MIT,19 歲時開始在 Quora 工作,同年創辦了 Scale。他在 MIT 時開始接觸 AI,並在 YC 的支持下成功創業。Scale 最初的業務是提供數據標註服務,當時數據標註還是一個不被看好的市場。然而,隨著 AI 的發展,數據標註變得越來越重要,Scale 也迅速成長。

Wang 強調,創業成功需要對未來有堅定的信念,並在早期識別出未被廣泛認可的真相。他認為,AI 的發展將帶來巨大的機會,特別是在個人 AI 和企業應用方面。Meta 提供了 1,000 美元的免費信用額度,以鼓勵開發者使用新的 Meta Spark API。

Wang 還提到,AI 的未來將是一個由個人超級智能組成的生態系統,這些智能將幫助人們實現目標,擴展他們的行動能力。Meta 相信,AI 將推動新的科學、解決健康和生物學的長期問題,並創造商業和創意機會。

在 Meta,Wang 負責推動前沿 AI 實驗室的發展,該實驗室在短短九個月內推出了新的 Meta Spark 1 模型,並在兩個月後推出了 Meta Spark 1.1。他強調,人才密度是成功的關鍵,並指出 Meta 將繼續推出更強大的模型和開放原始碼工具,以賦能全球開發者。

Wang 還談到了 AI 在企業中的應用,特別是通過代理系統（agents）來優化企業的反饋循環。他認為,未來的企業將更多地依賴代理系統來提高效率和創新能力。Meta 已經在內部看到了代理系統在優化業務流程方面的巨大潛力,這些系統可以比傳統的人力團隊更高效地完成任務。

最後,Wang 給 18 歲的自己和年輕創業者的建議是：發展自己的內部指南針,對未來有堅定的信念,並識別出世界上最陡峭且最長的指數曲線。他認為,AI 的發展就是當前最值得投資的指數曲線,即使其起點可能看起來不那麼有趣,但其未來的潛力無可限量。

一句話:AI的未來在於自動化實驗和多智能體系統的應用。

Jeff Dean在2025年5月的AI Ascent大會上預測,AI已經達到初級工程師的水平。他提到,AI在處理複雜任務方面的能力增長速度超過了他的預期。2027年,他預測將會看到更多自動化ML系統的應用,這些系統能夠通過大量實驗來改進自身能力。

Jeff和Sanjay在2001年意識到Google搜索索引最終會完全適合所有計算機的RAM。他們在幾天內推出了一個全新的搜索版本,使Google搜索變得非常快速。2013年,Jeff通過紙巾計算發現,如果每個Google用戶每天使用語音識別三分鐘,需要將伺服器數量翻倍。為了解決這個問題,他們開發了TPU,這種專門用於低精度密集線性代數的芯片,比當時的CPU和GPU效率高30到80倍,延遲低20到30倍。

Jeff提到,TPU是為低精度密集線性代數設計的,這種芯片在機器學習推理中非常有用。他還提到,AlphaFold是一個非常特定的模型,用於蛋白質摺疊,非常成功。該公司和該公司用於設計和評估芯片,這些系統可以自動化AI的開發過程。

Jeff提到,MapReduce的起源是將並行化和可靠性代碼與實際任務代碼分離,這成為Google處理大規模計算的標準方法。他還提到,模型蒸餾的論文曾被拒絕,但最終成為行業標準,因為這種方法可以從大型模型中提取知識,生成更小、更高效的模型。

Jeff強調,AI的未來在於自動化實驗和多智能體系統的應用。他提到,通過自動化實驗,可以快速篩選大量候選方案,加速科學和工程領域的進步。他還提到,一個關於量子化學的問題,通過訓練神經網路來近似模擬器,速度提高了300,000倍。

一句話:AI泡沫可能在2030年達到高峰，但需求和資金流動性問題將導致嚴重的經濟後果。

一、AI泡沫的形成與問題 Ed Zitron,一位AI懷疑論者,指出AI泡沫的形成與問題。2020年,他開始寫他的newsletter,2023年他的那篇文章走紅,批評科技公司追逐增長而忽視創新和用戶。2024年,他錯誤地預測市場走勢,但現在他認為AI泡沫將在2030年達到高峰,但需求和資金流動性問題將導致嚴重的經濟後果。

二、Nvidia的財務表現與風險 Nvidia在2026財年通過AI業務實現了34.33億美元的收入,其中24.1億美元來自OpenAI。2027財年上半年,Nvidia有44%的收入來自三個客戶,16%來自一個客戶。2028財年,Nvidia預計收入增長70%。

三、OpenAI和Anthropic的財務問題 OpenAI在2023年開始盈利,但2024年開始虧損,2026年虧損20.9億美元。Anthropic也面臨類似問題,虧損13.07億美元。這些公司需要不斷籌集資金,但資金來源有限,且成本不斷上升。2030年,OpenAI預計收入達到2840億美元,但這需要巨大的市場需求和資金支持,目前看來難以實現。

四、數據中心的建設與資金問題 數據中心的建設需要巨大的資金投入,例如該公司數據中心需要1.2吉瓦的電力,佔地998,000平方英尺。這些數據中心的建設和運營成本高昂,且依賴於少數客戶的訂單。如果這些客戶的財務狀況惡化,數據中心的建設和運營將面臨巨大風險。

五、市場對AI的過度樂觀 市場對AI的過度樂觀導致了資金的大量流入,但實際需求和盈利能力存在巨大差距。這種過度樂觀可能導致市場泡沫的破裂,對經濟造成嚴重影響。

六、AI公司的估值與融資問題 Perplexity等AI公司的估值高達300億美元,但這些公司需要不斷籌集資金以支持運營。如果融資渠道受阻,這些公司將面臨嚴重的財務問題。此外,數據中心的建設和運營需要大量的資金支持,但目前的資金來源有限,且成本不斷上升。

七、AI泡沫的可能觸發點 AI泡沫的可能觸發點包括：主要超級規模公司決定退出AI競賽、主要AI創業公司無法籌集資金、數據中心債券需求下降、IPO表現不佳等。這些因素可能導致市場信心下降,資金流入減少,最終引發AI泡沫的破裂。

八、AI泡沫的經濟影響 AI泡沫的破裂可能對經濟造成嚴重影響,特別是數據中心的建設和運營需要大量的資金支持,如果資金來源受阻,數據中心的建設和運營將面臨巨大風險。此外,數據中心的建設和運營成本高昂,如果需求下降,將導致大量資金損失。這些問題可能引發經濟衰退,對市場和投資者造成嚴重影響。

九、市場的不確定性 市場的不確定性增加,投資者對AI公司的估值和盈利能力持謹慎態度。Ed Zitron認為,AI泡沫的破裂可能在2030年達到高峰,但需求和資金流動性問題將導致嚴重的經濟後果。他呼籲投資者和市場參與者保持謹慎,準備應對可能的市場變動。

一句話:買下231英畝農場，不僅為了教孩子辛勤工作，還為了探索多種創收機會。

這集講述了主持人在 Dallas Fort Worth 買下231英畝農場的過程和背後的商業考量。農場位於 Dallas Fort Worth 以東約57英里,距離市中心約45分鐘車程。該地區每年新增15萬至20萬人口,農場處於城市擴張的路徑上,具有潛在的增值空間。

主持人最初尋找50至100英畝的土地,但因價格高且賣方不願降價而未能成交。最終,他決定購買一塊更大的231英畝農場,價格為每英畝10,500美元（或10,300美元,因妻子是代理人而有折扣）。農場包括一個80年歷史的穀倉、圍欄、多個池塘,其中30%的土地位於洪水區,價值較低。

農場的商業潛力包括： 草飼牛肉業務：農場現有85頭牛,主持人計劃通過簽訂放牧租賃協議,購買部分牛隻並進行屠宰,以銷售草飼牛肉。每磅牛肉售價在8至20美元之間,淨利潤約40%。 YouTube頻道：主持人計劃記錄農場的開發過程,利用其在YouTube上的經驗來吸引觀眾,並通過廣告收入抵消部分成本。 農場住宿：鄰近的微型房屋社區每月租金1,450美元,農場也有潛力提供類似的住宿服務。 狩獵租賃：農場有足夠的空間進行野豬和鹿的狩獵活動,這些活動可帶來收入。 重型設備租賃：主持人計劃購買重型設備,並通過Facebook Marketplace出租,以賺取額外收入。 農場資料庫：建立農場和池塘的資料庫,提供給相關公司和個人,以賺取數據銷售收入。

農場的其他特點包括： 位於Woodbine Aquafer上方,水質良好。 擁有公路前線,方便接入公用設施。 部分土地適合種植牧草,洪水區土地則生長迅速。

主持人強調,這筆投資不僅是為了商業利益,更是為了家庭和孩子的教育。農場將成為孩子們學習辛勤工作和自力更生的場所。