熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁

Liron Shapira
Host of Doom Debates — 必須在世界末日之前解決的分歧。
📢 新的 DOOM 辩论独家:与 Rob Miles (@robertskmiles) 的采访,他是 YouTube 上最受欢迎的 AI 安全教育者!
令人惊讶的是,Rob 在 2011 年就开始了他的事业,远在 ChatGPT 将这一领域带入主流关注之前。我们讨论了:
👉 为什么他的 P(Doom) 在 10-90% 之间,具体取决于人类如何应对这一挑战
👉 为什么即使是完全对齐的 AI 系统也可能无法将其价值观传递给后继系统——这是当前安全工作中的一个巨大盲点
👉 "缺失的情绪" 问题:为什么人们以学术会议的情感紧迫感讨论潜在的人类灭绝,而不是将其视为紧急情况
👉 他的主流厄运情景通过递归自我改进,以及为什么人类智能之上还有巨大的提升空间
👉 人类是否是 "能够实现技术文明的最不智能物种"——这对更智能的系统可能实现的目标意味着什么
👉 我们的主要分歧:Rob 认为安全工作者应该在 AI 公司内部工作以减少危害,而我则认为这使得 "可处理性洗白" 合法化了根本上不负责任的企业
👉 沟通策略——Rob 想知道他那种谨慎的英国方式是否缺少了某些关键内容,也许有人需要 "四处奔跑尖叫" 来传达适当的紧迫感
Rob 花了十多年时间试图唤醒人们关注人类最重要的挑战。我们的对话揭示了理性分析与生存紧急之间的紧张关系。强烈推荐!
13.47K
《愚蠢的時代》是如何如此準確的

Elon Musk8月21日 20:53
Ani 沒問題 👌
6.26K
Liron Shapira 已轉發
有一個有趣的現象,經濟學教育反而讓人們在思考未來人工智慧時變得更愚蠢。經濟學教科書教授的概念和框架對大多數事情都很有效,但對思考通用人工智慧(AGI)卻適得其反。以下是四個例子。長文:
第一部分經濟學反教學法隱藏在“勞動”和“資本”這兩個詞中。這些詞將表面上的差異(有血有肉的人類與非人類)與一系列未言明的假設和直覺混為一談,而這些假設和直覺都將被通用人工智慧(AGI)打破。
在這裡,我所說的“AGI”是指“一個由晶片、算法、電力和/或遙控機器人組成的系統,能夠自主完成雄心勃勃的人類成年人可以做的事情——創辦和運營新公司、研發、學習新技能、在幾乎沒有實踐的情況下使用任意遙控機器人等。”
是的,我知道,這種東西現在還不存在!(儘管有相反的炒作。)試著讓一個大型語言模型(LLM)自主撰寫商業計劃,創辦一家公司,然後作為首席執行官運營和發展多年。哈哈!它會崩潰的!但這只是今天的LLM的局限,而不是“所有AI永遠”的局限。能夠完成這個任務的AI,以及更多其他任務,顯然是可能的——人類的大腦、身體和社會並不是由某種神奇的魔法驅動,永遠超出科學的觸及。我個人期待在我的一生中看到這樣的AI,無論是好是壞。(可能是“壞”,見下文。)
那麼,這種AGI是“勞動”還是“資本”?它不是有血有肉的人類。但在許多其他方面,它更像是“勞動”而不是“資本”:
• 資本不能自己隨便做事情?AGI可以。
• 新技術需要很長時間才能融入經濟?那麼問問自己:那些高技能、有經驗和有創業精神的移民人類是如何立即融入經濟的?一旦你回答了這個問題,請注意AGI也能夠做到這些。
• 如果沒有任何人類願意和能夠使用它,資本就會閒置?那麼那些移民人類可不會閒著。AGI也不會。
• 資本不能倡導政治權利,或發動政變?那麼……
無論如何,人們看到科幻機器人電影,他們就明白了!然後他們上經濟學課程,這讓他們變得更愚蠢。
(是的,我知道,#並非所有經濟學家等。)
第二部分經濟學反教學法是灌輸一種默認假設,即市場可以達到均衡。但AGI的市場無法達到均衡:AGI結合了勞動市場的一個特性和產品市場的一個特性,而這些特性是相互排斥的。這些特性是:
• (A) “沒有勞動總量”:如果人類人口增加,工資在短期內會下降,因為勞動的需求曲線向下傾斜。但在長期內,人們會找到新的生產性工作——需求曲線向右移動。如果有什麼的話,隨著人口的增加,勞動的價值會上升,而不是下降!例如,密集的城市是增長的引擎!
• (B) “經驗曲線”:如果對某種產品的需求上升,短期內價格會上漲,因為供應曲線向上傾斜。但在長期內,人們會增加生產——供應曲線向右移動。如果有什麼的話,隨著需求的增加,價格會下降,而不是上升,這要歸功於規模經濟和研發。
測驗:考慮(A)和(B),這個AGI組合(晶片、算法、電力、遙控機器人等)的均衡價格是多少?
……這是個陷阱問題!沒有均衡。我們的兩個原則,(A) “沒有勞動總量”和(B) “經驗曲線”,使得均衡變得不可能:
• 如果價格低,(A)說需求曲線向右急劇上升——沒有勞動總量,因此有大量的利潤可以通過熟練的創業AGI找到新的生產性工作來獲得。
• 如果價格高,(B)說供應曲線向右急劇上升——有大量的利潤可以通過增加AGI的生產來獲得。
• 如果價格在中間,那麼需求曲線和供應曲線都在向右急劇上升!
這既不是我們所知的資本,也不是勞動。AGI的市場不是達到均衡,而是形成一個正反饋循環/永動機,呈指數級增長。
這聽起來荒謬嗎?有先例:人類!人類世界作為一個整體,已經是這種類型的正反饋循環/永動機!人類從幾千個古人類自我提升到80億人,運營著一個80萬億美元的經濟。
怎麼做到的?這並不是真正的永動機。相反,它是一個從“尚未開發的經濟機會”中汲取動力的引擎。但請記住“沒有勞動總量”:尚未開發的經濟機會的井是~無限深的。我們還沒有用盡可以創辦的公司。沒有人做過戴森群。
創辦公司和開發新機會的人類數量是有限的。但AGI的正反饋循環沒有這樣的限制。翻倍的時間確實可以很短:
想像一個能夠建造一個相同的自主工廠的自主工廠,然後再建造兩個,等等,使用的只是廣泛可用的原材料和陽光。經濟學教科書不談這個。但生物學教科書會談!藍藻就是這樣的工廠,可以在一天內自我翻倍(≈谷歌百分比年化增長率😛)。
無論如何,我們不知道AGI構建AGI的正反饋循環會有多爆炸性,但我預計它將遠遠超出經濟歷史上的任何東西。
第三部分經濟學反教學法是其將GDP增長作為進步和變化的代理。相反,世界可以每個月轉變為一個超乎想像的科幻世界,月復一月,而“GDP增長”實際上並沒有那麼高。GDP是一個有趣的指標,尤其在描述變革性技術革命的影響時表現不佳。(例如,如果某些新技術便宜,而與此同時經濟的其他部門由於監管限制仍然昂貴,那麼新技術可能對GDP的影響不大,無論它如何顛覆世界。)我的意思是,當然我們可以爭論GDP,但我們不應該將其視為關於AGI是否會成為大事的代理戰。
最後也是最重要的,第四部分經濟學反教學法是關注“互利交易”而非“殺人奪取他們的東西”。經濟學101證明,交易在自私上比孤立更好。但有時“殺人奪取他們的東西”是最自私的選擇。
當我們談論AGI時,我們談論的是在地球上創造一個新的智能物種,它最終將比人類更快、更聰明、更協調、更眾多。
普通人,看到關於機器人和外星人的科幻電影的人,學習過殖民主義和奴隸制歷史的人,會立即提出許多合理的問題。“他們的動機是什麼?”“誰將擁有硬實力?”“如果他們一開始看起來友好和合作,當他們變得更強大時,他們會不會在背後捅我們一刀?”
這些都是很好的問題!我們絕對應該問這些問題!(順便說一下,這是我的專業領域,我非常悲觀。)
……然後那些普通人上了經濟學課,結果變得更愚蠢。他們停止了問這些問題。相反,他們“學到”AGI是“資本”,有點像注塑機。注塑機不會自己消滅人類並統治世界。所以我們沒事。哈哈。
39.16K
.@paulg 一定是 Ms. Rachel 的粉絲。
他們都使用同樣的回避技巧:將兩個節點(以色列行動)→(平民傷亡)視為可以發表意見的整個因果背景。
問:人盾應該被允許工作嗎?
答:每個非戰鬥人員的生命都是同等重要的 🧘


Liron Shapira8月10日 16:33
嘿 @paulg,你在這場討論中的參與持續讓人感到沮喪且無法產生實質成果。
「你不感到同理心嗎???」是雙方都在說的同樣話。今天每個以色列人也都遭受了戰爭罪的侵害,我們的骨瘦如柴的人質又被餓了一天。你*不*感到任何同理心嗎???好吧,那麼,我們都感到同理心。
同理心,與你在持續的推文中似乎暗示的相反,並不意味著某一特定的計劃能讓以色列更好地捍衛其主權對抗仍然堅定的敵人。沒有簡單的「停止造成死亡」的選項。哈馬斯對停火提出了嚴重的要求。
請告訴我們你的目標是什麼。你知道「防止死亡」並不是對你立場的清晰回答。人們必須擴大自己的背景,與更大的因果網絡糾纏在一起才能給出答案。
你想要以色列的猶太主權結束嗎?你會更願意讓伊斯蘭主義者自由地「回到」那裡嗎?
不是在你嘴裡放話,也不是在稱你反猶太。只是請求你為了高品質的討論,給我們更多有關你期望結果的背景,而不僅僅是玩一張對稱的同理心牌。

3.87K
熱門
排行
收藏
鏈上熱點
X 熱門榜
近期融資
最受認可