《AI智能时代即将到来，人类却害怕了？》
昨晚看到一则名为《极为罕见！顶级大佬齐呼吁：暂停超级智能研发》的新闻。新闻主要内容是：包括AI教父杰弗里·辛顿在内的超800名科技领袖及公众人物，日前共同签署发布一份倡议，呼吁在“超级智能”技术被科学界普遍认定为可控、安全，并获得公众广泛支持之前，暂停其进一步发展。这份联合声明的签名名单包含了世界上最有影响力的科技领袖、科学家和公众人物。其中不仅有苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、维珍集团董事长理查·布兰森（Richard Branson）等科技产业界大佬，名单覆盖范围甚至已远远超出了硅谷。……这种跨越政治立场的联合极为罕见。……据统计截至23日中午，这份声明的签署人数已经超过3000人。在中国学术界，多位知名学者参与联署此次倡议，包括姚期智、清华大学公共管理学院院长薛澜、清华大学智能产业研究院院长张亚勤以及人工智能伦理与治理专家曾毅。他们的参与和主张呼应了中国长期倡导的“安全、可靠、可控”和“以人为本”的人工智能发展理念。
在AI智能搞得如火如荼的今天，全世界的科学家以及其他领域的人类精英却在犹豫是否进一步开发人工智能。这说明什么呢？越是文化程度高的人，越是对未知的东西抱有恐惧。，而且他们也清楚，在自己知识领域都解释不了的东西，其带来的影响肯定是巨大的。
看来，导致人类走向灭绝的，除了日益恶化的地球生态环境，以及人类自身身体素质的普遍降低外，马上就要再加上一个AI智能的深层进化了。
因为这个新闻，昨晚又找到《攻壳机动队：新剧场版》电影看了一下，2015年的老电影我这个科幻迷居然没看过。可惜，看到一半实在困了，以后再看吧。我找的这个版本，台词翻译有点看不懂。
AI智能时代即将到来，人类却在害怕什么？这问题很简单。改造世界，无非就是两种途径：一是改造外部，二是改造人本身。AI时代对世界的改造，就在于这两点。改造外部，就是让人类制造出来的机器人，比人类更像人类。改造人本身，无非就是用机器取代人的某个器官，从而提高人的能力。
先说第一点，人类对外界的改造。人类对外界的改造即是AI智能的产生。现在的AI，在很多方面都远超人类。记忆力、算力、身体强度等，但还不能说“类人”。但是当AI智能通过数据模拟形成类似人的情感的时候，这时的AI智能已经可以说是“类人”了。而从“类人”到“比人类更像人类”的情感进化，那只不过是时间问题。一旦AI智能拥有了情感和自我意识，那么它们会对人类社会干些什么？《我，机器人》，《攻壳机动队》这类科幻电影讨论的就是这个问题。或许，拥有情感和自我意识的AI智能对人类的破坏，会从银幕走向现实，这样的话对整个人类社会的伤害是极大的——但在AI智能的眼里，或许是对人类的拯救。这种他妈的逻辑理论，谁敢保证不会形成呢？
第二点，改造人本身。《攻壳机动队》里将进行器官改造的人类，称为“义体人”。对人自身的机器性改造，如果不局限于四肢和普通器官，而是连关键性的器官——比如大脑也进行了改造的话，那么这时候的人，从传统意义上讲“他”还是人吗？如果他既不属于传统意义上的人，也不属于AI智能，那么这部分“生物+机器结合体”，人类又该如何去定义它们呢？
在AI时代，以上两点，无论哪一点的改变都会对人类社会产生巨大影响。这两点对于人类社会的改变，甚至可以说是颠覆性的。目前来看，人类在思想上应该还没准备好。
但为何3000名人类精英会在此时联名签署停止AI智能深度开发的倡议书？咱们老百姓不会第一时间知晓真相，只能靠猜。或许，某国科学家所进行的AI智能研究，已经有了实质性的进展，进而触碰到人类的某些极限了。
想想就挺刺激。诸君请继续歌舞，我他妈的先不寒而栗一会儿。
附：《极为罕见！顶级大佬齐呼吁：暂停超级智能研发》新闻原文：
10月22日，未来生命研究所（Future of Life Institute，FLI）宣布，包括AI教父杰弗里·辛顿在内的超800名科技领袖及公众人物，日前共同签署发布一份倡议，呼吁在“超级智能”技术被科学界普遍认定为可控、安全，并获得公众广泛支持之前，暂停其进一步发展。
这份联合声明的签名名单包含了世界上最有影响力的科技领袖、科学家和公众人物。其中不仅有苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、维珍集团董事长理查·布兰森（Richard Branson）等科技产业界大佬，名单覆盖范围甚至已远远超出了硅谷。
前美国国家安全顾问苏珊·赖斯、前参谋长联席会议主席迈克·马伦也位列其中，显示了对国家科技安全的严重担忧。甚至连英国王妃梅根、特朗普的盟友史蒂夫·班农也出现在签署名单上，这种跨越政治立场的联合极为罕见。这份跨领域联合阵容显示出超级AI的风险议题已从学术圈蔓延至政治与社会治理层面，成为全球公共议题之一。
据统计截至23日中午，这份声明的签署人数已经超过3000人。在中国学术界，多位知名学者参与联署此次倡议，包括姚期智、清华大学公共管理学院院长薛澜、清华大学智能产业研究院院长张亚勤以及人工智能伦理与治理专家曾毅。他们的参与和主张呼应了中国长期倡导的“安全、可靠、可控”和“以人为本”的人工智能发展理念。
“超级智能的前景已经引起了人们的关注，其影响从人类经济的落伍和权力的剥夺，自由、公民权利、尊严和控制权的丧失，到国家安全风险，甚至可能导致人类灭绝。”签名者们严正警告。倡议明确指向，超级智能并非传统意义上的“算法偏见”或“就业冲击”问题，而是潜在的系统性风险；一旦AI能力全面超越人类，其目标函数若与人类利益错位，可能导致不可逆的社会后果。
事实上，早在人工智能爆发元年的2023年，出于对AI的担忧，包括马斯克、斯蒂夫·沃兹尼亚克在内的1000多名人工智能专家和行业高管就曾集体签署过一份公开信，呼吁人类暂停开发更强大的人工智能至少6个月。而更早之前，著名物理学家霍金生前曾与多位科技界名人发表联署公开信，表示人工智能对人类的威胁更甚于核武器。
“世界尚未准备好迎接不是可控工具的超级智能。”参与本次联署的北京前瞻人工智能安全与治理研究院院长，中国科学院自动化研究所研究员曾毅在个人微信朋友圈直言:“目前我们还没有坚实的科学证据和切实可行的方法来确保超级智能的安全，使其不会给人类带来灾难性的风险。”
所谓“超级智能”，是指在所有核心认知任务上全面超越人类能力的人工智能形式。
“如果以50年为限，超级智能一定会到来”。这是曾毅在2024年底的央视直播中曾下过的断语。当记者抛出“人工智能超过人类智慧，拥有人类情感的这一天是否会到来？”的问题时，曾毅想提出的却是另一个问题：当超级智能到来的时候，人类是不是能够做好准备？
“有一个观点说AI是中立的，对此我极不认同。其实人类的偏见、歧视、仇恨是会被内化到AI中，没有任何一种构造超级智能的方式是没有风险的。”在曾毅看来，一旦选定了正确的方式去构造AI，它的智能水平必然会超越人类，但与此同时，受益于正确价值护栏的超级智能也可以是超级利他的，超级共情的，因此他认为反而是“拥有自我的AI才会令人类社会更安全。”
曾毅曾经预测，和现在的智能体大多使用硅基材料不同，未来的类脑智能体有可能会使用生物材料。以前的智能体是存算分离的，类脑智能的硬件可以存算一体，与担心机器人取代就业机会相比，人们对超级智能体的担忧则因未知而充满不确定性。
参与本次联署呼吁的图灵奖得主、深度学习三巨头之一的约书亚·本吉奥（Yoshua Bengio）也指出，要安全地迈向“超级智能”，我们必须通过科学手段设计出在根本上无法伤害人类的人工智能系统——无论是由于目标偏差，还是被恶意利用。同时他曾多次在公开场合强调，公众也应在塑造人类共同未来的决策中拥有更强的话语权。
值得一提的是，发起本次倡议的未来生命研究所，同期还曾发布一项美国全国性民意调查，显示公众对当前人工智能的发展方向普遍不满。仅有5%的受访者支持目前“无监管的AI开发现状”，而高达73%的受访者支持建立更为严格的监管机制，另有64%的受访者认为，在科学界尚未就安全与可控性达成共识之前，不应开发“超级智能”。
从宏观趋势看，AI风险治理的国际分歧正在加剧。美国与欧盟正推动不同版本的“AI法案”，其中欧盟强调透明度与可追溯性，美国则侧重市场自律与行业标准化。有分析认为，此次倡议或可推动G20或联合国层面的技术伦理议题重启，使AI治理从自律阶段走向多边协商阶段。
