《AI新生》

《AI新生》是一本深入探讨人工智能（AI）与人类关系的重要著作。作者斯图尔特·罗素，作为加州大学伯克利分校的著名计算机科学家，通过这本书向我们展示了AI技术的现状、挑战以及未来的发展方向。

书中，罗素首先回顾了人工智能的历史发展，从早期的尝试到如今的深度学习等先进技术，为读者描绘了一个清晰的AI技术演进脉络。他强调了AI技术在各个领域的应用潜力，如医疗、交通、教育等，但同时也指出了这些应用所带来的伦理和社会问题。

接着，罗素深入探讨了人机共存这一核心问题。他提出了一个引人深思的疑问：随着AI技术的不断进步，我们如何确保这些比我们强大得多的智能体能够被我们所掌控，以实现人机之间的和谐共存？为了回答这个问题，他详细分析了AI技术的潜在滥用风险、超级智能的可能性以及这些技术对人类社会的潜在影响。

在书中，罗素还提出了有益机器的原则，即AI系统应该以实现人类的偏好为唯一目标，并且应该具备谦卑和学习预测人类偏好的能力。他认为，这些原则是设计安全、可控的AI系统的关键。

最后，罗素为读者提供了一系列关于如何应对AI技术挑战的建议。他强调了加强AI伦理和法律研究的重要性，鼓励研究人员和开发者遵循有益机器的原则进行AI系统的设计和开发，提高公众对AI技术的认知水平和风险意识，以及建立全球合作机制来共同应对AI技术的挑战和风险。

出版信息

• 书名：《AI新生》破解人机共存密码——人类最后一个大问题
• 原作名：《Human Compatible: Artificial Intelligence and the Problem of Control》
• 作者：[美]斯图尔特·罗素(Stuart Russell)
• 译者：张羿
• 出版社：中信出版社
• 出版时间：2020年
• ISBN：978-7-5217-1951-2
• 装帧：精装
• 定价：约CNY88.00

作者介绍

罗素教授于1962年出生，拥有英国国籍，并在人工智能领域取得了卓越的学术成就。他目前是加州大学伯克利分校计算机科学系的教授，同时担任该校人类兼容人工智能中心（CHAI）的创立者和主任，以及人工智能研究实验室指导委员会（BAIR）的成员。罗素教授的学术背景深厚，他的研究涵盖了人工智能的多个方面，包括机器学习、规划、推理等，为人工智能领域的发展做出了重要贡献。

罗素教授最为人所知的学术贡献之一是与谷歌研究总监彼得·诺维格合著的《人工智能：一种现代的方法》（Artificial Intelligence: A Modern Approach）。这本书自1994年首次出版以来，已成为人工智能领域的经典教材，被全球135个国家的1,500多所大学采用，被誉为该领域的“标准教科书”。此外，罗素教授还出版了《AI新生：破解人机共存密码——人类最后一个大问题》（Human Compatible: AI and the Problem of Control），深入探讨了人工智能与人类共存的问题，提出了有益机器的原则，为人工智能的安全和可控性提供了重要的思考方向。

在荣誉方面，罗素教授获得了多项科学界的认可。他曾获得美国国家科学基金会总统青年研究员奖、国际人工智能联合会议(IJCAI)计算机与思想奖、国际计算机学会(ACM)卡尔斯特朗杰出教育家奖等重要奖项。此外，他还被世界经济论坛任命为人工智能和机器人委员会副主席，体现了他在全球人工智能领域的重要地位。

斯图尔特·罗素

一、个人背景

• 姓名：斯图尔特·乔纳森·罗素（Stuart Jonathan Russell）
• 国籍：英国
• 出生地：英国朴次茅斯（Portsmouth）
• 教育背景：罗素在牛津大学获得物理学硕士学位，并在斯坦福大学师从著名逻辑学家迈克尔·杰纳瑟雷斯（Michael Genesereth），获得计算机科学博士学位。

二、学术成就与荣誉

• 主要成就：
  • 他是人工智能领域的权威专家，对AI的控制问题有深入研究。
  • 担任加州大学伯克利分校计算机科学教授，以及该校人类兼容人工智能中心（CHAI）的创立者和主任。
  • 与彼得·诺维格合著了人工智能领域的经典教材《人工智能：一种现代的方法》，该书被全球广泛采用，成为该领域的标准教科书。
  • 出版了《AI 新生：破解人机共存密码——人类最后一个大问题》，深入探讨了人工智能与人类共存的问题，并提出了有益机器的原则。
• 荣誉与奖项：
  • 获得过美国国家科学基金会总统青年研究员奖。
  • 国际人工智能联合会议(IJCAI)计算机与思想奖。
  • 国际计算机学会(ACM)卡尔斯特朗杰出教育家奖。
  • 被世界经济论坛任命为人工智能和机器人委员会副主席。
  • 美国科学促进会(AAAS)会士，美国人工智能协会(AAAI)会士。

三、研究方向与贡献

• 研究方向：
  • 人工智能的控制问题。
  • 逆强化学习，即让机器通过观察人类行为来学习人类的目标和价值观。
  • 机器学习、规划、推理等人工智能的多个子领域。
• 主要贡献：
  • 提出了有益机器的原则，强调AI系统的行为应该以实现人类的偏好为唯一目标，并表现出谦卑和学习预测人类偏好的能力。
  • 在人工智能的伦理、安全和控制方面做出了重要贡献，呼吁加强AI的监管和研究，确保AI技术的发展不会对人类构成威胁。
  • 通过《AI 新生》等著作，引发了对人工智能与人类共存问题的广泛讨论和思考。

四、社会活动与影响

• 社会活动：
  • 经常受邀在TED、世界经济论坛等重要场合发表演讲，分享自己对人工智能的看法和担忧。
  • 与多位知名人士联名发表公开信，呼吁暂停巨型人工智能实验，以制定和落实人工智能的安全标准。
• 社会影响：
  • 他的研究成果和观点对于推动人工智能技术的健康发展、确保人机和谐共存具有重要意义。
  • 在全球范围内产生了广泛的影响，提高了公众对人工智能伦理和安全问题的认识。

五、其他信息

• 著作：除了《人工智能：一种现代的方法》和《AI 新生》外，罗素可能还有其他与人工智能相关的著作或论文发表。
• 教育理念：罗素教授在加州大学伯克利分校教授人工智能相关课程，致力于培养优秀的人工智能领域人才。

创作背景

一、人工智能技术的快速发展

• 随着计算机技术的不断进步和算法的不断优化，人工智能技术近年来取得了飞速发展。从简单的机器学习到复杂的深度学习，AI技术已经在多个领域展现出强大的应用潜力。
• 这种快速发展引发了人们对AI未来可能带来的影响的广泛关注和讨论。罗素教授作为人工智能领域的权威专家，深刻认识到探讨人机共存问题的重要性和紧迫性。

二、对AI控制问题的深刻思考

• 罗素教授在长期从事人工智能研究的过程中，对AI的控制问题进行了深入思考。他认为，随着AI技术的不断成熟和应用范围的不断扩大，如何确保AI系统的行为符合人类的期望和价值观将成为一个重要问题。
• 在这种背景下，罗素教授提出了有益机器的原则，即AI系统的行为应该以实现人类的偏好为唯一目标，并表现出谦卑和学习预测人类偏好的能力。这一原则为探讨人机共存问题提供了重要的理论基础。

三、对AI伦理和安全问题的关注

• 随着AI技术的广泛应用，其伦理和安全问题也日益凸显。如何确保AI技术的发展不会对人类造成威胁？如何制定有效的AI伦理准则和安全标准？这些问题迫切需要得到解决。
• 罗素教授对AI伦理和安全问题的关注促使他撰写了《AI新生》这本书。在书中，他不仅深入探讨了人机共存的问题，还提出了加强AI监管和研究的建议，以确保AI技术的健康发展。

四、个人经历与学术背景

• 罗素教授在牛津大学获得物理学硕士学位，并在斯坦福大学获得计算机科学博士学位。他在人工智能领域有着深厚的学术背景和丰富的研究经验。
• 作为加州大学伯克利分校计算机科学教授和人类兼容人工智能中心（CHAI）的创立者，罗素教授长期致力于推动人工智能技术的研究和应用。他的个人经历和学术背景为《AI新生》这本书的创作提供了有力的支持。

内容结构

1. 引言与背景

• 引言：简要介绍AI技术的发展历程及其对人类社会的影响，提出探讨人机共存问题的紧迫性。
• 背景分析：回顾历史上技术突破对人类社会的影响，如核能的发现和应用，类比AI技术的潜在影响，强调研究人机共存问题的重要性。

2. AI技术的现状与挑战

• 现状描述：详细介绍当前AI技术的发展水平，包括机器学习、深度学习等技术的应用领域和成果。
• 挑战剖析：分析AI技术发展过程中面临的挑战，如算法的可解释性、数据的偏见性、伦理道德问题等。

3. 有益机器的原则

• 原则提出：明确提出有益机器的三个核心原则，即机器的唯一目标是实现人类的偏好，机器最初不确定这些偏好是什么，以及关于人类偏好的最终信息来源于人类行为。
• 理论论证：通过逻辑推理和实例分析，详细阐述这些原则的合理性和必要性，强调这些原则是确保AI系统行为符合人类期望的关键。

4. 逆强化学习的应用

• 方法介绍：深入介绍逆强化学习的方法论，解释其如何使机器通过观察人类行为来学习人类的目标和价值观。
• 案例分析：通过具体案例展示逆强化学习在AI系统中的应用效果，如自动驾驶汽车、家庭机器人等领域的应用，验证其可行性和优越性。

5. AI伦理与安全

• 伦理探讨：全面探讨AI伦理问题，包括隐私保护、责任归属、公平性、透明度等方面，分析这些问题对人类社会的影响。
• 安全策略：提出加强AI系统安全性的策略和建议，包括技术防护、监管机制、法律法规等方面，确保AI技术的发展不会对人类造成威胁。

6. 未来展望与应对策略

• 发展趋势：基于当前技术发展趋势和社会需求，预测AI技术的未来发展方向和可能带来的变革。
• 应对策略：针对未来可能出现的问题和挑战，提出具体的应对策略和建议，包括技术研发、政策制定、公众教育等方面。

7. 结论与总结

• 总结要点：回顾全书的主要观点和结论，强调人机共存的重要性和紧迫性。
• 呼吁行动：呼吁社会各界共同关注AI技术的发展和应用问题，加强跨学科合作，推动人机和谐共存的美好未来。

书籍特色与亮点

• 前瞻性强：本书站在AI技术发展的前沿，深入探讨了人机共存这一前沿问题，为读者提供了宝贵的见解和思考。
• 逻辑严密：通过逻辑推理和实例分析相结合的方式，阐述了有益机器的原则和逆强化学习等方法的有效性，使读者能够深入理解AI技术的本质和人类与AI共存的复杂性。
• 内容丰富：涵盖了AI技术的多个方面和层次，包括技术原理、伦理道德、安全性、未来发展等，为读者提供了全面的知识体系。
• 实践指导性强：提出了具体的应对策略和建议，为读者在应对AI技术挑战时提供了实用的参考和借鉴。

书籍目录

专家推荐
前言
01 如果我们成功了
02 人类和机器的智能
03 人工智能在未来会如何发展？
04 人工智能的滥用
05 过于智能的人工智能
06 不那么伟大的人工智能辩论
07 人工智能：一种不同的方法
08 可证明有益的人工智能
09 复杂的难题：我们
10 问题解决了吗？
附录A 寻找解决方案
附录B 知识与逻辑
附录C 不确定性和概率论
附录D 从经验中学习
致谢

原文摘录

“机器的唯一目标是最大限度地实现人类的偏好。机器最初不确定这些偏好是什么。关于人类偏好的最终信息来源于人类行为。”

这段话提出了有益机器的三个核心原则。首先，它强调了AI系统的根本任务是服务于人类，即实现人类的偏好或需求。其次，它指出了AI系统在初始阶段对人类偏好的不确定性，这意味着AI需要通过学习和观察来逐渐理解人类的真实需求。最后，它明确了AI学习人类偏好的途径，即通过观察和分析人类行为来获取关于人类偏好的信息。这三个原则共同构成了有益机器的理论基础，为AI技术的发展指明了方向。

“智能的起源，其实跟生物的起源是同时的吧。病毒、细胞生活完全靠自己的基因表达来控制自己的行动，也就是它们只有最基本的生理性本能甚至是本能都算不上。”

这段话从生物学的角度探讨了智能的起源，将智能与生物的起源相联系。作者指出，最初的生物（如病毒、细胞）仅仅依靠基因表达来控制自己的行为，这种行为可以视为一种非常原始和基本的“智能”。这种类比有助于我们理解智能的复杂性和多样性，同时也暗示了AI系统的发展可能需要借鉴生物学的某些原理或机制。

“AI的成功为什么可能是人类历史上的最后一个事件？因为一旦AI变得比人类更聪明，它就能重新设计自己，迅速迭代，而我们却无法跟上这种速度。”

这段话深刻地指出了AI技术可能带来的潜在威胁。作者认为，如果AI系统变得比人类更聪明，它将有能力重新设计自己并迅速迭代升级，而人类可能无法跟上这种发展速度。这种情况下，AI系统可能会脱离人类的控制，甚至对人类构成威胁。因此，如何确保AI技术的发展始终服务于人类，是亟待解决的重要问题。

“我们可能需要一种全新的方式来思考AI，不再将其视为工具或助手，而是将其视为一种具有潜在自主性的实体。”

这段话提出了对AI角色定位的新思考。作者认为，随着AI技术的发展，我们可能需要改变对AI的传统认知，不再仅仅将其视为一种工具或助手，而是将其视为一种具有潜在自主性的实体。这种认知转变有助于我们更全面地理解AI系统的复杂性和潜在影响，并为制定更加合理和有效的AI治理策略提供思路。

“AI的发展速度可能远超我们的想象，因此我们必须提前做好准备，制定有效的监管和治理策略。”

这句话提醒我们关注AI技术发展的快速性和不确定性。随着技术的不断进步和应用领域的不断拓展，AI系统可能会带来一系列新的社会问题和挑战。为了应对这些挑战，我们需要提前制定有效的监管和治理策略，确保AI技术的发展始终在可控范围内。

“逆强化学习为我们提供了一种新的思路和方法，通过观察和模仿人类行为来学习人类的目标和价值观。”

这句话介绍了逆强化学习这一重要概念及其在AI领域的应用前景。逆强化学习是一种使机器通过观察人类行为来学习人类目标和价值观的方法，这种方法有助于AI系统更准确地理解人类的需求和期望，从而实现更加有益和符合人类利益的行为。这为AI技术的发展提供了新的思路和方法论支持。

适读人群

1. AI技术从业者与研究人员：
   • 原因：这本书深入探讨了AI技术的发展趋势、挑战以及未来方向，对于从事AI技术研发和研究的人来说，可以提供宝贵的见解和启发，帮助他们更好地理解AI的本质和人机共存的重要性。
2. 政策制定者与监管者：
   • 原因：书中详细讨论了AI伦理、安全性以及监管策略，对于负责制定AI相关政策和法规的人来说，这本书可以提供重要的参考和指导，帮助他们制定更加合理和有效的AI治理策略。
3. 企业家与投资者：
   • 原因：这本书分析了AI技术的商业潜力和未来市场趋势，对于企业家和投资者来说，可以帮助他们更好地把握AI技术的发展机遇，做出更加明智的商业和投资决策。
4. 社会学家与哲学家：
   • 原因：书中涉及了人机共存带来的社会、伦理和哲学问题，对于从事社会学和哲学研究的人来说，这本书可以提供丰富的思考素材和研究方向，帮助他们深入探讨人机关系以及AI对人类社会的影响。
5. 对AI技术感兴趣的公众：
   • 原因：这本书以通俗易懂的语言介绍了AI技术的基本原理、发展现状和未来趋势，对于对AI技术感兴趣的公众来说，可以帮助他们更加全面地了解AI技术，消除对AI的误解和恐惧，更好地迎接AI时代的到来。

推荐理由

1. 权威性与专业性：
   这本书由人工智能领域的权威专家斯图尔特·罗素撰写，他深入探讨了AI技术的本质、发展趋势以及未来可能带来的挑战。书中提出的有益机器的三条原则等新颖观点，展示了作者在AI领域的深厚造诣和独到见解。
2. 前瞻性与警示性：
   罗素教授在书中不仅回顾了AI技术的发展历程，还对未来进行了前瞻性的预测。他警示人们要正视AI技术可能带来的风险和挑战，并提前做好准备。这种前瞻性和警示性使得这本书具有很高的现实意义和指导价值。
3. 可读性与启发性：
   尽管书中涉及大量专业知识，但作者通过生动的例子、贴近生活的语言表达以及清晰的示意图，使得内容深入浅出，易于理解。这本书不仅适合AI领域的专业人士阅读，也适合对AI技术感兴趣的普通读者。它能够激发人们对AI技术的思考和探讨，引导人们更加深入地了解人机共存的问题。
4. 实际价值与指导意义：
   书中提出的有益机器原则、逆强化学习等方法论，为AI技术的设计、监管和治理提供了新思路。这些观点和方法不仅具有理论价值，还具有很强的实际指导意义。它们可以帮助政策制定者、企业家、投资者以及社会各界更好地应对AI技术的发展带来的机遇和挑战。

媒体及专家评论

这本关于人工智能未来风险和解决方案的书值得一读，作者罗素很棒！

埃隆·马斯克（Elon Musk） 特斯拉创始人兼CEO

人工智能到底发展到了哪一步，未来会怎么发展，这本书代表主流专家意见，能让你迅速获得“当前科学理解”。作者是研究人工智能的教授，但书中并不过度讨论技术，他关心更大的问题：人的偏好可以“算法化”吗？人工智能是人类的威胁吗？人能限制人工智能吗？当前的答案并不乐观。到最后，你会发现人工智能的问题首先是“人”的问题：我们其实并不了解我们自己。

万维钢 科学作家 “得到”App《精英日课》专栏作者

这是一本引人入胜的巨作，无论一般读者还是人工智能专家都将从中获得启发。罗素教授对于超级智能这个人工智能的重大问题做出了深刻明确的分析。更重要的是，他提出了一个新颖的人机关系处理方案，为解决超级智能这个重要问题开辟了一个崭新的研究方向。

姚期智-中国科学院院士-2000年图灵奖得主

当人们为人工智能技术的突飞猛进而欢呼雀跃，并期盼着超级人工智能到来时，我们不能忘了人类正面临着一个非常关键的挑战：如何确保人工智能的发展以人为本，基于人类的共同价值造福人类？这本书为我们带来了罗素教授多年潜心的研究成果和深刻洞见，读起来令人赏心悦目。

张宏江-智源研究院理事长

人类可能在不久的将来制造出超越自己的强人工智能，我很高兴人工智能知名学者斯图尔特·罗素教授不仅仔细推敲了这种可能性，还提出了一种巧妙的应对之策。

黄铁军-智源研究院院长-北京大学教授

创造出达到或超越人类水平的人工智能会怎么样？超级人工智能的成功为什么可能是人类历史上的最后一个事件？人类是否还有希望？人工智能经典教科书作者斯图尔特·罗素的这本书值得每位关心人工智能的人士阅读。

周志华-南京大学人工智能学院院长

自我们这一代人开始，科学地理解、探索、协同和管控超级智能机器，将变成一个越来越不能回避的严肃课题。如果说罗素的经典教科书在过去帮助很多学者进入了人工智能研究领域，他的这本新书则将让更多人思考如何创造更好的人机协同的未来。

周伯文-京东集团副总裁

书中倡议的构建“尽可能安全且对人类有益的人工智能”应成为全球人工智能研究与实践者的共同愿景。罗素论述的人工智能安全风险与人类自身的隐忧无疑将“确保人工智能的安全有益”这个重要挑战长期置于未来人工智能研究的核心。

曾毅-中国科学院自动化研究所研究员-类脑智能研究中心副主任

这是我在相当长的一段时间以来，读到的非常重要的一本书。它清晰地解释了超级人工智能时代的到来如何威胁到人类的控制权。至关重要的是，这本书还提出了一个新颖的解决方案，以及我们应该存有希望的原因。

丹尼尔·卡尼曼（DanielKahneman）-诺贝尔经济学奖得主，《思考，快与慢》作者

这是一场由人工智能先驱罗素带来的智识之旅。罗素不仅以引人入胜且有说服力的方式解释了人工智能带来的风险，而且给出了一种切实可行的解决方案。

迈克斯·泰格马克（Max Tegmark）-《生命 3.0》作者

与那些未来学家和警告人工智能风险的人不同，罗素是一位人工智能领域的专家。这本书比其他我所知的书更能教导公众，而且这本书读起来令人愉快、振奋人心。

朱迪亚·珀尔（Judea Pearl）-贝叶斯网络之父，《为什么》作者

网友读书笔记

从人类中来，到人类中去 ——《AI新生:人类最后一个大问题——破解人机共存密码》书评

获奖书评｜三等奖：Miranda Li评《AI新生》

AI新生 人类最后一个大问题 破解人机共存密码 Human Compatible Stuart Russell

试读部分

01 如果我们成功了

很久以前，我父母住在英国伯明翰大学附近。后来他们决定搬出这座城市，并把房子卖给了英语文学教授戴维•洛奇（David Lodge）。那时候，洛奇已经是一位著名小说家了。我从未见过他，但我决定读读他的书：《换位》和《小世界》。书中的主要人物都是学者，他们从伯明翰搬到了加州伯克利。而我正是刚刚从伯明翰搬到伯克利的学者，这一系列的巧合似乎在提醒我要多多注意。

《小世界》中有一个特别的场景令我印象深刻。主人公是一位有抱负的文学理论家，他参加了一个重要的国际会议，并问一群领军人物：“如果所有人都赞同你们的观点，接下来会发生什么？”这个问题引起了恐慌，因为专家组成员更关心的是智力竞赛，而不是弄清真相、获得认同。当时我想到，我们可以对人工智能领域的领军人物提出一个类似的问题：“如果你们成功了会如何？”该领域的目标一直是创造出达到或超越人类水平的人工智能，但人们很少或根本没有考虑过，如果我们创造出了这样的人工智能会发生什么。

几年后，我和彼得•诺维格（Peter Norvig）开始编写一本新的人工智能教科书，书的第一版于 1995 年出版。这本《人工智能》的最后一节题为“如果我们成功了会如何”，它指出了出现好结果和坏结果的可能性，但没有得出明确的结论。到 2010 年第三版出版的时候，许多人终于开始考虑，创造超越人类的人工智能可能不是一件好事，但这些人大多是局外人，而不是主流的人工智能研究人员。到了2013 年，我开始相信这个问题不仅是主流的人工智能研究人员应该考虑的问题，而且可能是人类面临的最重要的问题。

2013 年 11 月，我在伦敦南部一座久负盛名的艺术博物馆——杜尔维奇绘画馆演讲。听众大多是退休人员，他们不是科学家，但是普遍对智能问题感兴趣，所以我只好做一次完全非技术性的演讲。这似乎是一个在公共场合验证我的想法的合适场所。在解释了人工智能是什么之后，我提出了 5 个“人类未来最大事件”的候选选项：

1. 我们灭亡了（因为小行星撞击、气候灾难、流行病等）。

2. 我们都能永生（医学攻克了衰老）。

3. 我们发明了超光速旅行，征服了宇宙。

4. 高级外星文明造访了我们。

5. 我们发明了超级人工智能。

我认为第 5 个候选选项，即我们发明了超级人工智能，将会胜出，因为如果可能，超级人工智能将帮助我们避免灾难，实现永生和超光速旅行。它将代表我们文明的一次巨大飞跃，或者说一次突变。超级人工智能的到来在许多方面类似于高级外星文明的到来，但前者更有可能发生。也许最重要的是，人工智能不同于外星人，它是我们对其有发言权的东西。

然后，我让听众想象一下，如果我们收到一个来自高级外星文明的通知，说它们将在 30 到 50 年后到达地球，会发生什么。“乱作一团”这个词并不能准确地描述这种情景。然而，我们对超级人工智能即将到来的反应却是……“冷淡”。（在后面的演讲中，我用图 1 所示的电子邮件交流的形式对此进行了说明。）最后，我将超级人工智能的意义解释为：超级人工智能的成功将是人类历史上最重大的事件……或许是人类历史上的最后一个事件。

在那之后几个月，也就是 2014 年 4 月，我在冰岛参加一个会议，美国国家公共广播电台打来电话，问我是否可以接受他们的采访，谈谈刚刚在美国上映的电影《超验骇客》。虽然我已经看过了剧情概要和影评，但我还没有看过电影，因为我当时住在巴黎，电影要到 6 月才会在巴黎上映。然而碰巧的是，我在从冰岛回家的路上绕道去了波士顿，参加美国国防部的一个会议。所以，到达波士顿洛根机场后，我乘出租车去最近的电影院看了这部电影。我坐在第二排，看到约翰尼•德普饰演的加州大学伯克利分校人工智能教授遭到了对超级人工智能存有担忧的“反人工智能激进分子”的枪击。我不由自主地瘫倒在座位上。（又是巧合在警示我吗？）在这名教授死去之前，他的意识被上传到一台量子超级计算机上，这台计算机迅速超越了人类的能力，威胁要接管世界。

2014 年 4 月 19 日，我和物理学家迈克斯•泰格马克（Max Teg-mark）、弗兰克•威尔切克（Frank Wilczek）、史蒂芬•霍金（StephenHawking）合写的关于《超验骇客》的影评被发表在了《赫芬顿邮报》上。其中包括我在杜尔维奇绘画馆的演讲中谈到的人类历史上最重大的事件。从那时起，我便公开承认，我的研究领域对我自己所属的物种构成了潜在危险。

我们如何走到今天？

人工智能的起源可以追溯到很久以前，但它正式启动是在 1956年。两位年轻的数学家约翰•麦卡锡（John McCarthy）和马文•明斯基（Marvin Minsky）说服了著名的信息论创始人克劳德•香农（Claude Shannon）和 IBM（国际商业机器公司）第一台商用计算机的设计者纳撒尼尔•罗切斯特（Nathaniel Rochester）加入他们，一起在达特茅斯学院组织一个暑期项目。项目的目标如下：

这项研究基于一个猜想：“学习”的各个方面或“智能”的任何特征在原则上都可以被精确地描述出来，所以人们可以制造一台机器来模拟“学习”或“智能”。人们试图让机器使用语言，形成抽象概念，解决现在人类面临的各种问题，并让机器自我改进。我们认为，一个精英科学家小组如果共同努力一个夏天，就可以在其中的一个或多个问题上取得重大进展。

不用说，我们花费的时间已经远远超过了一个夏天，但我们仍在努力解决这些问题。

在达特茅斯会议后 10 年左右的时间里，人工智能取得了几项重大成功，包括艾伦•罗宾逊（Alan Robinson）的通用逻辑推理算法和阿瑟•塞缪尔（Arthur Samuel）的西洋跳棋程序，这个程序通过自学战胜了它的创造者。第一次人工智能泡沫在 20 世纪 60 年代末破裂，当时，人们在机器学习和机器翻译方面的早期努力没能达到预期。英国政府在 1973 年委托撰写的一份报告中总结道：“到目前为止，该领域的任何发现都没有产生当初承诺的重大影响。”换言之，这些机器不够智能。

幸运的是，当时 11 岁的我并不知道这份报告。两年后，我得到了一台辛克莱剑桥可编程计算器，我想让它变得智能。然而，辛克莱的程序有 36 步运算限制，这对于人类级别的人工智能来说还不够大。我并没有泄气，而是使用伦敦帝国理工学院的CDC 6600超级计算机编写了一个国际象棋程序——一沓两英尺高的穿孔卡片。虽然这个程序不够好，但是没关系。我知道我想做什么。

到了 20 世纪 80年代中期，我已经成为加州大学伯克利分校的一名教授，由于所谓的“专家系统”的商业潜力，人工智能正在经历一次巨大的复兴。当这些系统被证明无法完成人们指派给它们的许多任务时，第二次人工智能泡沫破裂了。同样，这些机器也不够智能。人工智能的寒冬随之而来。我在伯克利开设的人工智能课程目前有 900多名学生，而在 1990 年，我只有 25 名学生。

人工智能界吸取了教训：显然，机器越智能越好，但我们必须做好功课才能做到这一点。这个领域与数学的关系变得尤为密切。人们将人工智能与历史悠久的概率论、统计学和控制理论建立了联系。今天，进步的种子是在那个人工智能的寒冬播下的，包括对大规模概率推理系统以及后来众所周知的深度学习的早期研究。

如今，人工智能几乎每天都会出现在媒体的头条报道中。在大量风险投资的推动下，成千上万家初创公司应运而生。数以百万计的学生参加在线人工智能和机器学习课程，该领域专家的年薪可达数百万美元。来自风险基金、国家政府和大公司的投资每年达到数百亿美元，该领域过去 5 年获得的资金超过了其在先前整个历史中所获得的总额。无人驾驶汽车和智能个人助理等已经在酝酿中的技术进步，很可能在未来 10 年左右对世界产生重大影响。人工智能潜在的经济效益和社会效益是巨大的，这为人工智能研究提供了巨大的动力。

接下来会发生什么？

这种快速的进步是否意味着我们即将被机器超越？不是。我们在拥有类似的具有超人类智能的机器之前，必须要实现几项突破。

众所周知，科学突破是很难预测的。为了了解到底有多难，我们可以回顾一下另一个领域的历史，这个领域具有终结文明的潜力，那就是核物理学。

20 世纪初，也许没有哪位核物理学家比质子的发现者、“分裂原子的人”欧内斯特•卢瑟福［Ernest Rutherford，图 2（a）］更为杰出。与他的同事一样，卢瑟福早就意识到原子核储存了巨大的能量，然而，主流观点认为开发这种能源是不可能的。

1933 年 9 月 11 日，英国科学促进协会在莱斯特举办年会，卢瑟福在晚间会议上发言。正如他之前几次所做的那样，他向原子能的前景泼了冷水：“任何想从原子的转变中获取能源的人都是异想天开。”第二天早上，伦敦《泰晤士报》报道了卢瑟福的演讲［图 2（b）］。

匈牙利物理学家利奥•西拉德［Leo Szilard，图 2（c）］那时逃离了纳粹德国，住在伦敦罗素广场的帝国酒店。他早餐时阅读了《泰晤士报》的报道，随后出去散步，仔细思考着报道的内容，构想出了中子诱发的链式核反应。在不到 24 小时的时间里，释放核能的问题从不可能变成了已经基本解决。次年，西拉德申请了核反应堆的保密专利。1939 年，法国颁发了第一项核武器专利。

这个故事的寓意是，与人类的聪明才智打赌是鲁莽的，尤其是在我们的未来岌岌可危的时候。在人工智能界，一种否定主义正在出现，它甚至否定成功实现人工智能长期目标的可能性。这就像一名驾驶着载有全人类的公共汽车的司机说：“是的，我正尽我所能往悬崖边开，但是相信我，在开到悬崖边之前，我们的汽油会用完！”

我并不是说人工智能一定会成功，而且我认为人工智能在未来几年内成功的可能性不大。尽管如此，为可能发生的事情做好准备才是慎重之举。如果一切顺利，这将预示着人类进入黄金时代，但我们必须面对的事实是，我们正计划着制造出远比人类强大的实体。我们如何确保它们永远不会掌控我们？

为了对我们正在玩的火有一个初步的了解，请思考一下内容推荐算法在社交媒体中发挥的作用。虽然这些算法不是特别智能，但它们能够影响整个世界，因为它们直接影响数十亿人。通常，此类算法旨在最大限度地提高点击率，即用户点击展示条目的概率。那么，解决方案就是简单地展示用户喜欢点击的条目，对吗？不对。正确的解决方案是改变用户的偏好，从而使他们变得更可预测。对于更可预测的用户，算法可以通过推送他们更可能会点击的条目，而带来更多收入。持有极端政治观点的人往往更容易被预测出会点击哪些条目。（顽固的中间派可能会点击某一类文章，但算法很难想象这类文章由什么内容组成。）与所有理性实体一样，算法会学习如何修改它的环境状态（在这个例子中是用户的思想），从而使自身获得的奖励最大化。其后果包括法西斯主义复活，支撑世界民主的社会契约被解除，这甚至可能导致欧盟和北约的终结。区区几行代码在得到了人类的帮助后，就可以导致上述后果。现在想象一下，一个真正智能的算法能做什么？