机器人三定律的内容是什么?

今年8月，雷锋网将在深圳举办盛况空前的“全球人工智能与机器人峰会”，届时雷锋网(搜索“雷锋网”公众号关注)将发布“人工智能&机器人Top25创新企业榜”榜单。目前，我们正在拜访人工智能、机器人领域的相关公司，从中筛选最终入选榜单的公司名单。如果你也想加入我们的榜单之中，请联系：2020@leiphone.com 。

文章插图
担心 AI “副作用”的马斯克创立了非盈利机构OpenAI，最近 OpenAI 安全性与技术巨头谷歌共同提出了五条 AI 安全的具体准则。图片来源：TC 。
最近，谷歌和OpenAI的博客宣布了一条由谷歌、OpenAI、伯克利和斯坦福的学者共同进行的研究，其目的旨在为AI提供一个有效的行为约束，以使其不会在有意或无意中做出危害人类的事情。
人们对AI技术的担心可以追溯到“AI”这个名词诞生之前。1950年著名科幻作家阿西莫夫的《我，机器人》出版，在书中阿西莫夫提出了举世闻名的机器人三定律：第一定律：机器人不得伤害人类，或坐视人类受到伤害；第二定律：机器人必须服从人类的命令，除非与第一定律冲突；第三定律：在不违背第一定律和第二定律的情况下，机器人必须保护自己。虽然阿西莫夫的作品预言了科技发展的趋势，但是机器人三定律毕竟只属于文学。
如今，AI 技术已经深入影响我们的生活，霍金和马斯克等科技界名人也预警了 AI 可能造成的危害，不过，宽泛空洞的 AI 威胁论也许并不能带来实质性的帮助。非盈利研究机构 OpenAI 正是在马斯克等人的推动下建立，宗旨是让人工智能为人类发挥积极的作用。之前 AI 科技巨头谷歌就发布过一篇论文，设计了一个用于紧急停止算法运行的开关，并且确保开关的效果不会被算法阻止，这个开关属于事后防范的应急措施（，查看雷锋网编译分享的论文全文）。此次，OpenAI 与谷歌等学者共同为AI系统设计划出了五条准则，讨论哪些具体的工程设计方法可以预防 AI“暴走”对人类带来危害，与缺乏可操作性的机器人三定律相比更加实用。在此，我们为大家分享名为《AI 安全中的具体问题》论文全文（上篇）。
概况
机器学习和人工智能（AI）领域中的快速进展让人们越来越关注 AI 技术对社会的潜在影响。这篇论文中，我们讨论其中一个潜在影响：机器学习系统中的“意外”问题，定义为可能从真实世界 AI 系统的不良设计中而来的、不符合设计者初衷的有害行为。我们呈现五项与意外风险有关的实践研究问题，问题分类是基于它们是否源于错误的目标函数（“避免副作用”和“避免奖励的黑客行为“）、是否其基于的目标太过昂贵以至于无法经常评估（”可扩展的监督“）、或者是否在学习过程中出现不良行为（“安全探索”和“分配转变”）。我们回顾这些领域的过往研究，并建议未来的研究方向，重点在与尖端 AI 系统的相关性。最后我们考虑一个高等级的问题，如何最有成效地思考 AI 前瞻性应用的安全问题。
1. 简介
最近几年，我们见证了机器学习和人工智能（AI）中最顽固、困难的一些问题出现了快速进展，包括在计算机视觉、电子游戏、自动驾驶和围棋等广泛领域。这让我们很激动地看到 AI 有潜力带来积极影响，能够改变医学、科学和交通等领域，同时，这也让我们对于自动系统在隐私、安全、公平、经济和军事方面的影响感到了担忧，并且担心强大 AI 的长期影响。
本文的作者们相信，AI 科技可能对于人类来说非常有益，但是我们也相信，有必要对潜在的挑战和风险给予严肃思考。我们积极支持隐私、安全、公平、经济和政策方面的研究，但是在这篇论文中我们讨论另一个类别的问题，我们相信对于 AI 的社会影响也有关：机器学习系统中意外的问题。我们将意外定义为：如果我们定义错误的目标函数、在学习过程中不够小心或者犯下其他机器学习相关的执行错误时，机器学习系统中出现的不符合设计者初衷的有害行为。