为什么机器人要有权利说不？

全球技术地图

创新丨前沿丨科普丨资讯

机器人必须有权利不服从，才能更好地服从。

你会总是按照他人的要求行事吗？

——显然不会。

每个人都明白这一点。那么未来的机器人应该一直遵守我们的命令吗？乍一看似乎是的，因为它们只是机器，人类设计它们就是为了让它们听话。但是当想到你自己不会总是遵守他人的指令——机器人似乎也是……

只需设想一下：

看护老者的机器人有一个健忘的主人。它被安排去洗“脏衣服”，可是衣服刚刚从洗衣机里洗好拿出来。

学龄前儿童让看护小孩的机器人将球扔出窗外。

学生要求机器人老师帮他做作业。

忙碌中分心的主人要求家庭机器人把装有刀叉的垃圾扔掉。

有很多这样的例子，机器人收到指令时最好不要执行，因为执行后会导致难以预想的后果。但并非所有的案例都这样无伤大雅，即使指令本身并无恶意。

机器人汽车收到指令要倒车，可是有一只狗正在车后的马路上睡觉，或者厨房机器人收到指令要举起刀往前走，可是前面是一位大厨。指令本身是无意的，但是后果却很严重。

我们人类如何避免因为机器人遵守指令而导致的恶果？如果从狗身边开车经过不太可能，那么这辆车就必须拒绝启动。类似的，如果刺到大厨无可避免，那么机器人就必须停止前进，或者干脆就拒绝举起刀。

在这两种情况下，自动机器人很难探测到它们所做行为的潜在危害，也很难做出避免危害的举动，或者在危害不可避免时拒绝执行人类的指令。我们如何让机器人学会什么时候执行指令，什么时候拒绝指令呢？

机器人如何能知道即将会发生什么？

我们在实验室里已经开始研发机器人控制系统，可以根据人类指令做简单的推理。这样机器人就能决定是执行还是因为违反程序设计好的伦理准则而拒绝指令

一个能拒绝不安全指令的机器人

让机器人学会如何、何时以及为什么拒绝执行指令是件知易行难的事情。搞清楚一个行为会带来什么危害和问题并不只是看直接结果。将一个球扔出窗外的结果可能是扔到了院子里，没有发生什么危害。但也可能会扔到繁忙的街道上，再也找不到了，甚至会导致汽车司机急打方向盘，造成事故。行为发生的环境是问题的关键。

很难让今天的机器人知道能不能扔球，比如孩子们玩游戏就可以扔，扔到窗外或是扔到垃圾堆就不可以。更难的是，如果小孩想欺骗机器人，假装在玩游戏，然而忽然低头让球飞出窗外。

向机器人解释道德和法律

理解这些文献需要大量的背景知识（包括在开着的窗前打球可能会把球打到窗外）。这需要机器人既要考虑行为本身带来的后果，也要理解给出指令的人的意图。

为了处理人类指令的复杂性——不管是善还是恶——机器人要能通过行为的结果和在判断是否合理合法的已有社会道德准则下发生的结果对比，来清楚地推理。正如上文所述，机器人有个总的规则，“如果你收到指令要执行的一项任务可能会带来危害，那么你可以不必执行这个指令。”将必须执行和可以执行区别开来，可以让机器人思考指令可能的后果以及是否可以接受。

总的来说，机器人永远都不应该从事非法行为，也不应该做虽然合法但是并不令人满意的行为。因此，他们需要法律、道德规范和礼仪来决定指令行为的结果或是指令本身是否触犯了这些原则。

虽然我们的研究离让机器人处理上述案例还差很远，但是我们现有的思想体系已经证明：机器人必须有权利不服从，才能更好地服从。

选自丨the conversation

编译丨全球技术地图

投稿丨[e-mail]

合作咨询丨iite_er（微信号）

全球技术地图

微信号：drc_iite