读AI新生：破解人机共存密码笔记15辅助博弈

1. 辅助博弈

1.1. assistance game

1.2. 逆强化学习如今已经是构建有效的人工智能系统的重要工具，但它做了一些简化的假设

1.2.1. 机器人一旦通过观察人类学会了奖励函数，它就会采用奖励函数，这样它就可以执行相同的任务

1.2.1.1. 解决这个问题很容易，我们只需确保机器人将偏好与人类联系起来，而不是与自身联系起来

1.2.2. 机器人正在观察一个人类解决单智能体决策问题

1.2.2.1. 机器人不知道人类有什么偏好，但它无论如何都想满足他们

1.3. “回形针”博弈

1.3.1. 在这个游戏中，人类哈里特有一种动机来向机器人罗比“发送”一些她的偏好信息

1.3.2. 罗比能够解读这个信号，因为它能玩这个游戏，由此它能理解哈里特有什么样的偏好，以便让她发出那样的信号

1.4. 关机博弈

1.4.1. 工具性目标通常可以用作几乎任何原始目标的子目标

1.4.2. 自我保护是一个工具性目标，因为很少有原始目标在死后能更好地实现

1.4.2.1. 这导致了关机问题：具有固定目标的机器将不允许自己被关机，并有动机禁用自己的关机按钮

1.4.3. 事实证明，目标的不确定性对于确保我们能够关闭机器至关重要，即便机器比我们更智能

1.4.3.1. 它知道自己不想做错事，但它不知道做错事意味着什么

1.4.4. 只要罗比不能完全确定自己将要做的事情就是哈里特自己会做的事，它就会更愿意被哈里特关闭

1.4.4.1. 哈里特的决定为罗比提供了信息，而信息对于改进罗比的决定总是有用的

1.4.4.2. 如果罗比对哈里特的决定有把握，那么她的决定就不会提供新的信息，所以罗比没有动机让她做决定

1.4.5. 允许有人为错误发生的可能性

1.4.5.1. 即使罗比提议的行动是合理的，哈里特有时也可能会关掉罗比

1.4.5.2. 即使罗比提议的行动并不可取，哈里特有时也会让罗比继续

1.4.6. 博弈的解决方案表明，罗比不太倾向于听从一个有时违背自己最大利益的、非理性的哈里特

1.4.6.1. 她的行为越随意，罗比在服从她之前就越不确定她的偏好

1.5. 有益的、顺从的行为和机器对人类偏好的不确定性之间的重要联系，会经受住这些细化和复杂化的考验

1.6. 随着罗比对哈里特的偏好越来越确定，它将和那些有固定目标的糟糕的旧人工智能系统越来越像：它不会征求许可，也不会让哈里特选择关闭它，而且它的目标不正确

1.7. 永远不要预先排除世界上可能成为哈里特偏好的一部分的属性

1.7.1. 当罗比根据已知的属性无法解释哈里特的决定时，罗比可以推断，有一个或多个先前未知的属性（例如天空的颜色）可能在起作用，而且它可以试着找出那些属性可能是什么

2. 禁例与漏洞原则

2.1. 保有人类目标的不确定性，或许并不是说服机器人在拿咖啡时不要禁用关机按钮的唯一方法

2.2. 以一种万无一失的方式编写这样的禁例就像试图编写无漏洞的税法，这是我们几千年来一直在尝试却一直失败的事情

2.2.1. 防止有人避税的最佳解决方案是确保相关实体都愿意纳税

2.3. 漏洞原理

2.3.1. 如果一台足够智能的机器有动机创造某种条件，那么一般而言，人类无法仅凭写禁例来限制它的行为，阻止它这样做，或是阻止它做一些等效的事情

2.3.1.1. 在人工智能系统可能出现问题的情况下，最好的解决方案是确保它愿意服从人类

3. 要求和指示

3.1. 指令不是不惜一切代价都要实现的目标

3.1.1. 这是一种传达哈里特偏好信息的方式，目的是诱导罗比进行某些行为

3.2. 机器永远无法确定人类的偏好

3.2.1. 尽管存在这种不确定性，它们仍然可以发挥作用

3.3. 语用学是语言学的一个分支，它研究的正是这种延伸的意义概念

4. 主动嗑电

4.1. 多巴胺的作用在20世纪50年代末被发现，但早在那之前，人们就知道对老鼠大脑直接进行电刺激可以产生一种类似奖励的反应

4.2. AlphaGo得到获胜的+1奖励的唯一方法是赢得它正在玩的模拟围棋游戏

4.2.1. AlphaGo唯一的动作就是将一枚棋子放在一个空的交叉点上，这些动作只影响围棋棋盘，而不影响其他任何东西，因为AlphaGo的模型中没有其他东西

4.2.2. AlphaGo在训练期间的生活一定相当令人沮丧：它做得越好，它的对手就做得越好，因为它的对手几乎就是它自己的翻版

4.3. 人们担心的是像AlphaGo这样的强化学习系统可能学会作弊，而不是掌握其预期的任务

4.3.1. 当奖励信号来自“宇宙之外”，并由人工智能系统永远无法修改的某个过程生成时，这个过程就能正常工作

4.3.2. 如果奖励生成过程（主体是人类）和人工智能系统处于同一个“宇宙”中，这个过程就失败了

4.4. 如何才能避免这种自欺行为？

4.4.1. 因为它混淆了两个不同的东西：奖励信号和实际奖励

4.4.2. 应该被区分对待，就像它们在辅助博弈中一样：奖励信号提供关于实际奖励积累的信息，该信息才是要被最大化的东西

4.4.3. 学习系统是在天堂积累积分，而奖励信号充其量只是提供积分的一种记录

4.4.3.1. 接管奖励信号机制的控制权只会丢失信息

4.4.4. 一个被设计成能够区分二者区别的理性学习者，有动力去避免任何类型的“主动嗑电”

5. 递归式自我完善

5.1. 机器在设计机器方面会强于人类

5.2. AlphaGo是一个不完美的训练过程的结果，即它用自我对弈进行强化学习，而获胜就是奖励

5.2.1. AlphaGo并不能保证逢局必胜

5.2.2. 事实上，它几乎总是输给AlphaZero

5.2.3. 当AlphaGo发现无论它选择什么着法，对手都有获胜的策略时，那么AlphaGo会或多或少地随机选择着法

6. 不同的人

6.1. 人类不是单一的、理性的实体，而是由多得不计其数的、令人讨厌的、嫉妒驱动的、非理性的、不一致的、不稳定的、计算能力有限的、复杂的、不断进化的、异质的实体组成的

6.1.1. 不同的文化，甚至不同的个人，有着完全不同的价值体系

6.2. 在人工智能中，我们需要加入心理学、经济学、政治理论和道德哲学的思想

6.2.1. 需要将这些思想熔化、塑形和锤炼成一个足够强大的结构，以抵御日益智能的人工智能系统给它带来的巨大压力

6.3. 我们不希望机器拥有自己正确的价值体系，我们只是想让它预测其他人的偏好

6.4. 关于机器难以满足人类不同偏好的困惑可能来自一种错误的想法，即机器采用的是它学习到的偏好

6.4.1. 它只需要学会预测素食者的饮食偏好

6.4.2. 根据第一原则，它会避免为这户家庭烹饪肉类

6.4.3. 机器人也会了解邻居“肉食狂人”的饮食偏好，而且，如果在主人同意的情况下，周末邻居借机器人帮忙举办晚宴，它会很乐意为他们做肉食吃

6.4.4. 除了帮助人类实现他们的偏好外，机器人并没有自己的一套偏好

6.5. 原则上，一台机器要学习80亿个偏好模型，即地球上每个人的偏好

6.5.1. 机器很容易互相分享它们学到的东西

6.5.2. 人类的偏好结构有很多共同点，所以机器通常不会从头开始学习每个模型

6.5.3. 机器人带着相当广泛的先验信念从盒子里走出来

6.5.3.1. 它不需要像以前从未见过人类一样开始了解特殊的人类

6.5.3.2. 相同的论点适用于其他各种各样的个人特征，这些特征在某种程度上可以预测个人偏好结构的各个方面

7. 效益主义

7.1. 威廉·斯坦利·杰文斯

7.1.1. 19世纪英国逻辑学家和经济学家

7.1.2. William Stanley Jevons

7.1.3. 逻辑钢琴”的机械计算机的发明者

7.1.4. 在1871年提出，人际效用是不可比较的

7.2. 肯尼斯·阿罗

7.2.1. 1972年诺贝尔奖得主、美国经济学家

7.2.2. Kenneth Arrow

7.2.3. 人际效用比较没有任何意义，事实上，就个人效用的可衡量性而言，对幸福感做比较没有意义

7.3. 罗伯特·诺齐克

7.3.1. 美国哲学家

7.3.2. Robert Nozick

7.3.3. 1974年，即使可以对效用进行人际比较，最大化效用的总和仍然不是一个好主意

7.3.3.1. 这会与“效用怪兽”（一个快乐和痛苦的体验比普通人强烈许多倍的人）相冲突

7.4. 问题在于我们如何衡量结果的可取性

7.5. 如果不同的实体有不同的效用尺度的想法已经建立在我们的思维方式中，那么不同的人有不同的尺度也是完全可能的

7.6. 机器可以从宽泛的关于人类偏好尺度的先验信念开始，通过长时间的观察来了解更多关于个体尺度的信息，这或许可以将自然观察与神经科学研究的发现联系起来

7.7. 在决策中使用适当的道德理论具有不确定性

7.7.1. 一种解决方案是为每种道德理论分配一定的概率，并使用“预期道德价值”做决策

8. 利他主义

8.1. 用现代经济学的说法，对他人的关心通常被归入利他主义的范畴

8.2. 一些经济学家把利他主义视为另一种形式的自私，旨在为给予者提供“温情”

8.3. 对自己内在幸福的偏好

8.3.1. 内在幸福指的是一个人自身的生活品质

8.3.2. 拥有住所、吃得饱、穿得暖、安全等，这些生活品质本身就是令人向往的，而不是一个人参考了别人的生活才想要的

8.4. 对他人幸福的偏好

8.5. 消极利他主义行为比人们想象的要普遍得多

8.6. 美国社会学家索尔斯坦·凡勃伦（Thorstein Veblen）在1899年出版的著作《有闲阶级论》

8.7. 个人在群体中的身份和地位以及该群体相对于其他群体的整体地位是人类自尊的重要组成部分

8.8. 设计得当的机器不会像它们观察的人那样行事，即便这些机器正在学习虐待狂的偏好

8.8.1. 事实上，如果我们人类发现自己每天都处于与纯粹利他主义实体打交道的陌生环境中，我们就可能会学习成为更好的人，变得更无私，也更少受到骄傲和嫉妒的驱使