学习软件正在改变世界，但需要监督。人类以两种方式监督他们。首先是显示描述机器学习算法手头任务的大数据，例如带有标签的猫和狗的图片，然后让算法区分两者。另一种监管类型是在高度结构化的环境中设置特定目标，例如在某个视频游戏中获得高分，然后让算法尝试多种可能性，直到找到可以实现目标的目标。这两个“监督学习”过程包括：这些方法在人工智能领域带来了突破。 2012年，加拿大多伦多大学的一组研究人员采用了第一种构建AlexNet的方法。该软件在比赛中识别的图像比其最接近的竞争对手多十分之一。 2015年，在美国Alphabet旗下的英国人工智能公司DeepMind上，研究人员采用了第二种方法，教一种算法玩电子游戏Atari，该游戏比人类更熟练，后来获得了长期的胜利。走。这些突破为当今AI的许多激动人心的发展奠定了基础。但是，监督学习也有缺点。手动指导涉及诸如标记数据或设计虚拟环境之类的手动任务，不仅成本高昂，而且在指导完成后不能用于其他学习。监督学习是不现实的。在现实世界中，我们通常不标记事物或提供清晰的信号来学习进度。 AlexNet和DeepMind的游戏情报软件都需要数百万至数十亿个示例或模拟，以及消耗大量电能的强大计算机。巴黎法国国家信息和自动化研究所（Inria）的研究员Pierre-Yves Oudeyer说：“如果您打算为每次新的培训任务这样做，那么您将需要数十座核电站来专门为您服务。 ”因此，如果要使AI真正起飞，还需要其他措施。 Oudeyer说，这促使研究人员开始探索人类了解世界的基本机制之一，即“好奇心”。 Oudeyer和其他人不再使用人类创建的功能来训练算法。相反，他们在过去20年中开发了人工智能代理，使用自己的内部奖励系统查看周围的世界并收集数据。这种工作开始取得成功。第一代好奇心AI使用“预测错误”激励代理商。该软件将探索其需要研究的物理或虚拟环境，以寻找与预期有很大不同的事物，换句话说，它正在寻找新颖的数据。此方法有效，但存在很大缺陷。例如，观察过往车辆的代理商可能会迷恋过往车辆的颜色序列，因为其对下一车辆颜色的预测几乎总是错误的。 。因此，如果一个好奇的机器人不学习如何走下楼梯，那么重复地下楼梯来刺激寻找信息就没有任何意义。解决此问题的方法是着重于代理预测误差的变化率，而不是误差本身。使用此方法可使机器人在初次观察日出和日落时会犯很多预测错误，但是随着对物理系统实际属性的了解加深，错误会逐渐减少。使用预测错误系统的变化率作为代理程序进入下一个任务的信号，等效于为其设置无聊阈值。如果要弄清楚过去车辆的颜色模式的机器人使用这样的系统，它将保持稳定的错误率并变得无聊。今年6月，Oderyer在实际研究中尝试了他的好奇心算法。他的研究小组在法国阿基坦大区的公立和私立学校对600名小学生进行了测试。他的想法是为每个孩子的数学学习过程建模，并提供因人而异的优化练习。该系统称为KidLearn，该系统将每个孩子视为自己的好奇代理，并调整学习内容以适合孩子的理解水平和学习进度。与其他人不同，KidLearn并不以从其他孩子那里收集的数据为指导，而是主要根据孩子的好奇心进行调整。 Oderyer的研究人员将很快宣布测试系统的性能。硅谷的研究人员也一直在研究好奇心。在最近的一篇论文中，来自加州大学伯克利分校的Deepak Pathak和非营利研究公司OpenAI表明，即使他们的经纪人在玩视频游戏时没有得到任何投入，但在被击败时他们也没有得到任何投入。