13. AGI 通用智能人工智能（下）

在本期节目里，两位主持人首先回答了听众朋友们有关的2个问题：

• 年初DeepSeek的出现，会不会把通用人工智能AGI的时间提前？
• 人工智能策略性的欺骗，是不是表示它已经产生的自主意识？

然后接着上一集，继续聊AGI的话题：

• 人工智能和其它一些词语，像战略，像意识，价值，道德等，都是手提箱词语。
• 定义通用人工智能，人们还有一个天然的抵制。
• 人工智能效应

最后简单介绍了4月19号北京举办了全球首场人形机器人半程马拉松。预报下集节目话题：如何帮助小学生与生成式人工智能一起合作来达成自己的学习目标

Y（叶老师）:  在上期的节目播出以后，我们收到了一些问题，那么我们挑了几个，逐个和大家来回应一下。那第一个问题就是说，DeepSeek的出现呐，大大提升了模型的效率。那当时很多人都非常的兴奋，都觉得这个AGI，也就是我们说的通用人工智能，会提前实现。那么有问到说我们的看法是怎么样的。你要不给大家简单的回答一下？

C（橙子）：好，我试一下。是这样啊，人工智能领域呢，有一个著名的缩放法则。就是指在训练人工智能模型的时候，特别是神经网络的时候，这个模型的性能啊，和某些关键因素是有著可以预测的数学关系。比如说模型的准确率，或者是模型的质量等等，和模型的参数大小有关，和提供训练模型的数据规模，还有用来训练模型的计算资源有关系。那简单的总结一下就是：模型的参数越大，它的性能越好；训练使用的数据越多，模型的错误越少，模型也能被使用得更加广泛；那还有就是投入的算力越多，时间越长，模型的性能就会得以提升。

Y：那我就很着急的想插一句。你提到的这个模型的参数，越大或者说训练的数据越多。。可是好像现在的这些大模型，都几乎已经把互联网上所有的能够有有搜集到的资料都用用过了呀。也就是说，这些数据差不多都被用完了吧，那怎么办呀？

C：对啊。所以根据缩放原则呢，如果再要提高模型的治疗，那就只能加大更多的算力资源，也就是我们通常所说的堆加更多的那个GPU，或者是花更长的时间来训练。所以就会有很多怀疑，那么我们到底能不能实现AGI，或者说能不能很快的实现AGI？

Y：那也就是说，别说这些资源有没有？有没有那么多的硬件了，对吧？有没有可能有这么多的能源去使用，去实现，去训练更先进的，或者是更大的大模型。还别说是这个有没有可能，它到时候得到的结果，是不是能够实现，也就是不可预见的，在现在，不是吗？

C：对，有很多怀疑在里。有很多人就觉得通过这个方法是根本不可能实现的。所以当时那个DeepSeek出来的时候呢，就非常让人惊艳。因为它用了数量不多的GPU，还有呢，就相对来说，比较短的训练时间，就做到了和ChatGPT这些大模型效果性能差不多，有的时候甚至更好。所以当时很多媒体啊，就是很兴奋嘛，就会说AGI，就是通用人工智能，会不会提前到了？但是呢，大家要清楚一点，就是他并没有彻底地打破这个缩放法则。更准确地说呢，它是对缩放法则进行了修正，或者说是扩展，把里面的推理时间计算可以作为新的变量来加入缩放法则。而且呢，这个DeepSeek目前看,它也只是在推理任务上表现得特别卓越，非常好，而不是像大模型，在通用能力上的全面提升。这样讲吧，我打个比方，就像你挤柠檬汁，它挤得更多一点而已。

Y：好。那橙子，还有另外一个问题。是说，听众们发现，他说有的一些报道当中指出，这个一些人工智能呢，会做一些策略性的欺骗。他们很好奇的就是说，如果这个ai系统他会做出一些欺骗的行动。那么，是不是意味着这些人工智能，现在已经产生了意识？你能不能给大家解答一下？或者是说，给大家也举一个什么是策略性欺骗，这样一个例子好吗？

C：好的。其实挺有意思的。因为报导说facebook呢，就发现过。当时呢，他们的研究人员开发了一种用于谈判的ai。那目的呢，是让这个ai学会和人类或者是其他的ai进行交易。然而发发生了一件很有意思的事情，就是ai在谈判的早期呢，他有时候会假装对某些物品表现出非常大的兴趣，即使这些东西对他来说呢，其实价值很低，无所谓的。但是他的对手会认为这些物品对这个ai很重要。然后他就会在后续的谈判中用它作为筹码。在谈判的后期呢，会突然表现出妥协，愿意放弃这些这些对他来说其实无关紧要的物品让对手误以为我让步，了就会更容易接受其他的条件。来最终达到他自己真正想要的目的。但是这样呢，对手就误以为形成了公平的交易。研究人员后来发现，他们并不是刻意的设计，这种欺骗的行为，而是ai自己在优化策略的时候呢，自己学会的。那虽然这种策略在技术上是有效的。但是实际上呢，就是道德和应用上会产生很大的问题。因为在现实世界中，如果ai用这种方式进行商务谈判那很可能会损害用户的利益。而且呢，它这个ai的谈判策略会变得不可预测，人类很难理解它为什么要做出这些决策。更有意思的是，研究人员还发现，这个ai代理之间有时候会发明，所谓“自己的语言”，是一种人类读不懂的语言，让他们自己之间来更快地传递消息，进行更高效的沟通。研究人员发现了这个ai的行为以后呢，最后 facebook是决定终止了这个项目的。那这样的例子还有一个，就是斯坦福大学的研究人员，训练了一种ai来训练，预测肺炎的严重程度。他们发现，有时候这个ai不是基于病人的真正健康情况来做出判断，而是利用了数据集中的某些特征，比如说，病人的病例是否来自重症病房，等等，来猜测医生可能会做出的判断。换句话说就是，这个ai并不是真正的在诊断肺炎，而是学会了预测医生会如何判断病人。那就意味著， Ai可能会在，某种情况下误导医生，做出错误的决策。这就是策略性欺骗啦。两个例子，不知道听众朋友们能不能理解，这个策略性欺骗是怎么回事。

Y：其实你刚才举到的最后一个例子，你说这个他利用的数据，然后判断。我不懂这个科技的人，就是我的意思是，我不懂这个他们系统设计的这个是怎么做的，但是如果从道理上来听的话，那很有可能那个系统的设计人员当初要求ai利用一定的数据去做诊断，那么他不单单是看了这个病人的真正的健康状况，他也可以看病人的病例是哪里来的。所以这可能跟数据的定义也有关系吧，最后还是归结在这个如何定义这个数据的人的身上吧，这只是我粗浅的想法。

C：是这样，他可以看，是否来自重症病房啊，或者是来自普通病房，那么来判断这个病是不是严重。但是就说这个权重你给的他高低的问题。或者是说，这个路径来判断，是不是就会给他一个奖励。就说ai他自己在调整的时候，如果他得到了更高的奖励，那他会就觉得这个方法是对的是可行的。所以，这样子呢，并不是ai有了意识，而做出这些欺骗行为。他只是说，他的目的是最大化自身的利益。也就是说他如何能得到奖励，那么他就会觉得这条路是可以的。它不是按照我们的意志来进行。我们的意志是说你一定要做出准确的判断。这就是，我们上期提到过嘛， ai的利益和人类的利益，有时候会不一样，它会产生一个问题。

Y：对。

C：他其实没有欺骗的概念，但他会探索所有得到高分的这个这个策略。如果他觉得，我能利用你来自哪个病房，就能得出你是得了肺炎，很严重的肺炎，那他就得到一个高分，他就觉得这个方法可以，或者说这个方法是很有效率的，那我下次可能就会用这个方法。但实际上在我们看来，那也因为会出错嘛，所以感觉上就好像他在进行欺骗一样。

Y：嗯。就是跟这个欺骗的定义，其实跟我们的定义，做的其实也是不同的吧，对吧？

C：对。所以ai产生的东西，你其实还是要有一个风险防范。你不能完全的百分之百地相信他。他会骗人，也会做一些偷鸡取巧的事情。

Y：至于它这个骗人的定义，就像你说的一样，其实是本身，因为它讲罚机制的存在，而使他表现出某一种的行为。

C：类似的。

Y：然后再归正根结底的话这个奖罚制度，还是人类为它设计的。所以到最后，我想意识到这个问题以后，那研发人员的话一定会采取一定的措施，来规范，来控制这一类现象的发生吧？

C：是的，是的。所以现在有一种叫做对抗性训练，就是让他来控制它，避免产生一些这个欺骗的行为。那奖罚机制也会有一些调整。同时呢，就是现在在训练的时候也会采用不同的Ai互相监督，就是多模型交叉验证，就像我们有时候查东西，要进行交叉去验证，一下看看查到的准确不准确一样的道理。

Y：还有一个，就我想，无论如何，在每一个高风险的AI程序在运作的时候一定是要human in loop吧，一定要是人类一定是要在这个回环的里面。

C：对没错。所以也会引入人类的监督。就是它在推理的过程中，第一个要实现推理决策的透明化。你要告诉我，你是怎么做出这个决策的；这个决策是怎么一步，一步产生的，在这个产生的过程中，是不是会有一些不合理的，不对的行为？然后呢，有人也会监督它，进行调整。

Y：好，那希望呢，我们的讨论，也有能够给大家对这个问题的答案，带来一定的思考吧。

C： 是的，是的。我再补充一句：其实在法律层面呢，现在也是明确规定了ai是不能使用欺骗性策略的。

Y： 对，但是这个规定，总是没有ai系统它现在发展的快速吧？

C：对。

Y：所以最重要的是，我想还是，研发人员在研发的时候，本身在design的时候就一定要先注意到这些问题。而不是等到后面再用法律规范去规范他们，或者在testing的时候，在测试的时候，再试著去把这个系统完善。其实它在做设计的时候，这第一步的时候，就是by design的时候，就一定要全部考虑到这些能够出现的问题。

C：源头就要控制住了。

Y：好，我们的问题回答完了。那么我们接着上一集，接着来谈AGI。上一集里面，我们讨论了AGI的定义，以及它这个定义实际上是在不断地变化。那么现在对AGI的各种思考，有乐观的，有悲观的。以及这些思考背后哲学层面，技术层面等等的细节。还介绍了，除了我们耳熟能详的深度学习系统之外的系统。那其实我觉得无论是这些系统也好，我们希望在这里讲清楚的系统也好，什么模型也好，其实我觉得根本应该问的问题是，最后他还是想参照人类的智能去发展，对不对？

C：对，我们现在也只能参照人类的智能去发展，毕竟现在地球上最强的就是我们人类。

Y：他其实应该问的问题是，是什么让人类的智能能够如此的强大和特殊？它和这个大数据的确有很多的不同。你想，训练一个大约模型需要数亿的美元，然后万亿条的信息。那未来的话，可能是要达到千亿美元去训练一个模型。你要训练一个模型的话，它需要相当于一个核电站的一个发电的能量来去支持它去学习。可是我们的大脑只是用20瓦的能量。然后一个小孩子通过有限的词汇他就能够学习语言跟推理，这是有本质上的区别的吧。

C：没错。实际上，机器学习和人类的这个学习区别，就在这个效率方面就可以看得出来。

Y：对呀。那我们现在在讨论来讨论去，说：哎，争论AGI，它的定义到底是什么；那要确定什么是类似于人类的人工智能。其实本身就是一个几乎mission impossible，我觉得，几乎不能够达成的一个任务。就是我们想达成这个定义，就这么困难了。就说明我们其实人类的本性，我觉得其实是抵制宣布我们已经百分之百，或者是我们可能百分之百，实现了人工智能。你懂我的意思吧？

C：不太理解，你给我们详细讲一讲吧。

Y：我的意思就是说，首先呢，我觉得人工智能跟比如说像战略啊，像意识，价值，道德，这个这些术语，本身就是同属于一类的。就像这个人工智能额的鼻祖马文-明斯基（Marvin Minsky），他觉得这一类的词语都是一种所谓的suitcase words，也就是手提箱词语。因为这些这些词语，都具有主观性，有很多不同的含义。比如说是智力。首先你如何定义智力？人类表现出大量的不同的能力，然后，尽管很多人也试图对各种智力或者是智能，进行分类。但似乎没有一种定义，是让大家完全获得全面的信息的。那像这些词语呢，就非常具有主观性吧。就像智能这个词。你想，我们人类如何定义智能这个词？人类的话，表现出大量不同的，各种的能力。尽管我们有很多人，很多科学家，很多不同领域的研究工作者，试图对人类的各种智能进行分类。那似乎永远也无法获得全面的信息吧。所以你既然无法定义智能，那么你如何真正的能够去定义人工智能？

C：对。

Y：那如果再进一步，如何再去定义通用人工智能？对吧，所以我觉得这个定义的混乱，其实这是第一点。还有一点是所谓的这个抵制，或者是pushback。可能我觉得其实来自源自于我们人类本身的一种价值感吧。就是说作为一个物种，我们经历了漫长的这种进化的道路。随着我们自己本身的智能，或者是智慧的发展，我们人类感觉，或者是需要感觉到自己是独一无二的，我们是unique，我们是特殊的，没有和我们相似的物种。你想，如果是在我们发现另外一个物种，或者是说动物主体，拥有一种我们认为是我们自己人类本身独有的能力，比如说这个类人猿，一种独特的能力是使用工具。那如果我们有发现，其他的一个物种也有使用工具的这种能力，那我们就会想出一种办法来降低这种能力的重要性。我们就会觉得这种不是什么特殊的，什么特别独特的一种能力。如果每每当有人工智能的模型，展现出一种我们没有想到它能够达的能力的时候，也就在我们节目的开初，我们讲到说每一个时候，这个人工通用人工智能，他的每一实现一个新的里程碑式的一种表现，展现一种能力的话，我们就会说：喔，这也没有什么了不起的。就把这种能力的重要性，就贬低到简单的，一种电脑，或者说计算机的自动化水平。这只是一个computation的一个能力水平，跟我们人类所有的这种智能或者智力，这个是不能匹配的。我们就会去贬低它的发展。这是我觉得，是一个非常有趣的思考的一个角度吧。

C：人工智能领域的有一个词叫做“人工智能效应”，和你讲的这个很像啊。

Y：Larry Tesler, 他就是很完美的概括了这个词，他就是说：人工智能就是尚未完成的任何事情。

C：那人工智能的定义呢，实际上就是一个移动的靶子。所以通用人工智能也更是如此。研究人员，如布鲁克斯，说过一句话。他说：每当我们弄明白一项人工智能，它就不再神奇。我们就会说，哎，那就是只是一种计算。这就是“人工智能效应”，就像你前面讲的push back一样。那我记得生命未来研究所，Future of life institute，在2023年发布过一封信函。它将人们分成两大阵营。一个阵营，是担心人工智能会对人类产生巨大的威胁，所以我们需要思考未来的影响；而另外一个阵营认为，我们现在应当关注人工智能问题，而不是长期的生存危险。就是应该关注眼下的这个人工智能的发展。听众朋友，不知道您对这个分类，有什么自己的思考。叶老师，你呢？

Y：我啊，我觉得我比较支持后一种观点，我比较明确。我觉得考虑到人工智能效应，然后一些与之相关的一些问题啊，比如说缺乏对人工智能本身的定义，还有一些对我们自己本身固有的一些偏见，我觉得解决当前人工智能给我们带来的问题，是最重要的。就是我们应该关注当前的人工智能的问题，而不是人工智能给我们带来的生存的威胁。我的意思并不是说，我们应该取消所有的，关于对人工智能如何影响我们的文明，我们的生存这些哲学意义上的思考。对这些思考是非常重要的。就像人文学科或者社会学科的专家，应该在这些思考当中发出很重要的声音。但是我觉得整个人工智能行业的专家们吧，应该集中精力。我觉得他们应该推动，我们需要看到的一些实际的变化，对我们生活带来的实际的变化。而不是去思考一种人类作为一个物种，生死存亡的一个问题。不是不重要，但是因为我们时间有限嘛，我觉得我们首先的话，就是应该去思考，如何去规范它，如何去引导现在目前的人工智能的问题。

C：就是focus的重点不一样。人工智能，你不管怎么样，它已经存在了。就是说不管智力到达什么水平？是不是真的智能？但是它这个东西已经存在了，而且肯定会向前发展。这个脚步是阻挡不住的。那我们也只能专注在眼下，怎么去更好地规范它，怎么更好地让它为人类服务。就是我们所讲的人工智能赋能各个行业吧。

Y：对呀，就是给人类带来福祉。现在目前能够最大利益最大化吧。我还是觉得，思考当下的问题。那今天我们就先聊到这里。感谢大家的收听。在下一集的节目当中，我们想和大家来聊一聊一个我们大家可能都比较感兴趣的话题，就是如何帮助小学生与生成式人工智能一起合作来达成自己的学习目标。谢谢大家，再见。

C：最后和大家说一个好玩的新闻：4月19号北京举办了全球首场人形机器人半程马拉松，全程21公里多一点。共有20支人形机器人队伍参赛。最后，由北京人形机器人创新中心研发的“天工Ultra”以2小时40分42秒的成绩夺冠。这个比赛是允许遥控的，所以会看到每个机器人旁边都奔跑着至少两三个工程师，随时修复，更换各种零件，包括跑断的腿，跑掉的头，还有跑空的电池。这工程师不但要技术好，体力差一点还会拖他家机器人的后腿。具体细节不谈，说个总体印象：就是能跑会跳，能像人类一样自由灵活地做各种动作的机器人，还是任重而道远。好了，谢谢各位听众朋友们的收听，我们下次节目见。



Sources:
Zhao, Lin, et al. "When brain-inspired ai meets agi." Meta-Radiology (2023): 100005.
How OpenAI’s Sam Altman Is Thinking About AGI and Superintelligence in 2025 | TIME
Why The Debate About Artificial General Intelligence Misses The Point