干货！来自北大、KAUST、斯坦福、达摩院的大模型前沿动态：表格推理、代码生成、MiniGPT-4、生成式推理

个人报告

惠彬原：分解，分解，推理！大模型是超越人类的表格推理者

大模型目前已经展现出了在部分能力上超越人类的表现。本次分享中惠彬原首先介绍了表格推理的背景和任务，其次从Program Synthesis和Table Pre-training两个方面阐述了表格推理相关的研究工作并分析了GPT-3发布之后对表格推理的研究产生的影响与变化，提出要解决的两个主要问题：大语言模型如何泛化到多行的巨大表格中以及产生包含与证据信息不一致的误导性思维链，然后重点分享了关键框架Dater的设计思路以及该篇工作的主要贡献，通过实验结果展示了Dater在性能上的显著提升：Dater在TabFact上首次超越人类，最后展望了未来有待进一步解决的研究问题和研究方向。

姜雪：基于自规划和自合作的大模型代码生成技术

编程是一种解决问题强有力的工具，而代码生成是一种能让机器自动编程以满足人类意图或需求的技术。姜雪首先为大家阐明了代码生成的具体含义以及目前的研究发展状况，其次分析了现有代码生成方法中存在的问题，即只能解决函数级代码生成、行级代码补全这种短需求的场景，在面对复杂问题分析以及软件系统设计时则不尽如人意，她进一步提出了研究目标：使大模型在应对用户更复杂的需求时能展现更好的代码生成能力。姜雪介绍了该篇工作的主要思路，即通过引入规划和合作的方法论使得大模型解决更复杂的需求并且进一步提升代码生成的质量，最后通过实验数据展示了所提方法的优越性能

朱德尧：MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

论文链接：MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models - AMiner
GPT-4展示了非凡的多模态能力，例如能够直接从手写文本生成网站和识别图像中的幽默元素等。朱德尧首先表达了该篇工作的研究动机，即期望找到GPT-4视觉语言能力的来源并提升Blip-2整个系统的表现力，然后介绍了MiniGPT-4的设计方案及实验过程，它仅使用一个投影层将冻结的视觉编码器与冻结的LLM Vicuna对齐，最后通过对demo结果的展示表现了MiniGPT-4的新型功能与强大能力，说明了使用对话模板微调模型对增强模型生成可靠性与整体可用性至关重要。

盛颖：单卡上的高吞吐量大语言模型生成式推理

传统意义上，大型语言模型(LLM)推理的高计算和内存要求使其仅在多个高端加速器的情况下才可行，本篇工作研究了使用有限资源的高吞吐量大语言模型生成推理。本次分享中，盛颖首先介绍了语言模型的相关背景及其所需的数据条件，其次表明了工作的研究动机，即希望AI能够被更加民主化地使用，每个人可以拥有自己的大模型，然后阐述了降低大语言模型运行的三种要求，包括：模型压缩、协作推理、存储卸载，最后通过具体分析实验结果，证明了所提方法使得大语言模型在单卡上进行生成式推理的优越性能。

Panel
大模型是否会颠覆传统的软件开发？

姜雪：从某种程度上来讲，大模型确实在改变着软件开发的方式，能够帮助开发人员快速地生成代码，减少人工出错的可能性，并且可以自动地生成文档和测试用例。但是，我认为现在大模型还是不能完全取代传统的软件开发，可能会引发一种新的分工，使得人类更专注于专业化和创业化的工作。因为软件开发需要设计架构、编程、测试维护等各个方面的专业知识。目前大模型在很多情况下是一个比较有利的辅助工具，它并不能解决所有的问题，还是需要人类来提供监督和指导。此外，很多应用程序是依赖于特定的技术和领域知识的，大模型适用性不足，在这种情况下需要专业的人员来完成。

朱德尧：大模型会取代底层重复的没有创造力的工作，但是对于顶层的架构设计，在短期内还是需要人类去完成的。对于底层来讲，大模型具有较大的潜力，在自动化、个人认证等方面展现出较好的逻辑推移能力，如果好好利用大模型将能够提升工作效率，避免重复劳动。

盛颖：传统的软件开发形式会因为大模型的出现有所改变，但是不会被完全取代。目前在软件开发中已有的技术可以自动补全代码，提升开发效率，但是最终的结果还是需要人类进行验证。对于大模型会不会导致开发人员的就业困难这个问题，简单重复的工作被加速之后，能够创造出更多的机会，让大家能够将精力集中在更加有意思的工作中。

申泽楷：大模型能否颠覆传统软件开发没有一个确定的答案。它可能会颠覆一部分，会取代一些基础的架构，同时会产生一些新的软件开发范式。在新时代下AI是无法取代人类的，关键在于人类如何利用大模型的优势克服局限，去提升软件的开发质量和效率。

Panel

我们离真正的AGI有多远？

朱德尧：在短期内可能会出现通用的在感知和决策方面都能做到很好的AGI。从技术层面来讲，随着GPT版本的更新，互联网中的数据库已被大量使用，那么在未来可能会因为高质量数据的缺少而出现一个瓶颈。但是在下一步AI的训练范式又有可能从监督与自监督学习转化为强化学习，由被动地接收转变为主动收集数据并从数据中学习。从这个角度来看，一旦AI能够做到主动地抽取数据，探索学习世界，那么在未来3-5年内建造一个非常通用的能够做出决策的AGI模型时很有可能的。

盛颖：我对AGI的未来偏向乐观，因为他确实已经展现出一些人类无法完全理解的能力。而真正的AGI能否实现取决于两个方面：一是人类能否接受AI拥有自我意识进行主动探索；二是人类有多大的动力耗费代价去实现真正的AGI。我相信这在最终是能够实现的，但是短期来看，它对社会的价值更多的体现在辅助性层面，随着时间的推移，会变得越来越重要甚至不可替代。

姜雪：我对此持中立的态度，既不悲观也不乐观。真正的AGI应该像人类一样去学习，去适应推理解决广泛的任务，而不是局限在某个特定任务上的表现。目前的AI系统在处理一些任务的时候仍然是需要人类的这个干预和指导的，是没有办法完全代替人类的。要实现真正的AGI还是面临着很多挑战的，比如说具备人类的适应能力、创造创新能力、对人类情感和道德的理解。所以要实现真正的AGI不仅要解决计算技术的问题，还会有哲学上的挑战以及很多跨学科、领域的合作，需要很长的时间去发展。

申泽楷：我们在离未来真正的AGI可能还有很长的路要走，或许需要几十年或者更久。短期之内AGI不断涌现，但是在最终还是取决于人类对智能的探索，需要不断地创新和持续的努力。

Panel

大家会更喜欢本地使用或个人专有的模型，还是云端服务的模型？

盛颖：在未来肯定还是会同时存在这两种模式的，但是我更希望在将来每个人都能拥有专有的assistant。当然这也与AI模型架构朝着哪个方向搭建有关，是更应该专注于云端的服务措施还是专注于大模型本身的特色。AI的生态是与物种多样性相类似的，做到普遍性与特殊性的统一才能推动整个AI系统向前发展。

姜雪：如果有计算资源的话，我个人倾向于本地模型，因为我可以做到自由访问，探索资源是如何工作的。但是云端的服务会受到网络或政策的限制，涉及到数据隐私和安全性的问题。现在的大模型只是作为基础设施提供云端服务，在未来我希望有个人的大模型与云端服务的大模型结合，实现超级大模型。

朱德尧：在不关注硬件条件的前提下，由于隐私安全的问题，我会更希望有自己的模型。小模型会因为参数量的受限而缺乏大模型的涌现能力，目前更实际的问题是大模型需要的计算资源太大，所以云端模型会稍占优势，在未来会更倾向于哪一方面主要有两个影响因素确定：一是大型语言模型的规则是否还起作用，二是硬件的发展速度。

申泽楷：大模型的选择不是一个“0-1”问题，一定是各有优点和特色的，在未来一定会有更加灵活或者混合的方案出现，从而呈现“百花齐放”的局面，能够让用户根据自己的需求和偏好选择模型的特性和服务方式。