大模型前沿论坛圆满举行｜2024 GDC

3月24日， 2024全球开发者先锋大会（2024 GDC）大模型前沿论坛（以下简称“前沿论坛”）圆满举行。

作为世界人工智能大会（WAIC）聚焦科技和人才力量的重要板块，GDC已成为顶尖技术风向标和开发者的科技交流盛典。本次GDC前沿论坛由全球开发者先锋大会组委会指导，上海人工智能实验室（上海AI实验室）及上海市人工智能行业协会共同主办。

顶尖学者及业界先锋会聚上海徐汇西岸，以“开发‘模’力前沿，共创智能生态”为主旨，探讨大模型技术提升路径与安全治理，畅想未来应用可能。

上海市经济和信息化委员会副主任张宏韬，上海市科学技术委员会副主任屈炜出席活动并致辞。

张宏韬表示，作为国内最早布局发展人工智能产业的城市之一，上海致力于为人工智能大模型发展提供良好的环境和丰富的资源。经过近五年的发展，较完善的人工智能产业生态已初步形成，规上企业数量、产值、人才规模实现了“三个倍增”。为加快建设更具国际影响力的人工智能高地，上海将全力夯实人工智能大模型产业发展基础，继续打造人工智能大模型开源开放环境，全力营造人工智能大模型产业发展最优环境。

上海市经济和信息化委员会副主任张宏韬

屈炜表示，上海正在加快建设国际创新中心，在推动人工智能大模型发展方面，上海市将重点作出以下布局：一是提升基础研究能力，积极布局前沿研究；二是建设高水平新型研发机构，推动关键核心技术研发；三是深化人工智能伦理风险和治理体系的研究。同时，上海还将为为大模型人才发展创机会、搭平台，在生活上为解决后顾之忧，诚挚欢迎海内外大模型优秀人才选择上海创新创业。

上海市科学技术委员会副主任屈炜

论坛现场，与会嘉宾围绕大模型的技术趋势、安全治理、创新应用等话题开展主题演讲及圆桌对话，与1000余名开发者一道，共探科技前沿和实践新知。首届“书生·浦源大模型挑战赛（春季赛）”获奖名单也于现场揭晓。经过一个多月的角逐，挑战赛从122个参赛团队中决出20支优胜队伍，诞生了众多应用创新成果。

【颁奖】以赛促创，见证开发者非凡创意

首届“书生·浦源大模型挑战赛（春季赛）”获奖团队及项目正式公布，夏季赛同步启动。西北工业大学iOPEN团队获一等奖，二等奖由蜜度科技团队，中国科学技术大学、上海交通大学、复旦大学、北京大学联合团队，解放日报社、华东师范大学、凡闻科技联合团队共同摘得。

来自上海计算机软件技术开发中心、东南大学等机构及个人开发者团队，分获行业应用和创新创意奖。

上海AI实验室主任助理、领军科学家乔宇，上海市人工智能行业协会秘书长钟俊浩为获奖队伍颁奖。

上海AI实验室主任助理、领军科学家乔宇为一等奖团队颁奖。“基于InternLM2大模型的离线具身智能导盲犬”成为本届挑战赛冠军项目，评审专家认为，该项目在创新大模型应用范式的同时，体现出强烈的AI向善社会效益。

上海市人工智能行业协会秘书长钟俊浩为二等奖团队颁奖

行业应用奖、创新创意奖获奖团队名单

2024浦源大模型系列挑战赛50强名单

今年1月，上海AI实验室发起首届“书生·浦源大模型挑战赛”，旨在促进AI生态发展，推动大模型在各行业的应用落地。开赛以来，受到学界和业界广泛关注，122支队伍运用书生·浦语2.0模型及全链条开源体系，进行了十余种垂类大模型的开发训练，涵盖20个领域和超30个应用场景。

【前瞻】不仅是技术水平提升，更能推动产业变革

进入2024年春天，热议了一整年的“大模型”话题仍在持续升温。一年来，AI领域见证了通用大模型井喷式爆发，AGI不断冲击对物理世界的理解上限，在未来，有哪些方向值得继续尝试探索？

上海AI实验室领军科学家林达华、复旦大学计算机科学技术学院教授邱锡鹏围绕“原创AI：大模型科研前瞻”话题，回溯一年来大模型领域的关键进展，并结合个人思考展望了未来的探索方向，两位学者均强调：应重视大模型对生产力变革中的作用。

林达华：对AGI的追求和对产业变革的憧憬驱动大模型技术演进

林达华带来题为《GPT-4周年回望，大模型的再思考》的主题演讲。回顾了自2022年末以来全球大模型发展的重大时刻：从ChatGPT诞生让全世界首次看到大模型的力量，到xAI发布参数量达314B的当前最大开源模型，技术探索的重点方向聚焦于上下文、推理能力和更高效的模型架构。同时，开源模型快速进步，开放生态已成气候。

“过去一年大模型技术的迅猛发展，有两个重要的驱动力量：一个是源于所有研究者和从业者对于AGI（通用人工智能）技术理想的追求；另一方面产业界看到了大模型带来产业革命的可能性，以巨大资源投入此赛道。”技术追求和应用潜力两种力量交织，造就了当前“波澜壮阔”的发展局面。

随着大模型技术的进一步发展，AI产业分工将会被重塑。“大模型研发需要投入巨量资源，但拥有基础模型的企业不会垄断一切，尤其不会吞噬所有垂直赛道。” 林达华认为，行业模型、模型插件等研发投入相对较小，但拥有相对大的应用空间，对专业数据和领域的理解，可以成为竞争壁垒。“更重要的是清楚理解自身资源禀赋和优势，选择合适的产业分工角色，形成差异化竞争路径。”

林达华还分享了对大模型未来技术趋势的前瞻：模型架构将从追求参数到追求更高效的规模；训练数据从追求数量到寻求规模化构建高质量数据；多模态融合将成为重要趋势；超长上下文解锁新的应用，“记忆”形态还将继续发展；智能体成为大模型应用的重要形态；计算环境云端协同将成为重要方向。

上海AI实验室领军科学家林达华

邱锡鹏：新一代大模型将支持各种模态，与更多实际场景结合

邱锡鹏认为，过去一年见证了以ChatGPT为代表的单模态大模型趋向成熟。双模态大模型开始蓬勃发展，通过结合文本和图像，或文本和语音，可以支持更丰富的交互与创作，“开创了繁荣的AIGC时代”。

当前，一体化多模态大模型初现端倪，可以支撑更复杂的多模态任务。而下一代多模态大模型应以语言为中心融合多种模态，任意模态组合输入输出，即“Any to Any”，并赋能应用场景和生产力变革。

当前多模态系统的开发方向是增强LLM的多模态感知能力，然而，该策略仅限于文本生成，不包含多模态输出。虽然以GPT-4为代表的开创性工作取得了多模态理解和生成的重大进展，但仅支持单一的非文本模态，如图像或音频。

为此，复旦大学邱锡鹏团队提出了多模态语言模型AnyGPT，可以任意的模态组合来理解和推理各种模态内容，并能熟练地选择合适的多模态组合进行响应。

“AnyGPT，即意味着对Any to Any的追求。邱锡鹏认为，新一代大模型的交互将是完全是多模态的，实现任意模态到任意模态的转化，大模型将与更多实际生活场景想结合，产生更多新“玩法”，未来的具身人工智能发展将重点追求多模态综合理解能力提升。

复旦大学计算机科学技术学院教授邱锡鹏

【同框】“主创”聚首，共智技术路径提升

本次论坛将“百模大战”搬到了活动现场。阿里通义、腾讯混元、MiniMax ABAB、商汤商量、书生·浦语五个大模型的技术负责人首度“同框”，同台畅谈共同关心的话题——大模型的技术演进路在何方？下一步如何更大限度地发挥“模”力？复旦大学教授黄萱菁担任对话环节主持嘉宾。

五家大模型技术负责人首度同框

“主创们”从大模型的数据、模型架构、效率、多模态、成本控制、场景适配等方面展开讨论，畅谈当前大模型的许多技术瓶颈和未来的演进方向。

阿里通义算法负责人周畅认为，合成数据会在未来大模型训练中扮演更加重要的角色，通过使用合成数据，有望使语言模型和多模态模型仅靠“自己”便获得能力提升。升级数据处理能力将是提升模型研发水平的重要方向之一。

腾讯混元大模型算法负责人康战辉则从模型语义架构上分享了对技术路线的理解：Mixture of Experts (MoE)架构特性非常优良，当前部分优秀模型的良好性能表现，证明了该架构的可靠性和高效率。未来，参数量较小的“小”模型可能在应用端会表现出更好的效率和“性价比”，全模态输入输出的大模型将是下一阶段研究目标。

谈及未来大模型该如何赋能应用，稀宇科技技术副总裁安德森认为，从规模化发展和各行各业的实践都表明，大模型在编程、办公、医疗、金融及互动娱乐等领域，都有助于提高工作效率。未来应重点考虑如何将大模型结合其他工具，同时用户的行为反馈将为创造更好的智能体提供重要依据。

商汤科技大装置执行总监成功认为，大语言模型能够基于知识完成基础的用户交互，通过推理能力对复杂任务进行分析，并且以代码作为媒介，与现有的软件系统联结，以完成最终的任务执行。在这种范式下，开发者使用代码这一天然语言，可以将大模型能力与应用开发更好地结合起来，推动技术在更多场景落地。

上海人工智能实验室青年科学家陈恺则以短期、长期两个视角区分大模型对应用的赋能。在短期内，大模型将以与现有业务系统的集成为主；从长期来看，传统的人机协作将以人为中心，随着大模型能力的提升，可能转向更加平衡的人机协作模式。

【碰撞】AI安全，是根基还是性能补充？

大模型技术进步带来机遇的同时，也伴随治理与安全等新挑战。如何既要安全合规，又可实现长远“超级对齐”，还能促进跨文化理解？在以“大模型治理：技术、生态与未来”为题的对话环节，上海AI实验室治理研究中心副主任、研究员王迎春召集科学家和法学家，共同探讨AI安全范式变革。

大模型治理圆桌对话环节

从安全的角度出发，如何看待模型研发与应用的不同环节？

复旦大学计算机科学技术学院教授张奇表示，在当前普遍使用的模型框架下，确保模型合理、负责任地输出是一个重要的挑战，普通开发者在大模型的安全治理方面参与度较低，部分原因是由于整个技术路线与通用大模型的开发路线基本一致，普通开发者较难进行深度参与。

上海交通大学文科资深教授、人工智能治理与法律研究中心主任季卫东从法学角度分析了当前的大模型安全问题：模型幻觉造成的“一本正经胡说八道”，甚至利用大模型伪造信息，将会对社会秩序造成威胁。季卫东建议，应把公共安全的意识嵌入到技术研发过程中，作为人工智能治理的重要内容。

安全是根基之一，还是性能基础上的补充？

“安全不是锦上添花。” 阿里云通义算法、产品安全负责人张荣表示。大模型虽然虚假信息标识等安全围栏，但是最核心的还是模型内生安全能力，许多模型性能强的模型安全性也更好。“安全和模型的能力有时候相互矛盾，更多时候是相互促进。在实践中模型越安全它越能够得到工程的信任，在更广的应用范围中，可以获得更多的安全提升机会。”

复旦大学研究员、博士生导师马兴军认为，造成模型安全问题的原因，一种是内生的，另外是则是滥用的问题。通过技术和法规政策，可以同时应对两方面原因，提升模型安全性。

【畅想】大模型应用的“GPT时刻”还有多远

作为全新的生产力工具，大模型为诸多领域带来颠覆性影响，在各自领域会有新的“ChatGPT时刻”出现吗？这个时刻什么时候会到来?

在科技媒体量子位主编方驭洋主持下，来自艺术、科学、AIGC、具身智能、芯片等细分领域的先锋们，分享了技术飞速进步下的应用探索，共同畅想大模型应用的“第1001种”可能。

畅想人工智能+对话环节，不同领域业界先锋同场对谈

与会嘉宾认为，大模型应用在“专业化”“个人辅助”“情感与社交”等方面的应用最值得期待。

“大模型能够在专业领域如芯片设计领域实现自动化，甚至从零开始设计芯片，这将极大地提高工作效率。”无问芯穹芯片负责人曾书霖认为，多模态技术的进步，AIGC将为电商、营销领域带来丰富的应用产品，这类生态的成长，为创业公司带了风口和机遇。

“希望大模型能自动处理各种多模态科学数据，结合人类已有的科学规律，助力基础科学研究。”上海人工智能实验室青年科学家白磊专注AI for Science研究，其团队推出的风乌气象大模型首次将AI全球有效气象预报时长提前至11天。

“期待大模型在知识检索及生活问题解答方面提供更全面的帮助，涵盖健康、育儿等各方面。”在感叹AI助手带来生活便利的同时，中电科21所高级专家刘一帆更感受到了通用大模型在应用端的变化趋势：“在具身智能领域，通用的机器人‘大脑’非常重要，大模型为机器人带来了新的可能，强大的理解能力能实现传统专业机器人目前不可‘想象’的任务。”

“更进一步的话，AI助手能具备与人互动和情感交流的能力，可以成为人类的伙伴或朋友，而非简单的工具。”新媒体艺术家、未来设计师飞苹果强调了在大模型应用过程中“培养”和“培训”的重要性。如何将技术能力和资源应用到特定的场景中，是目前面临的一项挑战。为此，应用场景在未来应被更好地“设计和完善”。

“期待看到更多的AI情绪和陪伴在C端领域的应用，特别是在社交场景中的结合。” 智象未来产品总监弓子健深耕AIGC，认为多模态技术的进步，为AIGC甚至电商、营销领域带来了丰富的应用产品，这类生态的成长，为开发者及创业者带来了新的风口和机遇。