科研动态

Dynamics

首页 >  科研动态 > 新闻  >  详情

上海AI实验室与上海交大联合团队获DSTC单项赛事冠军

        近日,第十一届国际对话系统技术挑战赛(Dialog System Technology Challenge,DSTC 11)主题研讨会在捷克布拉格召开,上海人工智能实验室(上海AI实验室)与上海交通大学联合团队凭借“基于多预训练语言模型的协同学习优化算法”(以下简称“优化算法”),获得知识增强任务型对话单项比赛(Task-oriented Conversational Modeling with Subjective Knowledge)冠军。

638333275077260000.png

       DSTC为全球对话技术领域的权威比赛,主要聚焦复杂对话理解与生成等领域的挑战,由微软和卡内基梅隆大学的科学家于2013年发起。本届比赛吸引了来自全球顶尖高校、企业及研发机构的80余支队伍。

       当前,大规模预训练模型在对话系统中得到广泛应用,如何更准确地根据实际应用场景对模型进行知识注入与优化,成为研究者们关注的焦点。

638333276237000000.png

知识强化的任务型对话框架图示

      今年DSTC11知识增强任务型对话单项比赛聚焦利用多维人类主观知识,对预训练模型的对话能力进行知识增强,涵盖三个核心子任务:

      子任务一:知识检测(Knowledge Detection)。检测用户的询问是否需要主观知识增强生成回复。

      子任务二:知识选择(Knowledge Selection)。根据用户的询问在知识库中检索多条相关内容。

      子任务三:回复生成(Response Generation)。根据检索到的相关内容对用户询问生成回复。

      由于人类主观知识本身的模糊性与高度相似性,使得模型在实时检索中容易产生偏差,生成的回复可能偏离用户实际需求。如何准确提取与用户询问紧密相关的多条主观知识成为该任务的关键挑战。

      由上海AI实验室青年科学家王钰领衔的联合团队提出了“基于大规模预训练模型的协同学习优化算法”,充分利用多个模型在知识建模上的差异性与多样性,通过多阶段自适应策略进行模型决策融合,显著减小模型的不确定性,从而有效提高模型在多个子任务上的性能。该协同学习优化算法为解决关键任务难题带来了突破性的进步,不仅提高了模型的精确度和稳定性,更为复杂的任务建模提供了一种高效且创新的策略。

638333277998640000.png

基于大规模预训练模型的协同学习优化算法图示

       评分结果显示,联合团队在与13个来自全球知名机构队伍的比拼中夺冠。该优化算法在49个系统中脱颖而出,在适当性评分(Approprateness)及整体评分均超出比赛官方提供的参考标注评分(Ground-truth),不仅在理论上实现突破,在对话系统技术领域同样具有较高的应用价值。

638333278912870000.png

比赛认证证书


638333281485190000.png

单项比赛结果(联合团队编号为6)

comm@pjlab.org.cn

上海市徐汇区云锦路701号西岸国际人工智能中心37-38层

沪ICP备2021009351号-1