2024年11月27日,北大-国地共建具身智能机器人创新中心情感智能应用联合实验室(以下简称“联合实验室”)首次学术委员会会议在北京成功召开。大会回顾了联合实验室已有的建设成果和科研项目,讨论具身智能与情感智能融合发展的方向及领域,为联合实验室今后的研究指明方向。
联合实验室由国地共建具身智能机器人创新中心(以下简称“创新中心”)与北京大学情感智能机器人实验室共同组建,旨在赋予具身智能机器人情感交互能力,进一步提高用户体验和人机交互效率。联合实验室学术委员会由北京大学计算机学院院长胡振江担任主任,创新中心、北京大学多位顶尖专家担任委员,为联合实验室提供研究方向指导、质量控制与人才培养支撑。
北京大学计算机学院院长胡振江在致辞中表示,具身智能与情感智能作为AI领域的前沿方向,正引领着机器人技术向智能化、个性化、情感化方向迈进,北京大学计算机学院与国地共建具身智能机器人创新中心强强联合,将充分发挥各方优势,携手创造出具有重大影响力的产品,共同推进国内具身智能产业的进步。
创新中心CTO唐剑在致辞中表示,人形机器人的发展主要集中在两个方向,一是运动性能,包括具身智能操作的灵活性和泛化性,创新中心“天工”机器人具备良好的运动能力与表现,在行业中处于领先地位,未来将面向行业陆续开源,加速技术推广与应用;二是情感智能,即机器人如何实现有温度的交互,创新中心与北京大学计算机学院的合作将共同赋予具身智能机器人更多情感交互的能力,有助于人形机器人走进千家万户。
会上颁发了联合实验室学术委员会成员证书,北京大学计算机学院院长胡振江任联合实验室学术委员会主任,北京大学计算机学院副院长崔斌、北京大学情感与认知智能机器人实验室主任王韬、国家地方共建具身智能机器人创新中心CTO唐剑、创新中心通用大模型负责人鞠笑竹、创新中心通用本体负责人刘益彰任联合实验室学术委员会委员。
会上还颁发了联合实验室主任、副主任证书,北京大学情感与认知智能机器人实验室主任王韬任联合实验室主任,国家地方共建具身智能机器人创新中心副总经理李春枝、创新中心通用大模型负责人鞠笑竹任联合实验室副主任。
会议现场,创新中心自主研发的“天工”、“天轶”还带来了精彩的演示,获得与会专家的认可。其中,“天工”完成了行走、打招呼、跳舞等上下肢协调动作,展示了强大的运动控制力。凭借创新中心自主研发的“基于状态记忆的预测型强化模仿学习方法”,当前“天工”不仅可完成走路、跑步等常规移动,还可在斜坡、楼梯、草地、碎石、沙地多种复杂地形中实现平稳移动。“天轶”则展示了基于对话人位置给出不同交互表现的具身情感大模型能力。
会议期间,多位专家学者汇报了联合实验室相关项目进展及成果,涵盖有感情的迎宾导览、情感智能计算系统虚拟化、具身导航大模型、人工智能与机器人在教育领域的实践、具身神经形态人工智能硬件、机器人园区网络通信等多个方向。
北京大学情感与认知智能机器人实验室主任王韬表示,联合实验室重点探索实践并展示情感智能技术在人形机器人方面的应用,目前“天轶”机器人已初步具备声源定位、熟人感知、情感交互等情感智能能力,其余相关课题均已启动推进,联合实验室下一步的工作重点包括建立情感交互数据采集环境和数据集、情感交互机器人评价指标体系等,促进情感智能与人形机器人融合发展,提高人机交互的质量和用户体验。
2024年11月11日,创新中心启动”天工开源“计划,已开放通用机器人母平台“天工”的软件开发文档、结构设计文档,今年底将开源天工结构图纸、软件架构、电气系统等内容,数据集、运动控制训练框架等方面也将陆续开放开源。王韬教授表示,联合实验室将积极参与“天工开源”计划,共享技术、数据集和标准等。
现场王韬教授汇报了“有感情的迎宾导览机器人”项目在自然生动、带有情感的人机交互,大模型支持下的意图识别,机器人迎宾导览应用算法及软件的优化等方面的进展;下一步推进天轶摄像头系统与计算系统的整合,建立机器人情感交互评测指标,探索实现机器人在与人交互时能够展现出更深层次的情感理解与响应,以增强交互的自然度和亲切感。
北京大学计算机学院长聘副教授罗国杰汇报了“情感智能计算系统虚拟化技术研究”项目的进展,展现了虚拟原型的构建以及虚拟资源的调度等内容;下一步推进混合的仿真器和实际系统上面部署具体调度算法等方面的研究,探索实现以高效方式在机器人本体上部署大模型。
北京大学计算机学院助理教授董豪汇报了“情感驱动的机器人二指通用抓取”项目进展,包括机器人二指能力的开发,引入机器人理解物体本身的功能,提升整个机器人系统操作的泛化能力;下一步重点研究条件生成模型,机器人可以自主提出并执行任务,重点提升机器人的抓取效能。
北京大学集成电路学院教授王源汇报了“具身神经形态人工智能硬件发展与应用”项目进展,通过多个小模型联合构建高等级的智能平台,构建低功耗场景以及更高效的多模态管控等,从而有效降低芯片的功耗。
北京大学计算机学院助理教授仉尚航汇报了“基于情感驱动的具身导航大模型”项目,包括端到端大模型如何实现快慢系统,基于多模态大模型设计具身的大脑大模型,端侧的小脑模型等方面的构建及部署等方面。
与会专家一致认为,情感交互是具身智能未来发展的重要方向,将对提升人机互动的自然性和亲密度有重大作用,是打造人机共融社会的关键。当前,行业在意图识别、多模态大模型、情感交互丰富性、情感交互标准等多个领域还有巨大的发展空间,联合实验室将在多方向发力,通过跨学科合作和技术创新,推动情感交互技术在这些领域的应用和产业化进程。
此次学术委员会的圆满召开,代表着国家地方共建具身智能机器人创新中心与北京大学在具身智能和情感智能领域合作的深化,双方共同瞄准国家战略需求,产业发展需要,发挥双方优势,定期举办学术委员会,开展研讨,加强关键科学问题和共性技术问题的提炼与攻关,加速推进具身智能与情感智能的技术融合,促进成果转化与产业化。