机器人导航能力不足？大模型多模态解决方案来了

2025-02-07 18:05:01来源：中国经济网

文章导读: 中国经济网北京1月20日讯（记者郭文培）“走到客厅，把餐桌上的苹果拿给我”——大模型机器人可以实现这一场景了！机器人导航技术可使机器人在环境中自主地落实位置、规划路径并移...

　　中国经济网北京1月20日讯（记者郭文培）“走到客厅，把餐桌上的苹果拿给我”——大模型机器人可以实现这一场景了！

　　机器人导航技术可使机器人在环境中自主地落实位置、规划路径并移动到目的地。然而，现有的机器人导航方法主要依靠纯视觉信息，如图像或视频来理解周围环境。在复杂多变的环境中，机器人导航能力往往不足。为了克服纯视觉导航存在的局限性，香港科技大学（广州）李昊昂教授团队研究视觉-语言导航技术。研究成果可拓展机器人的应用场景、提高机器人工作效率以及确保机器人工作的安全性。

　　据介绍，该技术可帮助机器人整合视觉信息及语言指令，从而实现高效的人机交互。例如，融易新媒体消息，在服务机器人的应用中，机器人可理解人类语言指令“走到客厅，把餐桌上的苹果拿给我”，并通过视觉数据识别“客厅”、“餐桌”、“苹果”等关键信息，进而据此完成任务。研究成果取得了行业领先的性能，可为机器人提供更加自然、智能、高效的导航与交互能力。

　　在信息保障方面，受制于有限的数据质量和训练场景，现有的视觉-语言大模型存在对照片拍摄视角敏感、难以理解模糊语言指令等问题。针对该问题，李昊昂教授团队提出面向视觉-语言导航应用的大模型调优策略。在机器人室内外导航数据上进行视觉数据抽取和语言指令标注，然后将模型在该数据上拟合。机器人可以根据提取的环境视觉特征和人类语言指令来决定其导航路径。

　　此外，在数据基础方面，现有的导航训练数据主要由人工在真实世界下获取，存在数据量不足、多样性低以及标注成本高等问题。李昊昂教授团队通过仿真数据合成的方式解决该问题。团队设计了新颖的生成式扩散模型，可合成大量、多样化、高质量的视觉数据和相关的语言描述。模型通过接收不同的环境控制条件，可以生成各种天气、光照条件下的场景。同时，模型可以在场景中添加或移除物体，从而有效增加训练数据的多样性。实验证明合成的数据可有效增强训练数据集，从而提高模型在处理复杂、未见场景时的鲁棒性。

免责声明: 融易新媒体转载此文目的在于传递更多信息，不代表本网的观点和立场。文章内容仅供参考，不构成投资建议。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。

上一篇：无针给药：安全、稳定、更高依从 返回首页 返回栏目

下一篇：美年健康：创新驱动，开启健康管理第二曲线新篇章

头条资讯

美年健康：创新驱动，开启健康管理第二曲线新篇章: 机器人导航能力不足？大模型多模态解决方案来了无针给药：安全、稳定、更高依从业绩承压圣湘生物溢价收购生长激素企业今年，这些政府部门的“上心事”解决群众就医的“心上事”

“电子处方”新规施行带给老百姓哪些变化？: 推动医药“走出去”我国面向东盟开拓医 158亿条追溯码信息带你了解药品耗材“前第一版丙类药品目录预计今年内发布今年我国将建立丙类药品目录支持商业保

今年我国将建立丙类药品目录支持商业保险报销: 流感药物有必要囤吗法国一名艾滋病病毒感染者实现“功能性治愈” 得过甲流还会二次感染吗？专家：短期一般不会广东生物医药产业向“高”向“新”发力

近期热点

热门文章

日榜周榜: 1 美年健康：创新驱动，开启健康管理第二曲线新篇章
近日，美年健康成都体重管理中心正式揭牌，其首款产品“美年·盈·健康”也同步上市，为肥...
2 机器人导航能力不足？大模型多模态解决方案来了
中国经济网北京1月20日讯（记者郭文培）“走到客厅，把餐桌上的苹果拿给我”——大模型机...
3 无针给药：安全、稳定、更高依从
中国经济网北京1月20日讯（记者郭文培）“无针给药，不仅明显减轻患者注射恐惧，还能显著...
4 业绩承压圣湘生物溢价收购生长激素企业
新年伊始，医药行业再现并购大动作。近日，国内分子诊断龙头圣湘生物宣布拟以8.08亿元收购...
5 今年，这些政府部门的“上心事”解决群众就医的“心上事”
新华社北京1月20日电（记者李恒董瑞丰）看病就医，是群众的“心上事”，也是政府部门的“...
6 “电子处方”新规施行带给老百姓哪些变化？
“电子处方”新规施行，核实患者信息真伪、处方流转不畅等问题待解网络购药挺便民，但开...
7 推动医药“走出去”我国面向东盟开拓医药集采“下一站”
当前，我国医疗保障事业已进入快速拓展、深化改革、持续创新的高质量发展新阶段，已开展...
8 158亿条追溯码信息带你了解药品耗材“前世今生”
截至1月15日，全国已累计采集药品耗材追溯码信息共158亿条，覆盖全国31个省（自治区、直辖市...
9 第一版丙类药品目录预计今年内发布
记者近日从国家医保局新闻发布会上获悉，第一版丙类药品目录预计今年内发布，将为商业健...
10 今年我国将建立丙类药品目录支持商业保险报销
本报讯（记者李丹青）1月17日，国家医保局召开“保障人民健康赋能经济发展”新闻发布会。...; 1 美年健康：创新驱动，开启健康管理第二曲线新篇章
近日，美年健康成都体重管理中心正式揭牌，其首款产品“美年·盈·健康”也同步上市，为肥...
2 机器人导航能力不足？大模型多模态解决方案来了
中国经济网北京1月20日讯（记者郭文培）“走到客厅，把餐桌上的苹果拿给我”——大模型机...
3 无针给药：安全、稳定、更高依从
中国经济网北京1月20日讯（记者郭文培）“无针给药，不仅明显减轻患者注射恐惧，还能显著...
4 业绩承压圣湘生物溢价收购生长激素企业
新年伊始，医药行业再现并购大动作。近日，国内分子诊断龙头圣湘生物宣布拟以8.08亿元收购...
5 今年，这些政府部门的“上心事”解决群众就医的“心上事”
新华社北京1月20日电（记者李恒董瑞丰）看病就医，是群众的“心上事”，也是政府部门的“...
6 “电子处方”新规施行带给老百姓哪些变化？
“电子处方”新规施行，核实患者信息真伪、处方流转不畅等问题待解网络购药挺便民，但开...
7 推动医药“走出去”我国面向东盟开拓医药集采“下一站”
当前，我国医疗保障事业已进入快速拓展、深化改革、持续创新的高质量发展新阶段，已开展...
8 158亿条追溯码信息带你了解药品耗材“前世今生”
截至1月15日，全国已累计采集药品耗材追溯码信息共158亿条，覆盖全国31个省（自治区、直辖市...
9 第一版丙类药品目录预计今年内发布
记者近日从国家医保局新闻发布会上获悉，第一版丙类药品目录预计今年内发布，将为商业健...
10 今年我国将建立丙类药品目录支持商业保险报销
本报讯（记者李丹青）1月17日，国家医保局召开“保障人民健康赋能经济发展”新闻发布会。...

热门资讯