发布时间 : 2021-10-16 阅读量 : 407
“人类与虚拟世界之间的连接与沟通，必然要通过人机交互技术来完成，其实我们所做的事情最终会在元宇宙中体现出来，也会成为元宇宙基础设施建设的重要一环。” 在cncc大会前ai科技评论的专访中，张晴晴说道。
第十八届中国计算机大会（ cncc 2021）将于10月28日-30日在深圳国际会展中心举行，cncc由中国计算机学会（cff）主办，国家超级计算深圳中心承办（深圳云计算中心），香港中文大学（深圳）协办，是中国计算领域首屈一指的年度盛会。
在111多场技术论坛中，ai科技评论注意到，magic data创始人兼ceo张晴晴联合产学各界大咖承办了一场【人机交互技术的机遇与挑战】分论坛。提到“人机交互”难免会让人想到最近风靡全球的一个新概念——元宇宙（metaverse）。
在1992年科幻小说《雪崩》中，元宇宙被描述为一个脱胎于现实世界，又平行于现实世界，且相互影响、始终在线的虚拟世界。“元宇宙并非遥不可及的人类幻象，随着人机交互技术的发展，也许未来人类能够在虚拟世界与真实世界之间自由穿梭”。张晴晴告诉ai科技评论，magic data之所以在cncc大会上承办此次论坛，元宇宙的爆火也是一个契机。
“无论是真实世界，还是虚拟世界，未来人机交互技术终究会覆盖到人类生活的所有场景中”。希望通过这场论坛让更多人了解人机交互技术的发展现状，也希望通过产学结合的交流平台，为人机交互的未来发展拓展出更多的思路。
ai科技评论了解到，本次论坛邀请中科院声学所研究员、博士生导师颜永红；magic data创始人兼ceo张晴晴；美的集团iot副总裁兼cto向江旭；阿里巴巴达摩院语音实验室田彪、香港中文大学（深圳）数据科学学院教授宋彦出席，四位产学专家将就人机交互、智能语音技术的应用、对话式ai技术、语料库建设、多模态语音交互技术、自然语言处理等重点议题作主题报告。
作为论坛主席，张晴晴也将带来一场题为《多语种对话式ai技术及语料库建设》的主旨演讲，和与会嘉宾分享对话式ai技术的机遇以及magic data语料库建设成果。
在论坛开始前，ai科技评论有幸采访了张晴晴，与她聊了聊语音交互技术当前的机遇与挑战。
语音交互技术视角下的对话式ai
在张晴晴看来，人机交互也好，虚拟世界也好，所有的 ai 要解决的终极问题是人的情感诉求。“人与机器之间的交互不应该只是一问一答的简单对话或者命令控制，而是要理解语言的上下文，识别人的情感需求并做出相应的反馈”。
对话式的交互场景在我们的日常生活中无处不在。就目前的落地场景来看，人机对话模式仍处在机械、呆板的初级阶段，例如，当我们感觉室内气温很高时，通常会命令智能设备“打开空调”，而不是说一声“好热呀”，自然而真实的情感表达可能无法被ai所理解，并做出调低温度等反馈动作。
“对话式ai的精髓是让人类能够随心所欲地表达”，张晴晴强调。在技术层面，对话式 ai 涉及语音识别、自然语言理解和语音合成等核心技术。想要通过这些技术实现人和机器之间更自然的对话，张晴晴谈了两点技术挑战：
一是个体语言体系的差异化，由于所处地域、文化、教育背景的不同，每个人的语言表达都是独特的，这种个性化在人与人之间的沟通中都难免出现理解偏差，更何况是一台机器。对于ai而言，中文不是一种语言，而是13亿种语言。
二是对话式口语常常会有语序颠倒、犹豫、迟疑产生的停顿，在复杂的多人交互场景中，也不可避免会出现语句打断、抢话、交叠音等问题，这些语音特征为 ai 建模带来了很大困难。
在张晴晴看来，真实的对话数据和多语种语料库建设是解决上述问题的关键。“当前行业提供的大部分人工智能数据都以朗读式训练数据为主，而人与人自然的对话式数据对训练对话式 ai 有更加关键的作用；我们需要为机器注入知识图谱、中文、方言、外语等多种语料，才能让机器像人一样理解自然语言”。
据悉，magic data已拥有超过20万小时数据产品，涵盖超过60种语言，既有英语、日语等常用语种，也提供马来语、泰语、印尼语等特色语种。张晴晴于2016年创办人工智能数据公司magic data，面向智慧金融，智能出行、智能家居、智能社交、智慧终端等领域提供数据服务，包括数据的定向采集、数据的处理、标签化，以及高效的数据处理工具等。在她看来，“人工智能三驾马车中，数据是算法的食粮，数据好比原油，只有经过清洗、分类、标注、质检和筛选等结构化过程，才能用于ai模型训练。”
在本次主题报告中，张晴晴将从对话式ai出发，探讨对话式口语交互为语音识别带来哪些挑战，如何通过双语声学建模、发音词典如何构建双语识别系统，解决非母语发音的插入语问题，以及介绍多语种语料库建设对ai识别率提升起到积极的作用。
值得关注的是，为了满足日益多样化的场景需要，多模态取代单一人机交互成了产学界普遍关注的新方向。所谓多模态是指融合视觉、听觉、触觉、嗅觉甚至味觉的交互方式，其表达效率和信息都优于单一的视觉或听觉模式。张晴晴表示，在自然语言、视觉和语音技术日渐成熟的今天，多模态的兴起是人工智能向前发展的必然趋势。
“人类对世界的认知也并不是单模态的。在ai真正落入产业的过程中，我们发现语音、图像、文本之间的相互融合是一个不能避免的问题。”在人机交互过程中，机器要想感知人的情感色彩，光靠声音是不够的。人的情绪既可能体现在声音中，也可能蕴含在面部表情或语言内容中，情绪感知是一个多模态综合评价的结果。
在本次论坛中，美的集团iot副总裁兼cto向江旭、阿里巴巴达摩院研究员田彪、香港中文大学（深圳）数据科学学院教授宋彦都将带来有关多模态人机交互的主旨演讲。