爱游戏清华大学团队研发出新颖唇语解读系统—新闻—科学网
时间：2024-03-19 22:02:33 已阅读:77次
本报北京3月25日电（记者邓晖）人措辞时嘴唇动作跟语音同步，可以经由过程辨认唇动来举行言语交流。对于在声带、喉舌毁伤的掉声人群，唇语是一种不占用双手的、一样平常无障碍交流的有用体式格局。但唇语对于发言者敌对，对于解读唇语的听众来讲却其实不轻松。为降低唇语解读难度，现有技能手腕常接纳磁场����Ϸapp、视觉图象、超声波等要领。以最风行的非接触式视觉图象要领为例，只管其唇语辨认正确率较高，但依然轻易遭到脸部角度、光强、头动以及遮挡等要素的滋扰。出格是于新冠肺炎疫情时期，佩带口罩给基在视觉的唇动解读带来全新应战。经由过程间接捕获脸部肌肉细微动作解读唇语技能具备主要的科学研究价值与广漠的运用远景。
近日，清华年夜学机械项目系智能与生物机械团队与中科院北京纳米能源与体系研究所团队互助，研发出了一种新奇的唇语解读体系。相干研究结果于线揭晓于《天然 通信》期刊上。 该体系包罗低成本、自供电的柔性磨擦电传感器以及基在原型进修的深度进修模子。传感器将唇部肌肉运动孕育发生的电旌旗灯号传输到解码体系，翻译成可沟通的言语。该研究测试阐发了传感器的机械与电气机能，收罗并提取了选定元音、单词、短语、无声语音以及发声语音的唇动旌旗灯号特性。经由过程比力同步收罗的唇动以及声音旌旗灯号，证实了不管是否发声，嘴唇运动旌旗灯号都具备一致性。进一步阐发了语速与唇动模式等差别参数对于旌旗灯号特性的影响纪律。提出了一种基在原型进修的浮泛轮回神经收集模子，用在唇动旌旗灯号的辨认，于20个分类（100样本/类）环境下，测试正确率到达94.5%。 值患上留意的是，上述自供电传感器由柔性聚合物薄膜与柔性电极构成，可提高人体佩带的恬静性。研究团队哄骗该体系举行了多种场景运用展示，如解锁年夜门的身份辨认、挪动模子车的标的目的节制、唇动/语音的及时转换等，展示了该体系于唇动辨认范畴的可行性以及运用潜力。 面向掉声人群一样平常无障碍沟通需求，该事情为非凡场景下唇语翻译运用开拓了立异的研究标的目的。此外，该事情于呆板人节制、小我私家身份验证、人机界面、残疾辅助、无声语音、谍报、反恐使命实行、痊愈、生物医学项目以及虚拟实际等诸多范畴中都具备较年夜的潜于运用价值。 团队相干卖力人暗示，只管该事情已经展示了该技能的有用性以及运用远景，但仍旧面对体系靠得住性、不变性等问题。研究团队信赖，跟着研究的深切，该技能无望切实为掉声人群办事，提供无障碍言语交流的科技手腕。 出格声明：本文转载仅仅是出在流传信息的需要，其实不象征着代表本消息网不雅点或者证明其内容的真实性；如其他媒体、消息网或者小我私家从本消息网转载使用，须保留本消息网注明的 来历 ，并自大版权等法令义务；作者假如不但愿被转载或者者接洽转载稿费等事宜，请与咱们联系。/爱游戏