科技日报记者 朱虹 实习生 何雨竹
11月初，黑龙江大学本科生创业团队的参赛项目《传情达意——让机器手语翻译不再冰冷》凭借其独特创意和系列技术突破，在第十四届“挑战杯”秦创原中国大学生创业计划竞赛中荣获金奖。这个项目不仅让手语被听到，还研发了全国首个融合面部肌电信号的手语翻译技术，大大提高翻译准确率。
手语，也能被“听到”
团队通过调研发现，目前助聋设备普及率只有5%，且普遍价格高，适配场景少，准确率较低。为此，团队决定研发一款有温度的翻译助手。经过两年研发，他们的样品已经完善，并与徐州市特殊教育中心等机构签订购买意向书。
“我们的创新技术主要由臂环和AR眼镜两部分组成。”项目负责人、黑龙江大学电子工程学院朱铭熙说，臂环通过收集并识别聋哑人做手语时的肌电信号，将其转化为语音形式，实现了手语的“听觉化”。在这一过程中，电极贴片起到了关键作用。它们能够捕捉肢体动作的细微变化，并将其转化为特征向量，与预先建立的手语向量数据库进行比对，从而准确识别出手语的含义。
然而，仅有臂环的手语识别并不足以达到精准翻译的目标。朱铭熙表示：“手语中的面部表情所占的权重不低于40%，而人的情绪主要通过眉毛和面颊两侧的肌肉来体现。”
为了提升准确率，团队为机器翻译注入情感，他们巧妙地将电极贴片安装在AR眼镜的引擎上，研发了我国首个融合面部肌电信号的手语翻译技术，当佩戴者产生情绪时，这些微小的面部表情变化就能被准确捕捉并转化为特征向量，与数据库中的信息进行比对，从而实现更加精准的手语翻译。也正是基于此，与同类产品相比，团队产品实时性更强，准确度更高。
同时，团队还扩大了数据吞吐量，实现时延小于0.1秒，能实时完成13000余条手语数据的调用。
声音，也能被“看到”
考虑到很多听障人士存在识字困难的问题，朱铭熙团队还开发了一个能够显示在AR眼镜上的数字人。当识别到周围有人说话时，文字内容可以直接匹配到数字人的手语动作上。这样，佩戴者就能在AR眼镜上看到数字人打手语，无需识字就能理解对方的意思。
这一创新不仅为听障人士提供了极大便利，还为他们打开了一个全新的交流世界。它不仅可以用于个人社交活动，还能为聋哑学校提供基础的教学辅助装置。“通过给学生佩戴臂环来检测手语表达是否标准，我们的中控台可以实时显示结果，这不仅让手语教学更直观，也大大降低了教学成本和时间。”朱铭熙介绍。
目前，2000余位听障人士佩戴了团队研发的产品。在徐州市聋哑学校，17位儿童第一次对家人“说”出想说的话；郑州残障求职平台上，13位求职者第一次“挑选”工作。
河南郑州张哥助残服务平台创始人张继磊试用了产品后，给予高度评价，“他们的产品能够切实帮助聋哑人群，应用市场非常广阔，希望能继续完善，让更多有需要的人受益。”
目前，团队正在向数据库继续补充手语数据，扩大产品的应用场景。
