当前位置: 首页 -> 综合新闻 -> 理工要闻 -> 正文
理工要闻
学校与市残联等四方共同签署“海河•尔语”聋人手语理解大模型合作协议
2023-09-13

9月10日,天津市人工智能计算中心200P上线仪式暨天津人工智能应用创新论坛成功举办。会上,威尼斯官网与天津市残联、市人工智能计算中心、华为公司四方签署协议,共同打造“海河•尔语”聋人手语理解大模型项目。党委常委、副校长陈胜勇出席仪式并代表学校签约,聋人工学院相关负责同志参加。



“海河•尔语”大模型为国内首个自主创新的聋人手语理解大模型,以聋人手语视图为蓝本,结合动作幅度、速度、人物表情及周围环境,深度、准确理解聋人手语表达的含义,并转换为健全人能理解的语音与文字,在国内独树一帜。超过百万的手语数据集将注入“海河•尔语”大模型,经过模型与算法处理,能高效生成手语多模态模型,可以支持超过10亿的数据标注手语到汉语的翻译与训练。合作各方将本着“需求牵引、技术推动、互惠互利、合作共赢”的原则,开展听障助残的信息无障碍合作,共同推动“海河•尔语”聋人手语理解大模型的孵化。



签约仪式前,聋人工学院副院长袁甜甜教授围绕项目背景、技术壁垒、成果优势及社会价值等方面作了专题报告。“尔语”一词出自唐代诗人杜牧的“愿尔闻我语,欢喜入心肠”。“海河•尔语”聋人手语理解大模型基于昇腾AI基础软硬件平台,采用全场景AI框架昇思MindSpore,致力于研发更精准的“手语——汉语”翻译产品,并将大模型研究成果应用于智慧教育、智慧医疗、智慧金融等多个领域,帮助听障人群更便捷、更准确地表达和传递信息,拓宽与外界的交流通道。


该项目研究涉及计算机科学、手语语言学、心理学等多学科交叉领域,目前已建成百万级规模的多模态手语数据集、可识别翻译国家通用手语和普通话的实时交互平台、手语教学系统等,在提高残健融合沟通效率、提升听障人群就业质量、推动国家无障碍建设发展等方面均产生积极影响。