近日,深圳市人民醫(yī)院來了兩位特殊的“志愿者”,聽障患者只需面對“志愿者”完成手語表達,“志愿者”就能實時翻譯成文字,并反饋給醫(yī)院工作人員。在醫(yī)院工作人員用語音回復(fù)后,又能把語音實時翻譯成文字,反饋給聽障患者,實現(xiàn)雙向溝通。
10月25日,由騰訊優(yōu)圖實驗室研發(fā)部署,與深圳市信息無障礙協(xié)會、深圳市聾人協(xié)會、騰訊公益聯(lián)合發(fā)布的AI手語翻譯機在深圳市人民醫(yī)院率先試點落地,用兩臺普通的平板電腦,搭建起了聽障患者和醫(yī)護人員溝通的橋梁,希望在醫(yī)院這一場景中為聽障人士提供更好的服務(wù)。
今年5月16日,全球無障礙宣傳日之際,騰訊優(yōu)圖正式對外公布了在手語識別算法上的突破。經(jīng)過半年多的技術(shù)攻堅,結(jié)合對聽障患者真實需求的洞察,不斷完善醫(yī)院細分場景的手語語料,最終實現(xiàn)AI手語翻譯機在醫(yī)院的試點落地。
手語實時翻譯成文字,幫助聽障患者緩解就醫(yī)溝通障礙
在深圳市人民醫(yī)院的一樓門診臺附近,優(yōu)圖AI手語翻譯機引來了不少群眾圍觀體驗。
“人在生病的時候,心理比較脆弱。不清楚看病流程卻不知道怎么求助、無法準確向醫(yī)生描述癥狀等等綜合原因,導(dǎo)致許多聽障朋友生病了卻不想去醫(yī)院,就這么拖著。”騰訊優(yōu)圖手語識別負責人陽趙陽介紹道。過去的很長一段時間,他經(jīng)常出入特殊學(xué)校、機構(gòu),與聽障者、手語老師溝通交流,希望更深入的了解聽障者在醫(yī)院場景的需求、痛點。
有了騰訊優(yōu)圖的AI手語翻譯機,就能把聽障患者的手語翻譯成文字,并在工作人員語音回復(fù)后實時翻譯成文字,反饋給患者,在就醫(yī)的多個環(huán)節(jié)中輔助雙方完成溝通,為聽障患者解決許多以前看病過程中遇到的窘迫,緩解溝通障礙。
(優(yōu)圖AI手語翻譯機使用界面)
此前,為了提升手語翻譯機的使用體驗和識別效果,深圳市信息無障礙協(xié)會、深圳市聾人協(xié)會、騰訊公益邀請了多位聽障志愿者到醫(yī)院多次進行測試體驗,親自體驗了優(yōu)圖AI手語翻譯機使用全流程。
參與測試后,聽障志愿者梁先生表示,以前每次來醫(yī)院都很焦慮,擔心表達不清楚自己的需求,AI手語翻譯機能夠在一定程度上緩解自己看病時的溝通障礙。
在多次測試中,固定句式測試近1000次,涵蓋不同句子的多種表達,總體正確率達到80%以上。聽障志愿者們均表示,優(yōu)圖AI手語翻譯機識別準確率不錯,能夠幫助自己在醫(yī)院進行溝通。
(聽障志愿者在深圳市人民醫(yī)院進行測試體驗)
“以前遇到聽障患者來看病,我們往往會花很多時間在溝通上,經(jīng)常溝通半天卻弄錯了對方的意思,雙方都很著急。”小鐘是深圳市人民醫(yī)院的一名護士,在幫助一位聽障患者使用AI手語翻譯機進行掛號后,她表示,“手語翻譯機能提升我們和聽障患者的溝通效率,讓我們更好地為聽障患者服務(wù)。”
踐行科技向善,用科技助力社會無障礙建設(shè)
據(jù)北京聽力協(xié)會2017年預(yù)估數(shù)據(jù),我國聽力障礙人士已達7200萬,其中有2700萬聽障者需通過手語等方式進行溝通交流。盡管我國在信息無障礙建設(shè)上的投入逐漸增加,但聽障人群在許多場景下的溝通障礙仍然亟待解決。
優(yōu)圖AI手語翻譯機通過自研算法實現(xiàn)了對復(fù)雜手語表達的識別技術(shù)突破,該算法融合了先進的手勢識別、動作識別和序列翻譯等技術(shù),考慮了手語的地域性和多樣性表達,包含了不同的表達習(xí)慣和速度。AI手語翻譯機在深圳市人民醫(yī)院的試點落地,從醫(yī)院場景著手,幫助聽障人群緩解溝通障礙,讓他們看病更方便。
目前AI手語翻譯機仍會出現(xiàn)一些誤識別的情況,騰訊優(yōu)圖仍在聯(lián)合深圳市信息無障礙協(xié)會、深圳市聾人協(xié)會,持續(xù)對算法效果進行提升,力圖為聽障人群帶來更好的服務(wù),助力社會無障礙建設(shè)。“前沿技術(shù)的落地不是一件簡單的事情,但它是我們不斷在探求的方向”,陽趙陽表示,“這次的翻譯機落地是一次扎實的嘗試,需要提升的地方還有很多,我們希望陪伴它繼續(xù)進步,也希望翻譯機能夠為聽障患者帶來實際的便利。”
科技是手段,向善是選擇,科技發(fā)展助力社會信息無障礙建設(shè)。AI手語翻譯機是騰訊在計算機視覺人工智能領(lǐng)域的又一重大技術(shù)突破,也是騰訊踐行“科技向善”理念的又一體現(xiàn)。
實際上,這并不是騰訊在AI+無障礙建設(shè)上的首次嘗試,騰訊一直在堅持推動“一個都不能少”和“信息無障礙”理念的傳播與落地。從2009年起,騰訊在信息無障礙方面率展開探索,截至目前,旗下QQ、QQ空間、微信、騰訊網(wǎng)、騰訊新聞、應(yīng)用寶、企鵝FM等大部分產(chǎn)品已針對障礙用戶實現(xiàn)專門優(yōu)化。騰訊旗下各類產(chǎn)品從社交、娛樂、新聞等多維度出發(fā),共同努力,為障礙人士構(gòu)建友好的信息社會。2018年12月3日,獲得“聯(lián)合國教科文組織數(shù)字技術(shù)增強殘疾人權(quán)能獎”。