<p>聽覺和視覺都是人類認知世界的重要感官。不過你知道嗎？聽力如果有缺陷，也會連帶影響閱讀、口說等能力，不利學習與溝通。生成式 AI、大型語言模型等科技進展，持續改變每個人的生活；傳統的助聽器、電子耳以外，新科技又能如何幫助聽障者？</p>
<p>&nbsp;</p>
<h2><strong><span style="font-size: 20px;">聽覺障礙的問題，不只是聽不清楚</span></strong></h2>
<p>劉秀丹教授任職於國立臺灣師範大學特殊教育系，多年投入幫助聽障者的任務。她在國家科學及技術委員會的「以包容為導向之科技計畫」當中，主持「促進聽覺障礙者多面向溝通的新世代科技」的計畫，利用各種科技，從不同方向協助聽障者。</p>
<p>&nbsp;</p>
<p>在談怎麼做以前，必須先認識什麼是「聽覺障礙」。劉秀丹教授解釋，一般人想到聽覺障礙，第一印象都是聽不到聲音的聾朋友；可是多數聽損者並非聽不到聲音，而是聽不清楚聲音。</p>
<p>&nbsp;</p>
<p>然而，聽力損失真正的考驗，不只聽不清楚或聽不到，還反映在說話、溝通、學習、家庭、職場等生活場域。聽障者的認知能力、心理情緒、人際關係都會受到影響，可謂終其一生的境遇都無法脫離其陰影。比起腦傷、糖尿病，聽力損失甚至可以更準確預測老年失智。</p>
<p>&nbsp;</p>
<p>一個人有相當程度的聽損，便算是有聽覺障礙。日常交談的音量大概在 40 到 60 分貝。以教育學習的觀點來看，學齡前的幼兒如果無法聽清楚 21 分貝，相當於手錶滴答的音量， 幼兒就無法完整聆聽聲音，將影響對聲音的認識，後續還會影響說話的清晰度、閱讀理解能力、溝通與人際關係等面向。</p>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>解決閱讀、口說、人際溝通問題，才能改善聽障者的生活</strong></span></h2>
<p>目前協助聽覺障礙者的科技產品，以助聽器、電子耳、遠距麥克風系統為主。劉秀丹教授卻強調，光是使用這些科技產品，不足以解決聆聽的問題。</p>
<p>&nbsp;</p>
<p>科技輔具有其幫助，但是聽到的聲音，音質、音色和一般人仍不一樣，使用者可能還是聽不清楚、不舒服，甚至覺得很吵。還有如聽覺神經有問題的人，即使配戴電子耳，通常效果也很局限。</p>
<p>&nbsp;</p>
<p>劉秀丹教授解釋，因為近視或遠視而有視力問題的人，戴上眼鏡就能「看」的很清楚，或許會因此把助聽器想像成眼鏡。但是聽覺障礙的狀況並非如此，助聽器對聽力的幫助，不能和眼鏡對視力相提並論。</p>
<p>&nbsp;</p>
<p>聽力問題會導致全方面的負面影響，劉秀丹教授主導的計畫，便從全人溝通的角度，協助聽障者解決聽、說、讀、人際溝通的問題。不局限在聽力本身，而是解決聽力及其所引發的問題，才能真正協助聽障者。主計畫下包括四個子計畫：智慧眼鏡、構音轉換、易讀圖文，以及虛擬人。</p>
<p>&nbsp;</p>
<div class="py-6">
<div class="jsx-3968805167 flex justify-center -mx-2">
<div class="jsx-3968805167 px-2">
<div class="jsx-3968805167 relative overflow-hidden"><img decoding="async" class="jsx-3968805167" src="https://www.charmingscitech.nat.gov.tw/backend/wp-content/uploads/2024/12/4-1_791x460-1.jpg" /></p>
<div class="jsx-3968805167 absolute w-full left-0 bottom-0 p-4 text-white text-[13px]" style="background: rgba(0, 0, 0, 0.66); display: block; line-height: normal;">結合聽覺與視覺，協助聽障者溝通的「智慧眼鏡」。翻攝〈子計畫一：智慧眼鏡語音接收系統宣導片〉</div>
</div>
</div>
</div>
</div>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>戴上智慧眼鏡：化語音為文字</strong></span></h2>
<p>聽障者就算使用輔具，仍常常聽不清楚。由奇美醫院耳鼻喉部劉璟鋒醫師主持的子計畫「智慧眼鏡」，外觀和普通眼鏡無異，但優勢在於結合聽覺與視覺，不僅能在噪音環境改善聽力效果，更能將語音轉為文字，顯示於眼鏡前方的虛擬螢幕。透過視覺和聽覺兩種感官雙重幫助，這款智慧眼鏡能大幅提升聽障者的溝通能力。</p>
<p>&nbsp;</p>
<p>目前，此一方向已經取得初步成果。劉秀丹教授表示，過去聾人團體中的聾朋友需要使用手語溝通；到聾人團體實際分享時，當他們戴上「智慧眼鏡」，即使是一般人用口語和他們對話，他們也可以透過眼鏡顯示的文字，並用手語表示出來。</p>
<p>&nbsp;</p>
<p>以前聾朋友因為聽不到聲音，不知道別人說什麼，而現在有了「智慧眼鏡」顯示的文字，他們便能明白別人說話的內容。未來的挑戰則是希望能把手語轉換成文字或語音，讓不懂手語的人，也能了解聾朋友的表達內容。</p>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>構音轉換：讓旁人了解聽障者在說什麼</strong></span></h2>
<p>聽障者除了聽不清楚別人說話，其實也聽不清楚自己的聲音。這就容易連帶導致聽障者的話說不清楚，甚至讓別人也聽不懂內容。</p>
<p>&nbsp;</p>
<p>由逢甲大學自動控制工程學系的秦群立副教授所主持的子計畫「構音轉換」，主要作用是接收與轉換聽障者自己說話的聲音，讓旁人更容易聽懂內容。而且轉換後的聲音，並非單純人工智慧生成的聲音，還會保留當事人的聲音特質，更貼近溝通對話時的臨場感。</p>
<p>&nbsp;</p>
<p>開發過程中面臨的困難是，由於每個人的語音特質都不一樣，每次收進不同聽障者的聲音來訓練模型，都會讓產出語音的清晰度下降。後來則是將模型區分為男性、女性，才讓模型穩定度明顯增加。</p>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>和虛擬人互動訓練：體驗對話的言外之意</strong></span></h2>
<p>「虛擬人」預設的改善方向，是聽障者的人際關係問題。不能清楚聽到聲音，就容易誤解別人的意思，有時候光是聽得到，也聽不懂說話者的言外之意。例如擋到別人的路，讓路後，對方說「謝謝」，也許是真誠的感謝，也可能是生氣的語氣；不少聽障者難以分辨背後的語意，可能誤解說話者的真實意思。</p>
<p>&nbsp;</p>
<p>「虛擬人」根據聽障者的生活情境，開發適合的腳本，並且設計溝通互動的問題、常見的對答情況，並據此回饋聽障者，改善溝通策略、提升心智能力與社會互動的技巧。與程式對練，也能減少與朋友、老師、家長練習時產生的尷尬與不耐。</p>
<p>&nbsp;</p>
<p>和過往事先設計好內容的網站或程式相比，利用生成式 AI 的「虛擬人」可以見招拆招，不會有超乎範圍便無法互動的限制，也能模擬更真實的對話環境。這套程式還更進一步，能夠設定人物角色、性格等，讓聽障者和虛擬人天馬行空地對話。</p>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>易讀圖文：AI 輔助讀懂文本</strong></span></h2>
<p>「易讀圖文」的方向是降低文字難度，協助聽障者閱讀。許多人難以想像，覺得聽障者是聽不清楚，不是看不到，怎麼會有閱讀問題？事實上，閱讀是從聆聽語言慢慢發展，聽、說、讀、寫，是一系列的發展過程。</p>
<p>&nbsp;</p>
<p>劉秀丹教授舉例，小朋友閱讀「火車快飛、火車快飛，穿過高山，越過小溪」，可能有好幾個字不認識；可是假如聽過兒歌，與文句順序對應，便不難猜出特定的字。</p>
<p>&nbsp;</p>
<p>研究指出，聽障者在閱讀上要耗費更多力氣學習，甚至無法突破難關，重度聽障者常常有看沒有懂，閱讀能力很難超越國小四年級。</p>
<p>&nbsp;</p>
<p>「易讀圖文」會將文字材料的難度降低到國小三年級，讓聽障者不僅能看到文字，還能理解文意。實際操作上，有多種表達方式可供選擇。例如一篇文意困難的長文，透過系統連結的生成式 AI，可以變成簡化的文本，也能轉化為對應文字內容的四格漫畫，以圖片呈現。</p>
<p>&nbsp;</p>
<div class="py-6">
<div class="jsx-3968805167 flex justify-center -mx-2">
<div class="jsx-3968805167 px-2">
<div class="jsx-3968805167 relative overflow-hidden"><img decoding="async" class="jsx-3968805167" src="https://www.charmingscitech.nat.gov.tw/backend/wp-content/uploads/2024/12/4-2_842x460-1.jpg" /></p>
<div class="jsx-3968805167 absolute w-full left-0 bottom-0 p-4 text-white text-[13px]" style="background: rgba(0, 0, 0, 0.66); display: block; line-height: normal;">「易讀圖文」可以降低文本難度，幫助聽障者理解意思。也可以選擇以四格漫畫呈現。翻攝〈子計畫三：易讀圖文APP宣導片〉</div>
</div>
</div>
</div>
</div>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>考慮聽障者特質，導入科技解決具體問題</strong></span></h2>
<p>導入新科技幫助聽障者，涉及跨領域的合作。劉俊榮副教授長期研究聽損者的功能性閱讀能力，是「易讀圖文」子計畫的主導者。他表示，科技專家理解當下科技的發展，但是科技產品通常以一般人的觀點出發，沒有考慮障礙者的特質。</p>
<p>&nbsp;</p>
<p>例如，一般人透過閱讀文字，通常就能夠理解文本的訊息。聽障者卻需要更多視覺訊息輔助，如閱讀報紙報導，假如文字旁也有大量圖片，便能提升聽障者的理解程度。另外由於重度聽障者的閱讀能力，不容易超過國小四年級的程度，因此轉化時不只是將長文摘要，還要降低難度，方便聽障者吸收。</p>
<p>&nbsp;</p>
<p>劉俊榮副教授的目標其實是改善「功能性閱讀」能力。他解釋，相對於文學作品的「學業性閱讀」，食譜、地圖、交通號誌、銀行表單等生活需求性質文字的閱讀，稱為功能性閱讀。兩者的學習方式與目的不同，經過訓練，即使聽障者的學業性閱讀依然停滯在國小四年級程度，仍然有機會培養足夠的功能性閱讀能力，理解生活中經常出現的文本。</p>
<p>&nbsp;</p>
<p>在人工智慧的大型語言模型輔助下，聽障者只要閱讀簡化後的文字訊息，或是觀看圖片、影片，便可以更有效掌握文本的意思，不用耗費許多精力去辨識大量文字。不過劉俊榮教授也提出進步方向，像是改善文本與圖片的對應程度，以及連續圖片之間的連貫性等不足之處。</p>
<p>&nbsp;</p>
<h2><span style="font-size: 20px;"><strong>利用新科技，打開聽障者的出路</strong></span></h2>
<p>劉秀丹教授表示開發新科技至今，成功案例不少，卻還有許多挑戰必須克服，也有失敗經驗。</p>
<p>&nbsp;</p>
<p>像是原本設想利用 360 度的虛擬實境眼鏡，讓聽障者進入元宇宙，效果卻不理想。此一方向目前以「虛擬人」為開發主力，只有一位虛擬人物與使用者互動。未來則有望在元宇宙的擬真情境中與虛擬人碰面，或者在真實世界與機器人互動。</p>
<p>&nbsp;</p>
<p>劉秀丹教授總結，聽障者由於聽不清楚語音，因而直接衝擊說話、語言、溝通、人際互動等能力與表現。人工智慧及生成式 AI 的科技創新，可以根據對話情境，自然輸出語音和語言，對於聽障者的溝通與人際互動之教學、訓練，以及生活應用，創造新的出路。</p>
<p>&nbsp;</p>
<p>&nbsp;</p>
<p>（客座總編輯｜中央研究院社會學研究所 陳志柔所長；研究顧問團隊｜國立臺灣師範大學特殊教育學系（所） 劉秀丹教授、國立臺南大學特殊教育學系（所） 劉俊榮教授；責任編輯｜曹盛威、趙筱文）</p>
