一輛無人駕駛車正以時速 60 公里行駛在城市街道上。突然，前方車道有一個黑色的不明物體被風捲起，輕飄飄地在半空中翻滾。
&nbsp;
對人類駕駛而言，只需瞥一眼就能秒懂那不過是一個柔軟的黑色塑膠袋，無須閃避，穩穩駛過即可。但是對傳統的自動駕駛系統來說，這卻是一場致命考驗。因為車子的攝影機雖然看見了黑色物體，卻無法理解它的物理特性，很可能將其誤判為一顆黑色石塊，進而觸發自動緊急煞車，引發後方連環追撞。
&nbsp;
這，正是「看見」與「看懂」之間巨大的鴻溝。
&nbsp;
過去的無人載具，大多被嚴格局限在預先標註好的資料世界裡。只要環境符合訓練資料的範圍，系統就能順利運作；但一旦遇到資料庫之外的情境，例如突發障礙物、異常行為，甚至是從未見過的場景，系統往往就會陷入困境。然而，未來的無人載具不可能只行駛在「熟悉的世界」裡。它們必須走進更複雜、更開放的真實環境，甚至面對戰場、災後廢墟等充滿未知與變數的場景。在這樣的情境下，單純依賴大量標註資料已經不夠，系統需要的是理解能力，而不只是辨識能力。
&nbsp;
國立臺灣大學資訊工程學系徐宏民教授一語道破了這場技術變革的核心：「未來的無人載具需要的，不再只是解析度更高的攝影機，而是一顆具備人類常識的 AI 大腦。而視覺語言模型（vision-language models, VLM）的出現，正是讓無人載具的視覺能力從單純的偵測，正式跨向推理的關鍵轉捩點。」
&nbsp;
不再盲目急煞，VLM 賦予無人載具的三層次場景理解
為什麼 VLM 能讓 AI 擁有常識？
&nbsp;
徐宏民教授解釋，語言本身就是人類累積龐大世界知識的載體。VLM 的技術突破，在於它將視覺特徵與語言空間對齊。當模型看見畫面時，它不再只是死板地貼上「黑色、物體」的標籤，而是能透過語言模型的常識庫推理出：「這是一個隨風飄動的塑膠袋，對車體無害，不需閃避。」這賦予了 AI 極其重要的可解釋性，讓系統能說清楚「為什麼要這麼做」。
&nbsp;
至於這套常識推理在自駕車的大腦中究竟是如何具體運作的？國立臺北科技大學自動化科技研究所陳文輝教授進一步拆解了 VLM 在自動駕駛中的三層次場景理解：
&nbsp;
<ol>
<li>場景描述（看見什麼）：系統能精準說出畫面內容，例如「右前方有一輛閃著警示燈的工程車」。</li>
<li>場景分析（理解意義）：結合世界知識推理意涵，例如「施工車輛代表車道受阻」。</li>
<li>輔助決策（決定行動）：提出行動建議並附上理由：「因為前方存在風險，建議減速並準備變換車道。」</li>
</ol>
&nbsp;
陳文輝教授補充，VLM 最強大的地方在於它能接受自然語言指令：「你可以直接要求系統只鎖定人，或只分析前方的潛在危險。」透過這三個層次的遞進與語言互動，賦予了 AI 極其重要的可解釋性。這讓 AI 不再是盲目的機器，而是進化成為能說清楚為什麼要這麼做的決策者。
&nbsp;
<div class="py-6">
<div class="jsx-3968805167 flex justify-center -mx-2">
<div class="jsx-3968805167 px-2">
<div class="jsx-3968805167 relative overflow-hidden"><img decoding="async" class="jsx-3968805167" src="https://www.charmingscitech.nat.gov.tw/backend/wp-content/uploads/2026/03/4內文圖：460x460-1-1.jpg" />
<div class="jsx-3968805167 absolute w-full left-0 bottom-0 p-4 text-white text-[13px]" style="background: rgba(0, 0, 0, 0.66); display: block; line-height: normal;">結合 VLM 技術，無人載具不只能看清楚周遭環境，還擁有理解與解釋的能力。</div>
</div>
</div>
</div>
</div>
&nbsp;
打破模組化藩籬，讓 AI 學會直覺反射
然而，在分秒必爭的載具控制中，光是「能解釋」還不夠。陳文輝教授點出了傳統自駕系統的主要瓶頸：傳統系統多半採取模組化設計，從環境偵測、目標追蹤到行為預測，各自由不同模型負責、分工運作。
&nbsp;
「最麻煩的是，每個模組往往只優化自己的損失函數（loss function）。」所謂的損失函數，簡單來說就是 AI 訓練時用來衡量「犯錯程度」的扣分機制，分數越低，代表模型表現越好。但問題在於，當每個模組都只顧著降低自己的錯誤率、拚命在自己的單一任務上拿高分時，對整體的駕駛任務（安全把車開到目的地）卻未必是最合適的。一旦最前端的感知模組漏看了一個行人，這個小小的誤差就會向下游的預測與決策模組傳遞，並被無限放大，最終可能演變成無法挽回的風險。
&nbsp;
徐宏民教授用了一個非常生動的比喻來形容這個缺陷：「傳統系統就像在玩傳聲筒遊戲。每一關都在傳話，不僅會產生嚴重的延遲，資訊更會在傳遞過程中不斷漏失。」
&nbsp;
為了解決這個痛點，工程界催生了下一代 VLA（vision-language-action，視覺-語言-動作）模型。它打破了模組化的藩籬，採用端到端（end-to-end）的聯合優化架構。當 VLA 大腦理解了眼前的情境後，能跳過繁瑣的傳聲環節，直接輸出方向盤轉動或煞車加速的具體指令，讓感知與動作形成直覺反射。
&nbsp;
當感官失靈，AI 如何不亂下指令？
VLA 雖然更聰明，可以直覺反射，卻還是會受制於現實世界中的感官輸入。目前無人載具主要依賴三大感測器，卻各有物理限制：
&nbsp;
<ul>
<li>相機：解析度極高，最懂顏色與紋理，能看懂紅綠燈與標誌。但它就像人類的眼睛，極度害怕強光直射（眩光）與完全的黑暗。</li>
<li>光達：透過雷射掃描建立精準的三維幾何點雲（point cloud），可以生成空間中最原始的 XYZ 三個維度的數值。它在無光的環境也能精準測出障礙物距離，但遇到大雨或大雪時，雷射光束會被水滴嚴重散射，產生滿天飛舞的虛假障礙物。</li>
<li>毫米波雷達：擁有全天候的超強穿透力，大霧大雨也擋不住它，還能直接測量目標物體的相對速度。致命傷是解析度較低，只能知道前方有一團東西，卻無法分辨那是行人還是鐵罐。</li>
</ul>
&nbsp;
當無人載具駛入狂風暴雨或沙塵漫天的惡劣環境時，這三大感官往往會同時受到干擾。此時，AI 的判斷力將面臨最嚴苛的考驗。
&nbsp;
陳文輝教授點出了感知系統的殘酷現實：「垃圾進，垃圾出。如果輸入的感測資料本身就是殘缺的，系統的判斷能力必然受到限制。」
&nbsp;
當相機的對比度下降、光達的有效探測範圍縮短、雷達受到雪地雜訊干擾時，系統該如何自處？陳文輝教授強調，這時必須仰賴「感測器互補邏輯」。這三種感測器在理想的晴朗環境下，應該互相驗證彼此的數據；而在受限的極端環境下，則必須互相幫忙。
&nbsp;
為了解決這個問題，工程師開發了多感測器融合技術，例如鳥瞰圖（bird&#8217;s-eye-view, BEV）空間投影。
&nbsp;
「融合並不是簡單地把不同格式轉成同一種格式，而是透過 AI，將相機的外觀細節、光達的三維結構、雷達的速度資訊，直接在腦中揉合成一個能綜合判斷的立體感知。」陳文輝教授解釋。
&nbsp;
徐宏民教授則從另一個維度補充了這個概念的強大之處。他指出這牽涉到機器人的具身智慧（embodied intelligence），也就是讓 AI 大腦透過實體身軀，與真實世界產生互動，「這不只是看著一張圖，而是無人載具在移動的當下，能夠掌握周邊的 3D 環境，並且同步建圖。甚至，這個環境地圖可以由多臺無人載具共同建立。」
&nbsp;
舉例來說，當 AI 把所有感測數據統合成一個上帝視角的 BEV 地圖時，即使大霧遮蔽了鏡頭，系統仍能靠著雷達與光達的殘留資訊，推斷出整個場景的結構。
&nbsp;
不過，當惡劣環境把所有感測器都逼到極限時，VLM 大腦的決策仍面臨兩大隱憂：
&nbsp;
<ol>
<li>延遲壓力：載具在高速行駛，一秒鐘就能移動數十公尺。如果 AI 大腦為了解析模糊的畫面想太久，錯過了最佳煞車時機，完美的推理也毫無意義。</li>
<li>幻覺問題：這是大型語言模型的通病，當 VLM 遇到看不清的極端狀況時，它可能會產生幻覺，編造出一個其實並不存在的安全路況。這種自信的誤判，在自動駕駛中將帶來毀滅性的災難。</li>
</ol>
&nbsp;
面對這些挑戰，系統最終必須回歸一項核心原則：保守決策邏輯。「一個真正成熟的 AI 系統，不僅要知道自己看到什麼，更要清楚自己沒看到什麼。當系統察覺到感測數據失真、信心水準不足時，它必須誠實面對這種不確定性，果斷放棄激進的預測，轉而採取最保守的防禦性駕駛行為（例如減速、靠邊甚至停駛），這才是保障生命安全的最終底線。」
&nbsp;
<div class="py-6">
<div class="jsx-3968805167 flex justify-center -mx-2">
<div class="jsx-3968805167 px-2">
<div class="jsx-3968805167 relative overflow-hidden"><img decoding="async" class="jsx-3968805167" src="https://www.charmingscitech.nat.gov.tw/backend/wp-content/uploads/2026/03/shutterstock_2639389471-scaled.jpg" />
<div class="jsx-3968805167 absolute w-full left-0 bottom-0 p-4 text-white text-[13px]" style="background: rgba(0, 0, 0, 0.66); display: block; line-height: normal;">藉由多感測器融合技術，不同的感測器將能互補，提供無人載具做出最恰當的駕駛決策。</div>
</div>
</div>
</div>
</div>
&nbsp;
穿透迷霧的未來展望
從單純辨識物體，到具備常識的 VLM，再到能直接反應的 VLA，無人載具的感知技術正經歷一場從形體辨認到認知推理的進化。多感測器融合與保守決策邏輯的加入，更為這套系統繫上了安全帶。
&nbsp;
這場技術革命的深層意義，遠遠超越了單純讓人類在高速公路上放開雙手。當 AI 終於長出一雙能穿透迷霧、且具備人類級環境洞察力的超級慧眼時，我們才能真正放心地讓這些無人載具代替人類，深入地震倒塌的廢墟、高輻射的災區，或是深海與太空等充滿未知風險的極端領域，為探索與救援開啟全新的篇章。
&nbsp;
（客座總編輯｜逢甲大學自動控制工程學系林昱成教授；研究顧問團隊｜國立臺灣大學資訊網路與多媒體研究所徐宏民教授、國立臺北科技大學自動化科技研究所陳文輝教授；責任編輯｜王喆宣、洪孟樊）