TAICA Physical AI 2026 秋季

真實世界改變了,
系統還能繼續運作嗎?

這門課從評估出發設計 Physical AI:先問系統能做什麼、什麼時候會失敗,再讓失敗告訴我們下一步該改進什麼。以下是每一講的重點整理,內容取自課堂錄影的字幕與繁體中文翻譯,並附上當時的投影片。

查看作業與期末專題整合

REVIEW CENTER

今天的複習

完成題目並自評後,網站會在適當日期安排再次回想。

今天到期

目前沒有到期題目。

需要加強

尚未標記需要重看的題目。

一

Physical AI 導論與課程地圖

定義 Physical AI、sense–plan–act、近期 demo 與真實世界部署挑戰。

sense–plan–act foundation model 看 demo 的方法 部署挑戰

尚未開始
二

近期進展、範圍反思與評估思維

generalist robot policy、robot foundation model、廣義 Physical AI 與從評估反推設計。

generalist robot policy robot foundation model purposeful robots 從評估反推設計

尚未開始
三

Physical AI 的資料飛輪

資料涵蓋度、資料品質、能力缺口,以及如何用評估推動持續資料收集與模型改善。

資料涵蓋度 能力缺口 資料飛輪 模擬與 world model

尚未開始
四

Physical AI 走向真實世界部署

Demo 不等於部署:從自駕車發展史看長尾風險、運行設計範圍(ODD)、失敗與安全迴圈,以及部署後的持續學習。

Waymo LiDAR ODD/TOD ISO 26262 SAE 分級

尚未開始
五

SLAM:同步定位與建圖

從 UMI 手持夾爪談起:用座標系與轉換矩陣表示運動、用針孔相機模型與深度還原 3D 幾何、把多幀點雲配準成持久地圖,以及漂移與迴路閉合。

SLAM 轉換矩陣 針孔相機模型 反投影與點雲 迴路閉合

尚未開始
六

深度估計:從 2D 影像推回 3D

補完 ICP 點雲配準後進入深度估計:單張影像為何推不出深度、structure from motion 用多張影像還原結構卻不知尺度、立體相機用基線與視差算出公制深度,以及深度估計該怎麼評估才對機器人有意義。

ICP structure from motion 尺度不定 立體視差 公制深度

尚未開始
七

學習深度,再到組態空間與取樣式規劃

補完學習式單目深度——監督來源的取捨、Mannequin Challenge、view synthesis 以光度一致性自監督;接著進入路徑規劃:路徑、軌跡與策略的差別,從佔用網格建出組態空間,比較網格搜尋(BFS、A*)與取樣式的 PRM,並說明幾何上無碰撞的路徑為何仍可能失敗。

學習式單目深度 view synthesis 組態空間 佔用網格 PRM/機率完備性

尚未開始
八

RRT、車輛運動學與感測器標定

把 RRT 講完(作業二要實作的演算法),再以智慧駕駛為例說明幾何上無碰撞的路徑為何不一定走得出來:完整與非完整約束、運動學自行車模型與最小轉彎半徑、從路徑到軌跡與軌跡最佳化;最後談 LiDAR–相機標定與誤差如何沿著 sense–plan–act 往後傳。

RRT/RRT* 非完整約束 運動學自行車模型 軌跡最佳化 LiDAR–相機外參標定

尚未開始
九

安全驗證:規格、ODD 與場景式測試

一個照規格做出來的系統不等於可以安全上路:用驗證、確認與 V 模型說明規格為何要先寫,比較 ISO 26262 與 SOTIF,介紹 ISO 34501–34505 的 ODD 與場景三層,並以講者實驗室的異質交通研究示範如何在模擬中找出通過、失敗與運行邊界。

驗證與確認/V 模型 SOTIF(ISO 21448) 運行設計域 ODD 功能/邏輯/具體場景 criticality(TTC、PET)

尚未開始
十一

機器人操作的起點:從 CoRL 看 robot learning

講者以剛參加的 CoRL 2026 與實驗室的舀食物研究(Obi、行為複製、主動感知、擴散策略與預判並反應)說明機器人操作為什麼難;提醒看 Astra、Fable 示範影片時要追問能力、泛化、可靠度與長期運行;最後回到 robot learning 是機器人學加學習的本質,並預告物體與抓取的表示。

robot learning/CoRL 行為複製與主動感知 擴散策略與預判並反應 能力、泛化、可靠度、長期運行 full-stack 與現場資料

尚未開始
CONNECT THE LECTURES

跨講整合關卡

不要只記住單一章節;用完整案例確認你能把概念串成一套系統。

CUMULATIVE CHALLENGE

Lecture 1–3|從需求到資料飛輪

把 Physical AI 定義、purposeful design、評估、coverage 與資料飛輪串成完整推理。

某團隊展示一台能整理桌面的機器人,但只提供五段成功影片。請設計一份評估計畫,說明如何界定任務、測試條件、失敗、人工介入與部署證據。

查看整合作答標準

答案應從 human need 和成功定義開始,列出物件/任務/環境/embodiment 的變化,採未剪輯重複測試,記錄失敗分類與人工介入,並區分一次 demo、平均表現與可部署證據。

選一個照護、醫療或校園中的真實痛點,從 human needs、workflow、pain point 一路推到 capabilities、intelligence + embodiment 與 deploy & evaluate。

查看整合作答標準

每一步都要有可驗證的假設;能力與硬體必須由工作流程中的痛點推出,最終指標要包含任務結果與人類結果,而不只模型準確率。

上述系統部署後在一種新條件下反覆失敗。請把失敗轉成 capability gap,再選擇資料來源並設計一輪 Experience → Data → Learning → Deployment 的飛輪。

查看整合作答標準

先以對照測試證明是系統性缺口,再指出缺的是哪個 coverage 維度;資料來源要以 fidelity、coverage、scale、cost 辯護,最後用獨立條件驗證缺口是否縮小。

用三分鐘回答:為什麼 Physical AI 的核心問題不是做出一次成功 demo,而是建立一個能從失敗持續學習的系統?

查看整合作答標準

回答應串起 sense–plan–act 的物理後果、human need、能力邊界、評估、coverage、capability gap 與資料飛輪,形成因果鏈而非名詞列表。

CUMULATIVE CHALLENGE

Lecture 4–6|從 3D 感知到安全部署

把 ODD、風險、SLAM、點雲配準與深度估計放進同一個可部署系統。

設計一台醫院配送機器人:寫出可驗證的 ODD,並選擇感測器、定位/建圖、規劃與安全備援。每個選擇都要連回 ODD。

查看整合作答標準

ODD 至少涵蓋空間、光線、地面、人流、任務與網路;感測與 SLAM 方法要能支撐這些條件,並說明超界偵測、停止、備援或交接。

深度相機在反光地面產生錯誤深度。請追蹤這個誤差如何依序影響點雲、ICP、姿態、地圖、路徑規劃,最後形成部署風險。

查看整合作答標準

應形成完整傳播鏈:錯點/缺點改變幾何與對應,導致轉換偏差與漂移,地圖中的障礙或自由空間錯誤再使規劃不安全;最後以 exposure、severity、controllability 評估。

比較 ICP、SfM 與 stereo 的已知量、未知量、尺度、必要假設與失敗條件,並為桌面操作和遠距導航各選一種組合。

查看整合作答標準

ICP 對齊已有 3D 點並需要初始值與靜態重疊;SfM 從多視角恢復結構但尺度不定;stereo 以已知基線得到公制深度但遠距誤差隨 Z² 放大。選擇要連到距離、紋理、動態性與任務精度。

系統在 ODD 內遇到一個低頻但高嚴重度的感知失敗。請同時設計即時安全處置與部署後學習流程。

查看整合作答標準

即時處置要估計不確定性並降級、停止、備援或交接;事後保存可診斷紀錄、重現條件、定位感知或系統缺口、取得針對性資料,再驗證改善且沒有破壞原能力。

CUMULATIVE CHALLENGE

Lecture 7–9|從規劃到可證明的安全

把組態空間與取樣式規劃、車輛運動學與軌跡、標定誤差,以及規格、ODD 與場景式驗證接成同一條推理。

某校園接駁車的 RRT 規劃器在佔用網格上找出一條無碰撞路徑,工程師把它直接交給車輛,結果在路口急轉時偏出車道。請依序從組態空間、非完整約束與最小轉彎半徑、含時間的軌跡,以及驗證與確認的角度,說明這條路徑為何「幾何上可行」卻「不能保證安全」,並提出補救。

查看整合作答標準

應區分幾何無碰撞與物理可行;指出非完整約束與最小轉彎半徑、轉向角上限、需要含時間的軌跡;說明規格與 ODD 應先寫下並用場景測試確認;補救至少包含平滑與重新規劃、軌跡最佳化與場景式驗證。

相機與 LiDAR 的外參標定在遠距離略有偏差。請追蹤這個誤差如何影響障礙物位置、佔用網格與規劃,並設計一個場景式測試(功能、邏輯、具體場景與通過/失敗判準)來暴露這個風險,同時指出這個測試仍涵蓋不到什麼。

查看整合作答標準

能從標定誤差走到投影錯位、障礙物誤判、規劃風險;場景設計要有三層與參數範圍,通過判準用碰撞、最小間距、停止餘裕或 TTC/PET;承認需要納入感知,會遇到維度爆炸與模擬落差。

取樣在這三講中出現了好幾次:PRM/RRT 的取樣、統計品質管制、場景參數的取樣。請比較三者各取樣什麼、希望保證什麼、有什麼偏差風險,並說明為什麼講者說取樣仍不夠。

查看整合作答標準

能說明 PRM/RRT 在組態空間取樣以找到可行路徑(機率完備性);統計品質管制抽樣估計品質;場景取樣用來找運行邊界;偏差風險包括漏掉狹窄通道、取樣偏差與模擬落差;高維度與重要案例仍需篩選。

用三分鐘回答:「一台自駕或機器人系統要被信任,除了規劃出無碰撞路徑,還需要什麼?」請串起可執行軌跡、感知與標定誤差、規格與 ODD、場景式驗證與其限制。

查看整合作答標準

形成因果鏈而非名詞列表:路徑→軌跡與運動限制→誤差傳遞→規格與預期用途→ODD 與場景→通過與失敗的證據→維度、模型與模擬的限制。

整理自 TAICA Physical AI(2026 秋季)課堂錄影,授課:Yi-Ting Chen(NYCU CS)。內文根據課堂字幕的繁體中文翻譯改寫,投影片畫面擷取自同一批錄影,僅用於課程內容的說明。課程影片:YouTube 播放清單