Physical AI 導論與課程地圖
定義 Physical AI、sense–plan–act、近期 demo 與真實世界部署挑戰。
sense–plan–act foundation model 看 demo 的方法 部署挑戰
TAICA Physical AI 2026 秋季
這門課從評估出發設計 Physical AI:先問系統能做什麼、什麼時候會失敗,再讓失敗告訴我們下一步該改進什麼。以下是每一講的重點整理,內容取自課堂錄影的字幕與繁體中文翻譯,並附上當時的投影片。
完成題目並自評後,網站會在適當日期安排再次回想。
目前沒有到期題目。
尚未標記需要重看的題目。
定義 Physical AI、sense–plan–act、近期 demo 與真實世界部署挑戰。
sense–plan–act foundation model 看 demo 的方法 部署挑戰
generalist robot policy、robot foundation model、廣義 Physical AI 與從評估反推設計。
generalist robot policy robot foundation model purposeful robots 從評估反推設計
Demo 不等於部署:從自駕車發展史看長尾風險、運行設計範圍(ODD)、失敗與安全迴圈,以及部署後的持續學習。
Waymo LiDAR ODD/TOD ISO 26262 SAE 分級
從 UMI 手持夾爪談起:用座標系與轉換矩陣表示運動、用針孔相機模型與深度還原 3D 幾何、把多幀點雲配準成持久地圖,以及漂移與迴路閉合。
SLAM 轉換矩陣 針孔相機模型 反投影與點雲 迴路閉合
補完 ICP 點雲配準後進入深度估計:單張影像為何推不出深度、structure from motion 用多張影像還原結構卻不知尺度、立體相機用基線與視差算出公制深度,以及深度估計該怎麼評估才對機器人有意義。
ICP structure from motion 尺度不定 立體視差 公制深度
補完學習式單目深度——監督來源的取捨、Mannequin Challenge、view synthesis 以光度一致性自監督;接著進入路徑規劃:路徑、軌跡與策略的差別,從佔用網格建出組態空間,比較網格搜尋(BFS、A*)與取樣式的 PRM,並說明幾何上無碰撞的路徑為何仍可能失敗。
學習式單目深度 view synthesis 組態空間 佔用網格 PRM/機率完備性
把 RRT 講完(作業二要實作的演算法),再以智慧駕駛為例說明幾何上無碰撞的路徑為何不一定走得出來:完整與非完整約束、運動學自行車模型與最小轉彎半徑、從路徑到軌跡與軌跡最佳化;最後談 LiDAR–相機標定與誤差如何沿著 sense–plan–act 往後傳。
RRT/RRT* 非完整約束 運動學自行車模型 軌跡最佳化 LiDAR–相機外參標定
一個照規格做出來的系統不等於可以安全上路:用驗證、確認與 V 模型說明規格為何要先寫,比較 ISO 26262 與 SOTIF,介紹 ISO 34501–34505 的 ODD 與場景三層,並以講者實驗室的異質交通研究示範如何在模擬中找出通過、失敗與運行邊界。
驗證與確認/V 模型 SOTIF(ISO 21448) 運行設計域 ODD 功能/邏輯/具體場景 criticality(TTC、PET)
講者以剛參加的 CoRL 2026 與實驗室的舀食物研究(Obi、行為複製、主動感知、擴散策略與預判並反應)說明機器人操作為什麼難;提醒看 Astra、Fable 示範影片時要追問能力、泛化、可靠度與長期運行;最後回到 robot learning 是機器人學加學習的本質,並預告物體與抓取的表示。
robot learning/CoRL 行為複製與主動感知 擴散策略與預判並反應 能力、泛化、可靠度、長期運行 full-stack 與現場資料
不要只記住單一章節;用完整案例確認你能把概念串成一套系統。
把 Physical AI 定義、purposeful design、評估、coverage 與資料飛輪串成完整推理。
答案應從 human need 和成功定義開始,列出物件/任務/環境/embodiment 的變化,採未剪輯重複測試,記錄失敗分類與人工介入,並區分一次 demo、平均表現與可部署證據。
每一步都要有可驗證的假設;能力與硬體必須由工作流程中的痛點推出,最終指標要包含任務結果與人類結果,而不只模型準確率。
先以對照測試證明是系統性缺口,再指出缺的是哪個 coverage 維度;資料來源要以 fidelity、coverage、scale、cost 辯護,最後用獨立條件驗證缺口是否縮小。
回答應串起 sense–plan–act 的物理後果、human need、能力邊界、評估、coverage、capability gap 與資料飛輪,形成因果鏈而非名詞列表。
把 ODD、風險、SLAM、點雲配準與深度估計放進同一個可部署系統。
ODD 至少涵蓋空間、光線、地面、人流、任務與網路;感測與 SLAM 方法要能支撐這些條件,並說明超界偵測、停止、備援或交接。
應形成完整傳播鏈:錯點/缺點改變幾何與對應,導致轉換偏差與漂移,地圖中的障礙或自由空間錯誤再使規劃不安全;最後以 exposure、severity、controllability 評估。
ICP 對齊已有 3D 點並需要初始值與靜態重疊;SfM 從多視角恢復結構但尺度不定;stereo 以已知基線得到公制深度但遠距誤差隨 Z² 放大。選擇要連到距離、紋理、動態性與任務精度。
即時處置要估計不確定性並降級、停止、備援或交接;事後保存可診斷紀錄、重現條件、定位感知或系統缺口、取得針對性資料,再驗證改善且沒有破壞原能力。
把組態空間與取樣式規劃、車輛運動學與軌跡、標定誤差,以及規格、ODD 與場景式驗證接成同一條推理。
應區分幾何無碰撞與物理可行;指出非完整約束與最小轉彎半徑、轉向角上限、需要含時間的軌跡;說明規格與 ODD 應先寫下並用場景測試確認;補救至少包含平滑與重新規劃、軌跡最佳化與場景式驗證。
能從標定誤差走到投影錯位、障礙物誤判、規劃風險;場景設計要有三層與參數範圍,通過判準用碰撞、最小間距、停止餘裕或 TTC/PET;承認需要納入感知,會遇到維度爆炸與模擬落差。
能說明 PRM/RRT 在組態空間取樣以找到可行路徑(機率完備性);統計品質管制抽樣估計品質;場景取樣用來找運行邊界;偏差風險包括漏掉狹窄通道、取樣偏差與模擬落差;高維度與重要案例仍需篩選。
形成因果鏈而非名詞列表:路徑→軌跡與運動限制→誤差傳遞→規格與預期用途→ODD 與場景→通過與失敗的證據→維度、模型與模擬的限制。
整理自 TAICA Physical AI(2026 秋季)課堂錄影,授課:Yi-Ting Chen(NYCU CS)。內文根據課堂字幕的繁體中文翻譯改寫,投影片畫面擷取自同一批錄影,僅用於課程內容的說明。課程影片:YouTube 播放清單