快速掌握
本講核心:Physical AI 是讓 AI 系統在物理世界中「感知、推理、行動」。但真正難的不是做出一段漂亮 demo,而是知道它在什麼條件下能成功、什麼時候會失敗,以及失敗後如何評估與改進。
- Physical AI 延續機器人學的 sense–plan–act,但受 foundation model 與大量資料訓練推動。
- 看 Physical AI demo 時,要問成功條件、失敗條件、部署證據,而不是只看結果。
- 真實世界會帶來硬體磨損、環境變化、安全限制與動態互動,這些不一定是模型本身能解決的。
- 本課程用評估來引導設計:sense、plan、act,再到 imitation learning pipeline。
課程從哪裡來:從影像、電腦視覺到機器人
看老師講解(17:42)
這門課不是只介紹最新機器人新聞,而是從講者多年研究脈絡出發:先用影像理解世界,再到自動駕駛與機器人,最後回到「AI 如何在真實物理環境中可靠行動」這個問題。
AI 從數位工具走向物理世界
看老師講解(35:00)
Project Astra 之類的 agentic AI 已能使用搜尋、網站、PDF 等工具協助人類。但 Physical AI 進一步要求系統用感測器理解真實世界,並透過馬達、輪子、機械臂等致動器行動。這讓問題從「回答得好不好」變成「行動是否安全、穩定、可部署」。
Physical AI 的工作定義
看老師講解(26:30)
本課採用的定義是:運用 AI 技術,讓系統能在物理世界中感知、推理,並透過感測器觀察、透過致動器互動。這個定義故意不把 Physical AI 限定為人形機器人,因為真正關鍵是「感知—推理—行動」的閉環。
sense–plan–act:老問題的新版本
看老師講解(40:00)
Physical AI 不是憑空出現的新名詞。早在 Shakey 機器人時代,研究者就已經在做「感知環境、規劃路徑、控制機器人」的閉環。新的地方在於:今天的 AI 技術、資料規模與模型能力讓人重新想像這個閉環能做到多通用。
foundation model 路線:從生成式 AI 借來的想像
看老師講解(48:30)
生成式 AI 的成功讓機器人研究者開始問:能不能也收集大量機器人資料、訓練一個 foundation model,再微調到不同任務?但機器人不像網路文字有天然海量資料,真實世界資料昂貴、慢、危險,而且受到硬體限制。
看 demo 時要問的不是「酷不酷」
看老師講解(55:30)
講者反覆提醒:demo 影片很容易讓人高估系統能力。真正應該問的是:它能做什麼?在什麼條件下成功?條件改變時會怎樣?如果要部署到真實場域,需要哪些證據?這些問題比單次成功更重要。
真實部署:模型之外還有硬體、場域與維護
看老師講解(1:03:30)
Dyna 2 每小時摺毛巾的數量與品質都比 Dyna 1 大幅提升,但部署後仍遇到處理量下降。最後發現不是模型退化,而是夾具磨損。這件事說明 Physical AI 的失敗可能來自硬體、流程、場域條件,而不只是演算法。

課程地圖:用評估貫穿 sense、plan、act
看老師講解(1:18:30)
作業一對應 sense:影像與 3D 重建。作業二對應 plan:語意地圖與路徑規劃。作業三對應 act:控制機械手臂拿取與放置物件。期末專題則會實作 imitation learning pipeline,包含資料收集、資料驗證、policy 訓練與評估。

複習與理解檢核
先不回看內文,用自己的話回答。每題不求背出投影片原句,而要能說明「為什麼」並舉例;完成後再展開作答檢核。
一、核心概念
- 請用兩句話定義本課所說的 Physical AI。為什麼它不等同於「人形機器人」?
- 分別說明 sense、plan、act 在一個移動機器人中的功能,並解釋三者為什麼必須形成閉環。
- 早期 Shakey 已經使用 sense–plan–act;今天的 Physical AI 新在哪裡,又有哪些根本問題其實沒有改變?
- agentic AI 使用搜尋、網站或 PDF,和 Physical AI 操作感測器與致動器,風險上有什麼本質差異?
作答檢核
- 答案應包含:在物理世界中感知、推理/規劃、行動;判準是與物理世界形成互動閉環,而非外型。
- 應說出觀察環境、決定行動、驅動硬體,以及行動改變環境後必須再次觀察。
- 新的推力包括 foundation model、大量資料與更強算力;定位、規劃、控制、可靠度及真實世界變化仍是核心難題。
- Physical AI 的錯誤會直接改變物理世界,可能造成碰撞、損壞或人身風險,不能只用回答品質衡量。
二、看懂 demo 與部署
- 看到一段流暢的機器人 demo,你至少要追問哪五類資訊,才能避免高估它的能力?
- Dyna 摺毛巾案例中,處理量下降為什麼不能直接歸因於模型退化?這個案例教我們如何診斷系統?
- 「模型在 benchmark 上很準」為什麼不足以證明系統可部署?請列出三個 benchmark 之外的因素。
- 成功一次、平均成功率高、可以可靠部署,三者各自能證明什麼?彼此為什麼不能畫上等號?
作答檢核
- 至少涵蓋任務與成功標準、環境/物件條件、失敗案例、測試次數或成功率、人工介入、安全與部署證據。
- 實際原因是夾具磨損;診斷時要同時檢查模型、資料、感測器、致動器、耗材、流程與場域,而非只看 AI。
- 例如硬體磨損、環境變化、動態互動、安全限制、維護、延遲與異常復原。
- 一次成功只證明存在可行情況;平均值描述測試分布;部署還要交代運作邊界、長尾失敗、後果與復原能力。
三、情境應用
- 一台餐廳送餐機器人在實驗室成功率 98%,到了店內常常停住。請提出一個分層診斷順序,以及每層要蒐集的證據。
- 某公司只發布十次成功抓取的剪輯。你會如何設計一個更有說服力的評估,測出它真正的能力邊界?
- 把本課三份作業分別對應到 sense、plan、act,並說明期末 imitation learning pipeline 為什麼還需要資料驗證與評估。
- 請選一個日常 Physical AI 系統,列出它的感測器、推理/規劃、致動器、可能失敗,以及失敗後的安全處置。
作答檢核
- 合理答案應從現象紀錄開始,再檢查場域/流程、感測與硬體、資料分布、模型決策;每一層都提出可觀測紀錄或對照實驗。
- 應包含未剪輯重複試驗、物件與環境變化、失敗分類、人工介入、最壞情況及安全測試。
- 作業一是影像與 3D 重建,作業二是語意地圖與路徑規劃,作業三是機械臂控制;資料錯誤與評估盲點會直接污染 policy。
- 五個欄位都能具體填出,且安全處置不是單純「重新執行」,才算掌握閉環觀念。
四、最終口述挑戰
- 不用看筆記,以兩分鐘向沒有修課的人解釋:「Physical AI 真正困難的不是做出 demo,而是什麼?」回答中必須串起 sense–plan–act、真實世界變化、評估與部署。
通過標準
能形成完整因果鏈:系統透過閉環改變物理世界;環境、硬體與人持續變化;因此必須先定義條件與失敗,蒐集跨層證據,並讓評估結果回頭改善系統,而不只是展示一次成功。
內容整理自本專案影片與繁體中文字幕;投影片截圖取自同一課程影片,僅作學習輔助。