回到課程地圖 第 一 講

Physical AI 導論與課程地圖

這一講的任務不是背名詞,而是建立看 Physical AI 的框架:它是什麼、和過去機器人學有何關係、近期 demo 為何重要,以及為何真實世界部署不能只看模型能力。

課堂錄影約 110 分鐘

完整課堂錄影
LEARNING PLAN

完成本講後,你應該能

重點學習約 60–90 分鐘;若觀看完整影片約 110 分鐘
  1. 用 sense–plan–act 解釋 Physical AI 的互動閉環
  2. 分辨一次成功的 demo、benchmark 表現與可部署系統
  3. 從模型、資料、硬體與場域流程分層診斷失敗
  4. 說明評估如何貫穿感知、規劃與行動

建議先備:不需機器人背景、能區分軟體輸出與物理行動

核心詞彙:sense–plan–actfoundation model看 demo 的方法部署挑戰

尚未開始0 / 8 項核心檢核
從本講開始

答案與進度只儲存在這個瀏覽器,不會上傳;更換裝置或清除網站資料後無法同步。

快速掌握

本講核心:Physical AI 是讓 AI 系統在物理世界中「感知、推理、行動」。但真正難的不是做出一段漂亮 demo,而是知道它在什麼條件下能成功、什麼時候會失敗,以及失敗後如何評估與改進。

  1. Physical AI 延續機器人學的 sense–plan–act,但受 foundation model 與大量資料訓練推動。
  2. 看 Physical AI demo 時,要問成功條件、失敗條件、部署證據,而不是只看結果。
  3. 真實世界會帶來硬體磨損、環境變化、安全限制與動態互動,這些不一定是模型本身能解決的。
  4. 本課程用評估來引導設計:sense、plan、act,再到 imitation learning pipeline。

課程從哪裡來:從影像、電腦視覺到機器人

看老師講解(17:42)
Physical AI Lecture 1 開場投影片
開場投影片。講者把自己從影像處理、電腦視覺、自動駕駛到機器人的路徑,串成這門 Physical AI 課的背景。 YouTube · 17:42

這門課不是只介紹最新機器人新聞,而是從講者多年研究脈絡出發:先用影像理解世界,再到自動駕駛與機器人,最後回到「AI 如何在真實物理環境中可靠行動」這個問題。

AI 從數位工具走向物理世界

看老師講解(35:00)
AI 離開數位世界進入物理世界的問題
關鍵轉折:如果 AI 不只在螢幕與雲端裡回答問題,而是進入物理世界,會發生什麼事? YouTube · 35:00

Project Astra 之類的 agentic AI 已能使用搜尋、網站、PDF 等工具協助人類。但 Physical AI 進一步要求系統用感測器理解真實世界,並透過馬達、輪子、機械臂等致動器行動。這讓問題從「回答得好不好」變成「行動是否安全、穩定、可部署」。

Physical AI 的工作定義

看老師講解(26:30)
從 perception AI 到 physical AI 的發展圖
Physical AI 位於 AI 發展圖的右上角:系統不只生成內容,也能在物理世界採取行動。 YouTube · 26:30

本課採用的定義是:運用 AI 技術,讓系統能在物理世界中感知、推理,並透過感測器觀察、透過致動器互動。這個定義故意不把 Physical AI 限定為人形機器人,因為真正關鍵是「感知—推理—行動」的閉環。

學習重點:之後遇到任何案例,先判斷它是否有觀察、推理、行動,以及是否真的和物理世界互動。

sense–plan–act:老問題的新版本

看老師講解(40:00)
Shakey 機器人相關投影片
Shakey 機器人代表早期機器人學的 sense–plan–act 範式:先感知、建模與規劃,再控制身體行動。 YouTube · 40:00

Physical AI 不是憑空出現的新名詞。早在 Shakey 機器人時代,研究者就已經在做「感知環境、規劃路徑、控制機器人」的閉環。新的地方在於:今天的 AI 技術、資料規模與模型能力讓人重新想像這個閉環能做到多通用。

foundation model 路線:從生成式 AI 借來的想像

看老師講解(48:30)
Physical AI 近期進展問題
近期 Physical AI 進展背後的共同問題:大量資料與 foundation model 能否帶來更通用的機器人行為? YouTube · 48:30

生成式 AI 的成功讓機器人研究者開始問:能不能也收集大量機器人資料、訓練一個 foundation model,再微調到不同任務?但機器人不像網路文字有天然海量資料,真實世界資料昂貴、慢、危險,而且受到硬體限制。

看 demo 時要問的不是「酷不酷」

看老師講解(55:30)
機器人操作任務示範截圖
機器人 demo 可能看起來很流暢,但學習重點是拆解任務條件、成功標準與失敗模式。 YouTube · 55:30

講者反覆提醒:demo 影片很容易讓人高估系統能力。真正應該問的是:它能做什麼?在什麼條件下成功?條件改變時會怎樣?如果要部署到真實場域,需要哪些證據?這些問題比單次成功更重要。

真實部署:模型之外還有硬體、場域與維護

看老師講解(1:03:30)
Dyna 產品化案例
Dyna 摺毛巾案例顯示:即使模型能做任務,產品化仍需要處理現場監控、硬體退化與維護。 YouTube · 1:03:30

Dyna 2 每小時摺毛巾的數量與品質都比 Dyna 1 大幅提升,但部署後仍遇到處理量下降。最後發現不是模型退化,而是夾具磨損。這件事說明 Physical AI 的失敗可能來自硬體、流程、場域條件,而不只是演算法。

自駕車與真實世界挑戰
Physical AI 進入道路、人群與高風險場域後,會遇到遠比 benchmark 複雜的條件組合。 YouTube · 1:11:30
重點:部署不是「模型準確率夠高」就結束,而是需要長期評估、資料標註、異常診斷、維護與安全復原。

課程地圖:用評估貫穿 sense、plan、act

看老師講解(1:18:30)
HW2 語意地圖與路徑規劃投影片
作業會從感知、規劃到行動逐步建立 Physical AI pipeline。 YouTube · 1:18:30

作業一對應 sense:影像與 3D 重建。作業二對應 plan:語意地圖與路徑規劃。作業三對應 act:控制機械手臂拿取與放置物件。期末專題則會實作 imitation learning pipeline,包含資料收集、資料驗證、policy 訓練與評估。

Course Project pipeline
期末專題重點不是只訓練 policy,而是把資料驗證與評估結果用來改善系統。 YouTube · 1:22:30

複習與理解檢核

先不回看內文,用自己的話回答。每題不求背出投影片原句,而要能說明「為什麼」並舉例;完成後再展開作答檢核。

一、核心概念

  1. 請用兩句話定義本課所說的 Physical AI。為什麼它不等同於「人形機器人」?
  2. 分別說明 sense、plan、act 在一個移動機器人中的功能,並解釋三者為什麼必須形成閉環。
  3. 早期 Shakey 已經使用 sense–plan–act;今天的 Physical AI 新在哪裡,又有哪些根本問題其實沒有改變?
  4. agentic AI 使用搜尋、網站或 PDF,和 Physical AI 操作感測器與致動器,風險上有什麼本質差異?
作答檢核
  1. 答案應包含:在物理世界中感知、推理/規劃、行動;判準是與物理世界形成互動閉環,而非外型。
  2. 應說出觀察環境、決定行動、驅動硬體,以及行動改變環境後必須再次觀察。
  3. 新的推力包括 foundation model、大量資料與更強算力;定位、規劃、控制、可靠度及真實世界變化仍是核心難題。
  4. Physical AI 的錯誤會直接改變物理世界,可能造成碰撞、損壞或人身風險,不能只用回答品質衡量。

二、看懂 demo 與部署

  1. 看到一段流暢的機器人 demo,你至少要追問哪五類資訊,才能避免高估它的能力?
  2. Dyna 摺毛巾案例中,處理量下降為什麼不能直接歸因於模型退化?這個案例教我們如何診斷系統?
  3. 「模型在 benchmark 上很準」為什麼不足以證明系統可部署?請列出三個 benchmark 之外的因素。
  4. 成功一次、平均成功率高、可以可靠部署,三者各自能證明什麼?彼此為什麼不能畫上等號?
作答檢核
  1. 至少涵蓋任務與成功標準、環境/物件條件、失敗案例、測試次數或成功率、人工介入、安全與部署證據。
  2. 實際原因是夾具磨損;診斷時要同時檢查模型、資料、感測器、致動器、耗材、流程與場域,而非只看 AI。
  3. 例如硬體磨損、環境變化、動態互動、安全限制、維護、延遲與異常復原。
  4. 一次成功只證明存在可行情況;平均值描述測試分布;部署還要交代運作邊界、長尾失敗、後果與復原能力。

三、情境應用

  1. 一台餐廳送餐機器人在實驗室成功率 98%,到了店內常常停住。請提出一個分層診斷順序,以及每層要蒐集的證據。
  2. 某公司只發布十次成功抓取的剪輯。你會如何設計一個更有說服力的評估,測出它真正的能力邊界?
  3. 把本課三份作業分別對應到 sense、plan、act,並說明期末 imitation learning pipeline 為什麼還需要資料驗證與評估。
  4. 請選一個日常 Physical AI 系統,列出它的感測器、推理/規劃、致動器、可能失敗,以及失敗後的安全處置。
作答檢核
  1. 合理答案應從現象紀錄開始,再檢查場域/流程、感測與硬體、資料分布、模型決策;每一層都提出可觀測紀錄或對照實驗。
  2. 應包含未剪輯重複試驗、物件與環境變化、失敗分類、人工介入、最壞情況及安全測試。
  3. 作業一是影像與 3D 重建,作業二是語意地圖與路徑規劃,作業三是機械臂控制;資料錯誤與評估盲點會直接污染 policy。
  4. 五個欄位都能具體填出,且安全處置不是單純「重新執行」,才算掌握閉環觀念。

四、最終口述挑戰

  1. 不用看筆記,以兩分鐘向沒有修課的人解釋:「Physical AI 真正困難的不是做出 demo,而是什麼?」回答中必須串起 sense–plan–act、真實世界變化、評估與部署。
通過標準

能形成完整因果鏈:系統透過閉環改變物理世界;環境、硬體與人持續變化;因此必須先定義條件與失敗,蒐集跨層證據,並讓評估結果回頭改善系統,而不只是展示一次成功。

內容整理自本專案影片與繁體中文字幕;投影片截圖取自同一課程影片,僅作學習輔助。