快速掌握
本講核心:主流研究正在追求通用機器人與 robot foundation model,但 Physical AI 的範圍更廣。真正好的系統設計要從「要改善什麼」與「如何評估」開始,而不是先迷信某個熱門技術。
- generalist robot policy:能跨任務、跨環境,甚至少量示範後適應新機器人的 policy。
- robot foundation model:以大量機器人資料訓練,從觀察產生動作,並可適應新領域與新 embodiment。
- Physical AI 不只通用機器人,也包含輔助照護、人機協作、多 agent、智慧城市等。
- 設計流程應從終點開始:先定義人類需求與評估指標,再選擇 intelligence、embodiment 與部署策略。
第一講複習:真實世界變化才是核心問題
看老師講解(21:30)
第一講提出的核心問題是:當真實世界發生變化時,如何打造仍能持續運作的 Physical AI 系統?第二講沿著這個問題,先看近期主流進展,再問這些進展是否足以面對真實部署。
為什麼機器人操作比看起來更難
看老師講解(31:00)
工業機器人能在固定場域中非常可靠,因為物件、位置、流程與環境都被工程化。但當任務變成抓不同形狀、重量、位置的物件,甚至要投擲到目標時,抓取點、釋放時機與動態控制都會隨條件改變。

generalist robot policy 與 robot foundation model
看老師講解(53:30)
foundation model 是在廣泛資料上以大規模自我監督方式訓練,之後可適應多種下游任務的模型。放到機器人裡,robot foundation model 的輸入是觀察,輸出是動作,目標是能適應不同任務、領域與機器人本體。
通用機器人的願景很強,但不是唯一方向
看老師講解(1:01:00)
Gemini Robotics、NVIDIA、Berkeley 等路線都受生成式 AI 啟發:收集更多資料、訓練更通用的模型、讓同一模型處理更多任務。這條路很重要,但講者提醒學生不要被主流聲量綁住:Physical AI 是否真的只等於通用機器人?
Physical AI 比通用機器人更廣
看老師講解(1:21:30)
回到定義:只要系統能運用 AI 在物理世界中感知、推理並行動,就可能是 Physical AI。這不要求它一定是人形機器人,也不要求它必須是通用模型。特定場域中真正改善人類生活的系統,同樣值得研究。
Purposeful robots:從「能力」轉向「目的」
看老師講解(1:36:00)
Henry 使用 Stretch 協助妻子把物品放回冰箱,技術上不是最炫的「通用智能」,但目的非常清楚:改善人的生活。這提醒我們,系統設計不應只從「能不能做更多任務」出發,也應從「誰的痛點被解決」出發。
真實部署落差:醫院機器人案例
看老師講解(1:51:00)
醫院人員每天要走很多路,配送機器人看似能減輕負擔。但真實現場裡,開門、避讓、流程整合、臨時狀況與人員信任都會變成問題。技術好不代表已經準備好部署;若未滿足真實需求,最後可能被放在角落。
從評估反推設計:先問終點,不要先選技術
看老師講解(2:06:00)
這是本講最重要的方法論。不要先決定要用某個模型、某個機械手臂或某個熱門架構。先理解人類需求與工作流程,找出痛點與瓶頸,定義系統需要具備的能力,再選擇合適的 intelligence 與 embodiment,最後在真實脈絡中部署與評估。

未解挑戰與韌性:前沿問題不會很快結束
看老師講解(2:36:00)
現有大公司與研究團隊還沒有把所有問題解完。真實世界有太多變因:環境條件、物件屬性、使用者行為、硬體狀態與安全限制。系統要能泛化、適應,並在無法適應時辨識失敗且安全復原。這些都是研究機會。
複習與理解檢核
先獨立回答,再展開檢核。這一講的重點不是記公司名稱,而是能分辨研究願景、真實需求與評估導向的設計。
一、核心概念
- 固定式工業 pick-and-place 為什麼能高度可靠?當物件、位置與任務不固定時,困難增加在哪裡?
- 什麼是 generalist robot policy?「跨任務」和「跨 embodiment」分別代表什麼?
- 用輸入、輸出、訓練資料與適應目標,說明 robot foundation model 的概念。
- 「控制任何機器人完成任何任務」應被視為研究願景還是已完成的產品能力?為什麼?
作答檢核
- 固定物件、位置、流程與環境可寫死並工程化;條件改變後,抓取點、控制、時機與接觸動態都要隨情境調整。
- 同一 policy 能處理多任務/環境,甚至適應新機器人;跨 embodiment 指身體、關節、感測器與動作空間不同。
- 輸入是觀察、輸出是動作,以廣泛機器人資料大規模訓練,期望適應新任務、領域與本體。
- 是願景;仍須交代資料涵蓋、任務邊界、硬體差異、失敗率與真實部署證據。
二、範圍與設計方法
- 為什麼 Physical AI 的範圍比「通用機器人」更廣?請舉兩個非人形、非通用機器人的例子。
- Purposeful robots 的觀點如何改變「最好的機器人」的定義?
- Hello Robot Stretch 的案例為什麼有價值,即使它做的動作並不炫目?
- 請按順序重建本講的設計流程:human needs、workflow、pain point、capabilities、intelligence + embodiment、deploy & evaluate,並說明為什麼不能倒過來先選模型。
- 評估為什麼不是開發完成後才做的「最後打分」?它在一開始應決定什麼?
作答檢核
- 判準是以 AI 在物理世界感知、推理、行動;例如醫療輔助、自駕車、智慧城市或多 agent 虛實系統。
- 價值由是否改善特定人的需求與工作流程決定,而非任務數量、外型或模型規模。
- 它協助使用者完成真正重要的日常工作,效果應以生活與照護負擔的改善評估。
- 順序應完整;先選技術容易把可做的功能誤當成該解的問題,導致能力與痛點不匹配。
- 評估先定義目標、成功條件與取捨,再反推需要的能力、資料、硬體與部署策略。
三、部署與情境判斷
- 醫院配送機器人即使導航模型準確,仍可能被棄置。請列出至少四種場域或工作流程原因。
- 為照護機器人設計三層指標:模型層、任務層、人類結果層。哪一層最接近真正目的?三層為什麼都要保留?
- 一個熱門模型可以做二十種任務,另一個專用系統只做一種任務卻每天替護理師省兩小時。你會如何比較,而不是只看任務數?
- 系統遇到新物件後失敗。請分別說明 generalization、adaptation、resilience 在這個情境中會呈現什麼行為。
- 選一個你真正關心的痛點,從 human needs 一路寫到 deploy & evaluate;每一步至少提出一個可驗證的假設。
作答檢核
- 例如門與電梯、走廊人流、臨時障礙、交接流程、感染管制、人員信任、充電維護與例外處理。
- 模型層看預測/控制,任務層看成功與時間,人類層看負擔、安全或生活品質;人類層最接近目的,但下層有助診斷原因。
- 應比較需求的重要性、實際使用頻率、可靠度、安全、整合成本、人工介入與對工作流程的淨改善。
- 泛化是直接處理條件內的新物件;適應是察覺變化並調整;韌性是做不到時能偵測、降級、求助或安全恢復。
- 合格答案要保持需求—能力—技術—指標的一致性,而不是把熱門技術硬塞進流程。
四、最終口述挑戰
- 用兩分鐘反駁「Physical AI 的終點就是一個能控制所有人形機器人的最大模型」。你的回答必須承認這條路線的價值,同時說明它為何不是唯一方向。
通過標準
能同時說出通用模型在資料共享與跨任務適應上的潛力,以及 Physical AI 更廣的應用範圍;最後把判準落在人類需求、工作流程、部署條件與可衡量結果,而不是停在個人偏好。
內容整理自本專案影片與繁體中文字幕;投影片截圖取自同一課程影片,僅作學習輔助。