回到課程地圖 第 二 講

近期進展、範圍反思與評估思維

這一講先看通用機器人與 robot foundation model 的主流路線,再刻意拉開視角:Physical AI 不只等於人形機器人或「任何機器人做任何任務」,更重要的是從目標與評估反推系統設計。

課堂錄影約 172 分鐘

完整課堂錄影
LEARNING PLAN

完成本講後,你應該能

重點學習約 90–120 分鐘;若觀看完整影片約 172 分鐘
  1. 說明 generalist robot policy 與 robot foundation model 的目標
  2. 比較通用能力與 purposeful robot 的價值判準
  3. 從 human needs 與 workflow 反推系統能力
  4. 以 generalization、adaptation、resilience 分析部署表現

建議先備:Lecture 1 的 sense–plan–act、理解 demo 與部署證據的差異

核心詞彙:generalist robot policyrobot foundation modelpurposeful robots從評估反推設計

尚未開始0 / 9 項核心檢核
從本講開始

答案與進度只儲存在這個瀏覽器,不會上傳;更換裝置或清除網站資料後無法同步。

快速掌握

本講核心:主流研究正在追求通用機器人與 robot foundation model,但 Physical AI 的範圍更廣。真正好的系統設計要從「要改善什麼」與「如何評估」開始,而不是先迷信某個熱門技術。

  1. generalist robot policy:能跨任務、跨環境,甚至少量示範後適應新機器人的 policy。
  2. robot foundation model:以大量機器人資料訓練,從觀察產生動作,並可適應新領域與新 embodiment。
  3. Physical AI 不只通用機器人,也包含輔助照護、人機協作、多 agent、智慧城市等。
  4. 設計流程應從終點開始:先定義人類需求與評估指標,再選擇 intelligence、embodiment 與部署策略。

第一講複習:真實世界變化才是核心問題

看老師講解(21:30)
Lecture 2 聚焦投影片
第二講開場先複習第一講:Physical AI 起源、真實世界挑戰,以及如何用評估設計系統。 YouTube · 21:30

第一講提出的核心問題是:當真實世界發生變化時,如何打造仍能持續運作的 Physical AI 系統?第二講沿著這個問題,先看近期主流進展,再問這些進展是否足以面對真實部署。

為什麼機器人操作比看起來更難

看老師講解(31:00)
工業機器人 pick and place
傳統 pick-and-place 很多條件是固定的:固定物件、固定任務、固定環境,因此可高度工程化。 YouTube · 31:00

工業機器人能在固定場域中非常可靠,因為物件、位置、流程與環境都被工程化。但當任務變成抓不同形狀、重量、位置的物件,甚至要投擲到目標時,抓取點、釋放時機與動態控制都會隨條件改變。

行為難以明確寫成程式的投影片
投擲、烹飪、煮咖啡等任務難以用固定程式列完規則,這正是學習式 policy 被重視的原因。 YouTube · 45:00

generalist robot policy 與 robot foundation model

看老師講解(53:30)
Physical Intelligence 定義比較
Physical Intelligence 的願景從「foundation model 與學習演算法」推進到「控制任何機器人完成任何任務」。 YouTube · 53:30

foundation model 是在廣泛資料上以大規模自我監督方式訓練,之後可適應多種下游任務的模型。放到機器人裡,robot foundation model 的輸入是觀察,輸出是動作,目標是能適應不同任務、領域與機器人本體。

注意:這是一個研究願景,不是已經完全解決的產品規格。越是宣稱「任何機器人、任何任務」,越要追問資料來源、任務邊界與評估方法。

通用機器人的願景很強,但不是唯一方向

看老師講解(1:01:00)
one model many tasks
多個團隊都在追求 one model, many tasks,但各自假設、資料策略與部署目標並不相同。 YouTube · 1:01:00

Gemini Robotics、NVIDIA、Berkeley 等路線都受生成式 AI 啟發:收集更多資料、訓練更通用的模型、讓同一模型處理更多任務。這條路很重要,但講者提醒學生不要被主流聲量綁住:Physical AI 是否真的只等於通用機器人?

Physical AI 比通用機器人更廣

看老師講解(1:21:30)
Physical AI broader than general-purpose robotics
Physical AI 的範圍可涵蓋自主移動、機器人操作、輔助醫療、人機協作、多 agent cyber-physical systems 與智慧城市。 YouTube · 1:21:30

回到定義:只要系統能運用 AI 在物理世界中感知、推理並行動,就可能是 Physical AI。這不要求它一定是人形機器人,也不要求它必須是通用模型。特定場域中真正改善人類生活的系統,同樣值得研究。

Purposeful robots:從「能力」轉向「目的」

看老師講解(1:36:00)
Hello Robot Stretch 協助日常生活
Hello Robot Stretch 案例顯示:一個看似簡單的動作,如果能改善照護者與使用者生活,就是有價值的 Physical AI。 YouTube · 1:36:00

Henry 使用 Stretch 協助妻子把物品放回冰箱,技術上不是最炫的「通用智能」,但目的非常清楚:改善人的生活。這提醒我們,系統設計不應只從「能不能做更多任務」出發,也應從「誰的痛點被解決」出發。

真實部署落差:醫院機器人案例

看老師講解(1:51:00)
Diligent Robotics 醫院配送新聞
醫院配送機器人的初衷很好,但場域中的門、流程、人員接受度與例外狀況會快速放大部署難度。 YouTube · 1:51:00

醫院人員每天要走很多路,配送機器人看似能減輕負擔。但真實現場裡,開門、避讓、流程整合、臨時狀況與人員信任都會變成問題。技術好不代表已經準備好部署;若未滿足真實需求,最後可能被放在角落。

從評估反推設計:先問終點,不要先選技術

看老師講解(2:06:00)
從需求到部署與評估流程
講者提出的設計順序:Human needs → workflow → pain point → capabilities → intelligence + embodiment → deploy & evaluate。 YouTube · 2:06:00

這是本講最重要的方法論。不要先決定要用某個模型、某個機械手臂或某個熱門架構。先理解人類需求與工作流程,找出痛點與瓶頸,定義系統需要具備的能力,再選擇合適的 intelligence 與 embodiment,最後在真實脈絡中部署與評估。

同一設計流程投影片
這套思維也能用在人生或研究決策:先釐清想最大化的目標,再反推行動。 YouTube · 2:21:30
學習重點:評估不是最後打分數,而是從一開始就決定你要解決什麼問題、如何知道自己更接近目標。

未解挑戰與韌性:前沿問題不會很快結束

看老師講解(2:36:00)
Generalization adaptation resilience failure
Physical AI 的關鍵挑戰:generalization、adaptation、resilience、failure。 YouTube · 2:36:00

現有大公司與研究團隊還沒有把所有問題解完。真實世界有太多變因:環境條件、物件屬性、使用者行為、硬體狀態與安全限制。系統要能泛化、適應,並在無法適應時辨識失敗且安全復原。這些都是研究機會。

複習與理解檢核

先獨立回答,再展開檢核。這一講的重點不是記公司名稱,而是能分辨研究願景、真實需求與評估導向的設計。

一、核心概念

  1. 固定式工業 pick-and-place 為什麼能高度可靠?當物件、位置與任務不固定時,困難增加在哪裡?
  2. 什麼是 generalist robot policy?「跨任務」和「跨 embodiment」分別代表什麼?
  3. 用輸入、輸出、訓練資料與適應目標,說明 robot foundation model 的概念。
  4. 「控制任何機器人完成任何任務」應被視為研究願景還是已完成的產品能力?為什麼?
作答檢核
  1. 固定物件、位置、流程與環境可寫死並工程化;條件改變後,抓取點、控制、時機與接觸動態都要隨情境調整。
  2. 同一 policy 能處理多任務/環境,甚至適應新機器人;跨 embodiment 指身體、關節、感測器與動作空間不同。
  3. 輸入是觀察、輸出是動作,以廣泛機器人資料大規模訓練,期望適應新任務、領域與本體。
  4. 是願景;仍須交代資料涵蓋、任務邊界、硬體差異、失敗率與真實部署證據。

二、範圍與設計方法

  1. 為什麼 Physical AI 的範圍比「通用機器人」更廣?請舉兩個非人形、非通用機器人的例子。
  2. Purposeful robots 的觀點如何改變「最好的機器人」的定義?
  3. Hello Robot Stretch 的案例為什麼有價值,即使它做的動作並不炫目?
  4. 請按順序重建本講的設計流程:human needs、workflow、pain point、capabilities、intelligence + embodiment、deploy & evaluate,並說明為什麼不能倒過來先選模型。
  5. 評估為什麼不是開發完成後才做的「最後打分」?它在一開始應決定什麼?
作答檢核
  1. 判準是以 AI 在物理世界感知、推理、行動;例如醫療輔助、自駕車、智慧城市或多 agent 虛實系統。
  2. 價值由是否改善特定人的需求與工作流程決定,而非任務數量、外型或模型規模。
  3. 它協助使用者完成真正重要的日常工作,效果應以生活與照護負擔的改善評估。
  4. 順序應完整;先選技術容易把可做的功能誤當成該解的問題,導致能力與痛點不匹配。
  5. 評估先定義目標、成功條件與取捨,再反推需要的能力、資料、硬體與部署策略。

三、部署與情境判斷

  1. 醫院配送機器人即使導航模型準確,仍可能被棄置。請列出至少四種場域或工作流程原因。
  2. 為照護機器人設計三層指標:模型層、任務層、人類結果層。哪一層最接近真正目的?三層為什麼都要保留?
  3. 一個熱門模型可以做二十種任務,另一個專用系統只做一種任務卻每天替護理師省兩小時。你會如何比較,而不是只看任務數?
  4. 系統遇到新物件後失敗。請分別說明 generalization、adaptation、resilience 在這個情境中會呈現什麼行為。
  5. 選一個你真正關心的痛點,從 human needs 一路寫到 deploy & evaluate;每一步至少提出一個可驗證的假設。
作答檢核
  1. 例如門與電梯、走廊人流、臨時障礙、交接流程、感染管制、人員信任、充電維護與例外處理。
  2. 模型層看預測/控制,任務層看成功與時間,人類層看負擔、安全或生活品質;人類層最接近目的,但下層有助診斷原因。
  3. 應比較需求的重要性、實際使用頻率、可靠度、安全、整合成本、人工介入與對工作流程的淨改善。
  4. 泛化是直接處理條件內的新物件;適應是察覺變化並調整;韌性是做不到時能偵測、降級、求助或安全恢復。
  5. 合格答案要保持需求—能力—技術—指標的一致性,而不是把熱門技術硬塞進流程。

四、最終口述挑戰

  1. 用兩分鐘反駁「Physical AI 的終點就是一個能控制所有人形機器人的最大模型」。你的回答必須承認這條路線的價值,同時說明它為何不是唯一方向。
通過標準

能同時說出通用模型在資料共享與跨任務適應上的潛力,以及 Physical AI 更廣的應用範圍;最後把判準落在人類需求、工作流程、部署條件與可衡量結果,而不是停在個人偏好。

內容整理自本專案影片與繁體中文字幕;投影片截圖取自同一課程影片,僅作學習輔助。