Lecture 2

近期進展、範圍反思與評估思維

這一講先看通用機器人與 robot foundation model 的主流路線,再刻意拉開視角:Physical AI 不只等於人形機器人或「任何機器人做任何任務」,更重要的是從目標與評估反推系統設計。

約 172 分鐘正式內容約 21:13 開始

Lecture 2|近期進展、範圍反思與評估思維

本講核心:主流研究正在追求通用機器人與 robot foundation model,但 Physical AI 的範圍更廣。真正好的系統設計要從「要改善什麼」與「如何評估」開始,而不是先迷信某個熱門技術。

快速掌握:
  1. generalist robot policy:能跨任務、跨環境,甚至少量示範後適應新機器人的 policy。
  2. robot foundation model:以大量機器人資料訓練,從觀察產生動作,並可適應新領域與新 embodiment。
  3. Physical AI 不只通用機器人,也包含輔助照護、人機協作、多 agent、智慧城市等。
  4. 設計流程應從終點開始:先定義人類需求與評估指標,再選擇 intelligence、embodiment 與部署策略。

第一講複習:真實世界變化才是核心問題

Lecture 2 聚焦投影片
第二講開場先複習第一講:Physical AI 起源、真實世界挑戰,以及如何用評估設計系統。21:30

第一講提出的核心問題是:當真實世界發生變化時,如何打造仍能持續運作的 Physical AI 系統?第二講沿著這個問題,先看近期主流進展,再問這些進展是否足以面對真實部署。

為什麼機器人操作比看起來更難

工業機器人 pick and place
傳統 pick-and-place 很多條件是固定的:固定物件、固定任務、固定環境,因此可高度工程化。31:00

工業機器人能在固定場域中非常可靠,因為物件、位置、流程與環境都被工程化。但當任務變成抓不同形狀、重量、位置的物件,甚至要投擲到目標時,抓取點、釋放時機與動態控制都會隨條件改變。

行為難以明確寫成程式的投影片
投擲、烹飪、煮咖啡等任務難以用固定程式列完規則,這正是學習式 policy 被重視的原因。45:00

generalist robot policy 與 robot foundation model

Physical Intelligence 定義比較
Physical Intelligence 的願景從「foundation model 與學習演算法」推進到「控制任何機器人完成任何任務」。53:30

foundation model 是在廣泛資料上以大規模自我監督方式訓練,之後可適應多種下游任務的模型。放到機器人裡,robot foundation model 的輸入是觀察,輸出是動作,目標是能適應不同任務、領域與機器人本體。

注意:這是一個研究願景,不是已經完全解決的產品規格。越是宣稱「任何機器人、任何任務」,越要追問資料來源、任務邊界與評估方法。

通用機器人的願景很強,但不是唯一方向

one model many tasks
多個團隊都在追求 one model, many tasks,但各自假設、資料策略與部署目標並不相同。1:01:00

Gemini Robotics、NVIDIA、Berkeley 等路線都受生成式 AI 啟發:收集更多資料、訓練更通用的模型、讓同一模型處理更多任務。這條路很重要,但講者提醒學生不要被主流聲量綁住:Physical AI 是否真的只等於通用機器人?

Physical AI 比通用機器人更廣

Physical AI broader than general-purpose robotics
Physical AI 的範圍可涵蓋自主移動、機器人操作、輔助醫療、人機協作、多 agent cyber-physical systems 與智慧城市。1:21:30

回到定義:只要系統能運用 AI 在物理世界中感知、推理並行動,就可能是 Physical AI。這不要求它一定是人形機器人,也不要求它必須是通用模型。特定場域中真正改善人類生活的系統,同樣值得研究。

Purposeful robots:從「能力」轉向「目的」

Hello Robot Stretch 協助日常生活
Hello Robot Stretch 案例顯示:一個看似簡單的動作,如果能改善照護者與使用者生活,就是有價值的 Physical AI。1:36:00

Henry 使用 Stretch 協助妻子把物品放回冰箱,技術上不是最炫的「通用智能」,但目的非常清楚:改善人的生活。這提醒我們,系統設計不應只從「能不能做更多任務」出發,也應從「誰的痛點被解決」出發。

真實部署落差:醫院機器人案例

Diligent Robotics 醫院配送新聞
醫院配送機器人的初衷很好,但場域中的門、流程、人員接受度與例外狀況會快速放大部署難度。1:51:00

醫院人員每天要走很多路,配送機器人看似能減輕負擔。但真實現場裡,開門、避讓、流程整合、臨時狀況與人員信任都會變成問題。技術好不代表已經準備好部署;若未滿足真實需求,最後可能被放在角落。

從評估反推設計:先問終點,不要先選技術

從需求到部署與評估流程
講者提出的設計順序:Human needs → workflow → pain point → capabilities → intelligence + embodiment → deploy & evaluate。2:06:00

這是本講最重要的方法論。不要先決定要用某個模型、某個機械手臂或某個熱門架構。先理解人類需求與工作流程,找出痛點與瓶頸,定義系統需要具備的能力,再選擇合適的 intelligence 與 embodiment,最後在真實脈絡中部署與評估。

同一設計流程投影片
這套思維也能用在人生或研究決策:先釐清想最大化的目標,再反推行動。2:21:30
學習重點:評估不是最後打分數,而是從一開始就決定你要解決什麼問題、如何知道自己更接近目標。

未解挑戰與韌性:前沿問題不會很快結束

Generalization adaptation resilience failure
Physical AI 的關鍵挑戰:generalization、adaptation、resilience、failure。2:36:00

現有大公司與研究團隊還沒有把所有問題解完。真實世界有太多變因:環境條件、物件屬性、使用者行為、硬體狀態與安全限制。系統要能泛化、適應,並在無法適應時辨識失敗且安全復原。這些都是研究機會。

這一講留下的三個問題

  1. 如果不追「任何機器人、任何任務」,你會選哪個真實痛點作為 Physical AI 問題?
  2. 對一個照護、醫療或城市系統而言,成功指標應該是模型準確率,還是人類工作流程被改善的程度?
  3. 你的系統失敗時,如何知道是模型、硬體、資料、場域流程,還是評估定義出了問題?