回到課程地圖 第 三 講

Physical AI 的資料飛輪

這一講把焦點從「模型能不能更大、更通用」轉到「資料從哪裡來、涵蓋什麼、品質如何,以及如何用部署後的失敗持續補資料」。

課堂錄影兩段,約 73 + 107 分鐘

Part 1 Part 2
LEARNING PLAN

完成本講後,你應該能

重點學習約 90–120 分鐘;完整影片兩段共約 180 分鐘
  1. 區分資料量、涵蓋度與價值
  2. 用物件、任務、環境與 embodiment 分析 coverage
  3. 依 fidelity、coverage、scale、cost 選擇資料來源
  4. 設計由部署評估驅動的資料飛輪

建議先備:Lecture 2 的 generalization 與能力邊界、理解評估可用來診斷失敗

核心詞彙:資料涵蓋度能力缺口資料飛輪模擬與 world model

尚未開始0 / 10 項核心檢核
從本講開始

答案與進度只儲存在這個瀏覽器,不會上傳;更換裝置或清除網站資料後無法同步。

快速掌握

本講核心:Physical AI 的瓶頸不只是模型,而是資料。真正重要的不是「資料夠不夠多」,而是資料是否涵蓋目標任務需要的物件、任務、環境與實體形式;部署後是否能辨識能力缺口,再回頭收集最有價值的新經驗。

  1. 資料量只是第一層問題;更重要的是資料涵蓋度與品質。
  2. 資料飛輪不是一直收集更多資料,而是從部署與評估找到能力缺口,再收集能補缺口的資料。
  3. coverage 會隨物件、任務、環境、實體形式組合爆炸,因此必須由評估目標引導。
  4. 資料取得策略要在擬真度、涵蓋度、規模與成本之間取捨。

三個研究問題:資料是通用 Physical AI 的核心瓶頸

看老師講解(Part 1 · 19:10)
Three Research Questions
本講延續前兩講的問題:如何收集多元高品質的物理互動資料,訓練能跨任務、環境與實體形式泛化的模型,並確認系統真的能在真實世界運作。 YouTube · Part 1 · 19:10

如果想建立 general-purpose model,不能只問模型架構。必須先問:物理互動資料如何取得?資料是否足以涵蓋真實世界變化?訓練出的系統又如何透過部署與評估確認有效?這些問題導向本講主題:資料飛輪。

三層資料思維:從資料量走向資料價值

看老師講解(Part 1 · 20:15)
Three levels of thinking about data
第一層是資料量:我有多少資料?但這不是唯一、也不是最終問題。 YouTube · Part 1 · 20:15

機器學習專案常被問「資料集夠大嗎?」但在 Physical AI 裡,單純追求資料量很容易失焦。資料量再大,如果只涵蓋單一任務、單一物件或單一環境,部署後仍可能失敗。講者因此引入第二層:資料涵蓋度;以及第三層:哪些資料最有價值。

重點:「更多資料」不是答案;「更對的資料」才是資料飛輪要解決的問題。

資料集思維 vs 資料飛輪

看老師講解(Part 1 · 25:30)
Data Flywheel basic pipeline
基本流程:Experience → Data → Learning → Deployment。若停在一次性資料集,就是收集、訓練、部署後結束。 YouTube · Part 1 · 25:30

傳統資料集思維常是:收集資料、訓練模型、在 benchmark 上比前人好 5%,然後結束。但 Physical AI 面對真實世界時,需要持續回答:模型在哪些條件下失敗?失敗代表缺少哪種經驗?下一步應該收集什麼資料?

Data Flywheel capability gaps
資料飛輪加入 Evaluate 與 Identify Capability Gaps:透過評估找出能力缺口,再回頭取得新經驗。 YouTube · Part 1 · 44:00

資料涵蓋度:物件 × 任務 × 環境 × 實體形式

看老師講解(Part 1 · 31:30)
Operating Conditions
Physical AI 的 operating conditions 包含環境條件、目標任務、物件屬性、動態物體與部署限制。 YouTube · Part 1 · 31:30

涵蓋度不是抽象名詞,而是要具體問:資料涵蓋哪些物件?哪些任務?哪些環境?哪些機器人或實體形式?如果只收集很多房間 layout,可能只增加 layout 多樣性,卻沒有增加物件、任務或動態互動的涵蓋度。

What does Coverage mean
涵蓋度會組合爆炸:100 物件 × 20 任務 × 20 環境 × 5 實體形式,就已經是 200,000 種組合。 YouTube · Part 1 · 36:30

這也是為什麼不能盲目收集全部資料。組合數成長太快,必須用評估目標決定哪些維度最重要:是物件變化?任務變化?環境變化?還是機器人 embodiment 變化?

能力缺口:下一筆資料應該收集什麼?

看老師講解(Part 1 · 50:30)
Data Flywheel collect simulate generate reconstruct imagine
資料飛輪的重點是根據能力缺口選擇下一種經驗來源,而不是無差別增加資料。 YouTube · Part 1 · 50:30

部署與評估會回傳失敗訊號。這些失敗不是單純扣分,而是指向下一輪資料收集策略:要從真實世界收集?在模擬中產生?重建場景?生成變化?還是想像更多條件?資料飛輪的價值在於把失敗轉成下一步資料取得的決策。

資料取得策略:擬真度、涵蓋度、規模與成本

看老師講解(Part 1 · 53:30)
Fidelity coverage scale cost
不同資料來源要在擬真度、涵蓋度、規模與成本間取捨。沒有單一策略永遠最好。 YouTube · Part 1 · 53:30

真實機器人資料擬真度高,但成本高、速度慢、風險大。模擬或生成資料規模較容易擴大,涵蓋度也能設計,但可能缺少真實物理互動訊號。選擇資料策略時,必須回到評估目標:目前能力缺口需要的是高擬真度、更多涵蓋度,還是更大規模?

學習重點:資料飛輪不是資料越多越好,而是讓「評估 → 能力缺口 → 新經驗 → 再訓練 → 再部署」形成可持續改善的閉環。

七種資料取得策略:不是只有真實機器人收資料

看老師講解(Part 2 · 5:00)
Kinesthetic Teaching
策略一:Kinesthetic Teaching。人直接牽引或示範機器人動作,取得高擬真度的互動資料。 YouTube · Part 2 · 5:00

第二段課程把資料飛輪落到實作層次:社群已經發展出多種取得或產生經驗資料的方法。第一類是 kinesthetic teaching,也就是人直接帶著機器人做任務。它的擬真度高,因為資料來自真實機器人與真實物理互動;但成本高、速度慢,也受限於操作人員與設備。

UC Berkeley Gello teleoperation
策略二:Teleoperation。以遙操作裝置控制機器人,例如 UC Berkeley GELLO。 YouTube · Part 2 · 12:00

遙操作看似比直接牽引更容易擴展,但也有代價:操作者缺少觸覺回饋,常從第三人稱視角控制機器手臂,不一定能感覺自己是機器人的一部分。因此資料品質和操作介面設計高度相關。

從影片學習:資料規模巨大,但後處理很難

看老師講解(Part 2 · 20:00)
Learning from Videos
策略三:Learning from Videos。網路影片規模巨大,但需要把人類動作轉成機器人可用的狀態與動作。 YouTube · Part 2 · 20:00

影片資料的吸引力在於規模:網路上有大量人類操作影片。但它不是免費午餐。人手和機器手的 embodiment 不同,人類動作更快、更靈活,影片也缺少力覺與接觸訊號。如何從影片中估計手部骨架、物體狀態,再映射到機器人,是一個困難的研究問題。

模擬、程序生成與 world model:用算力換涵蓋度

看老師講解(Part 2 · 30:00)
Simulation
策略四:Simulation。模擬能平行擴展大量環境與物件變化,但擬真度取決於物理引擎與建模品質。 YouTube · Part 2 · 30:00

模擬的優點是可控制、可平行化、可大量產生環境變化;缺點是 sim-to-real gap。若目標需要精細接觸、柔性物體、液體或摩擦細節,模擬不一定忠實捕捉真實互動訊號。

Procedural Data Generation via LLM
策略五:透過 LLM 做程序式資料生成,擴充物件、場景與任務組合。 YouTube · Part 2 · 40:00

程序式生成與 LLM 可以快速擴展任務描述、場景配置與物件組合,提升涵蓋度。但生成出來的資料仍要回到評估:它是否補到真正能力缺口?還是只增加表面多樣性?

Open X-Embodiment and RT-X
開放資料集與跨 embodiment 模型,例如 Open X-Embodiment 與 RT-X,代表社群試圖把不同機器人經驗匯集起來。 YouTube · Part 2 · 1:12:00

跨機器人資料集能提高 coverage,讓模型接觸更多 embodiment 與任務。但資料格式、動作空間、感測器、任務定義與品質不一致,仍需要標準化與評估來判斷真正價值。

總結:資料飛輪要回答「系統下一步該經歷什麼?」

看老師講解(Part 2 · 50:00)
Fidelity Coverage Scale Cost table
不同資料策略可用 Fidelity × Coverage × Scale,在成本限制下比較。 YouTube · Part 2 · 50:00

講者把所有策略放回同一個取捨框架:擬真度、涵蓋度、規模,並受成本限制。真實資料擬真度高但昂貴;模擬與生成可擴展但可能失真;影片規模大但後處理困難;world model 可想像未來狀態,但訓練成本與可靠性都是挑戰。

Takeaway
本講 takeaways:generalization 是 coverage problem;沒有單一資料來源最優;目標不是更大的資料集,而是資料飛輪。 YouTube · Part 2 · 1:36:00
最終問題:What should the system experience next? 一個好的 Physical AI 系統,不只要會從資料學習,也要能透過評估知道下一步應該經歷、收集或生成什麼資料。

複習與理解檢核

這一講要能回答的不是「有哪些資料來源」,而是「系統下一步最值得經歷什麼」。先自行作答,再用檢核確認推理是否完整。

一、三層資料思維

  1. 「資料量、資料涵蓋度、資料價值」三層問題有何不同?為什麼資料量最大的不一定最好?
  2. 比較一次性的 dataset pipeline 與 data flywheel;飛輪多了哪兩個關鍵步驟?
  3. 什麼是 capability gap?它和一次測試失敗有何不同?
  4. 為什麼 generalization 可以被視為 coverage problem?
作答檢核
  1. 量問有多少,涵蓋度問包含哪些條件,價值問哪筆最能改善能力;大量重複資料可能不補任何缺口。
  2. 一次性流程是經驗→資料→學習→部署;飛輪加入評估與辨識能力缺口,再回頭取得針對性經驗。
  3. 單次失敗是現象;能力缺口是跨案例分析後定位出的系統性不足,可指導下一步資料或設計。
  4. 系統能否泛化取決於訓練經驗是否涵蓋部署時重要的變化及其組合。

二、涵蓋度與取捨

  1. 用物件 × 任務 × 環境 × embodiment 解釋組合爆炸。100 × 20 × 20 × 5 的例子為何不能靠窮舉解決?
  2. 如果資料新增一萬個房間 layout,為什麼不代表整體 coverage 大幅提升?
  3. 說明 fidelity、coverage、scale、cost 四者的關係。為什麼沒有單一資料來源在所有面向都最佳?
  4. 評估目標如何幫助你決定應優先擴充哪個 coverage 維度?
作答檢核
  1. 共有 200,000 種組合,維度再增加會乘法成長;真實收集受時間、成本與風險限制,必須挑選。
  2. 它只擴充環境 layout,可能沒有新增物件、任務、動態互動或機器人本體的變化。
  3. 真實資料擬真但昂貴;模擬/生成可擴展卻可能失真;影片規模大但缺少可直接使用的動作與接觸訊號。
  4. 應從應用中最重要、最常失敗或風險最高的條件反推,而非平均分配資料預算。

三、資料取得策略

  1. 比較 kinesthetic teaching 與 teleoperation:資料擬真度、操作者體驗、規模與可能偏差各有什麼差異?
  2. 從網路影片學習為何同時具有巨大規模與巨大後處理難度?請談 embodiment gap 與缺少的訊號。
  3. 模擬最適合補哪些缺口?遇到柔性物體、液體或精細接觸時,為什麼要特別小心?
  4. 程序生成或 LLM 產生很多表面不同的場景,為什麼可能只增加「看起來多樣」而沒有增加能力?
  5. Open X-Embodiment 類跨機器人資料能帶來什麼,又會產生哪些標準化問題?
作答檢核
  1. 直接牽引接近真實控制但慢且昂貴;遙操作較易擴展,卻受介面、視角與缺乏觸覺回饋影響。
  2. 影片數量龐大,但人手和機器手不同,且通常缺少力覺、接觸、精確狀態與機器人動作標籤。
  3. 適合可控制地擴充環境、物件與罕見條件;複雜物理若模型不準會造成 sim-to-real gap。
  4. 若生成變化和實際失敗無關,或不改變必要的物理與行為條件,就沒有補到 capability gap。
  5. 可共享任務與本體經驗;但感測器、資料格式、動作空間、品質與任務定義不一致。

四、飛輪情境題

  1. 抓取系統在白色馬克杯上成功、透明杯上常失敗。請從評估、缺口定位、資料來源選擇到再驗證,設計一輪資料飛輪。
  2. 模擬中有一百萬筆資料,真實世界只有一千筆。你不能只憑數量選擇;還需要檢查哪些證據?
  3. 請替一個你熟悉的 Physical AI 應用回答:What should the system experience next? 並證明這筆經驗比隨機多收資料更有價值。
作答檢核
  1. 應先把透明/反光材質辨識為缺口,選擇能保留光學與接觸特性的收集方式,加入材質變化,並在獨立條件下比較再訓練前後。
  2. 需看與部署分布的關聯、物理擬真、條件涵蓋、標註與感測品質、重複性、sim-to-real 落差及下游成效。
  3. 答案必須由明確失敗或風險證據推出特定經驗,說明資料來源與成本,再定義如何驗證缺口真的縮小。

五、最終口述挑戰

  1. 用兩分鐘解釋「更多資料」與「更對的資料」的差別,並完整串起 Experience → Data → Learning → Deployment → Evaluate → Identify Capability Gaps → Experience。
通過標準

不只背出流程,還能說明評估如何把部署失敗轉成可操作的缺口,以及缺口如何決定資料的條件、來源與再驗證方式。

內容整理自本專案 Lecture 3 兩段影片與本機 Whisper 逐字稿;投影片截圖取自同一課程影片。繁中字幕已由本機模型翻譯並通過格式驗證,正式公開前仍建議人工複核專有名詞與問答片段。