Lecture 3|Physical AI 的資料飛輪
本講核心:Physical AI 的瓶頸不只是模型,而是資料。真正重要的不是「資料夠不夠多」,而是資料是否涵蓋目標任務需要的物件、任務、環境與實體形式;部署後是否能辨識能力缺口,再回頭收集最有價值的新經驗。
- 資料量只是第一層問題;更重要的是資料涵蓋度與品質。
- 資料飛輪不是一直收集更多資料,而是從部署與評估找到能力缺口,再收集能補缺口的資料。
- coverage 會隨物件、任務、環境、實體形式組合爆炸,因此必須由評估目標引導。
- 資料取得策略要在擬真度、涵蓋度、規模與成本之間取捨。
三個研究問題:資料是通用 Physical AI 的核心瓶頸

如果想建立 general-purpose model,不能只問模型架構。必須先問:物理互動資料如何取得?資料是否足以涵蓋真實世界變化?訓練出的系統又如何透過部署與評估確認有效?這些問題導向本講主題:資料飛輪。
三層資料思維:從資料量走向資料價值

機器學習專案常被問「資料集夠大嗎?」但在 Physical AI 裡,單純追求資料量很容易失焦。資料量再大,如果只涵蓋單一任務、單一物件或單一環境,部署後仍可能失敗。講者因此引入第二層:資料涵蓋度;以及第三層:哪些資料最有價值。
資料集思維 vs 資料飛輪

傳統資料集思維常是:收集資料、訓練模型、在 benchmark 上比前人好 5%,然後結束。但 Physical AI 面對真實世界時,需要持續回答:模型在哪些條件下失敗?失敗代表缺少哪種經驗?下一步應該收集什麼資料?

資料涵蓋度:物件 × 任務 × 環境 × 實體形式

涵蓋度不是抽象名詞,而是要具體問:資料涵蓋哪些物件?哪些任務?哪些環境?哪些機器人或實體形式?如果只收集很多房間 layout,可能只增加 layout 多樣性,卻沒有增加物件、任務或動態互動的涵蓋度。

這也是為什麼不能盲目收集全部資料。組合數成長太快,必須用評估目標決定哪些維度最重要:是物件變化?任務變化?環境變化?還是機器人 embodiment 變化?
能力缺口:下一筆資料應該收集什麼?

部署與評估會回傳失敗訊號。這些失敗不是單純扣分,而是指向下一輪資料收集策略:要從真實世界收集?在模擬中產生?重建場景?生成變化?還是想像更多條件?資料飛輪的價值在於把失敗轉成下一步資料取得的決策。
資料取得策略:擬真度、涵蓋度、規模與成本

真實機器人資料擬真度高,但成本高、速度慢、風險大。模擬或生成資料規模較容易擴大,涵蓋度也能設計,但可能缺少真實物理互動訊號。選擇資料策略時,必須回到評估目標:目前能力缺口需要的是高擬真度、更多涵蓋度,還是更大規模?
七種資料取得策略:不是只有真實機器人收資料

第二段課程把資料飛輪落到實作層次:社群已經發展出多種取得或產生經驗資料的方法。第一類是 kinesthetic teaching,也就是人直接帶著機器人做任務。它的擬真度高,因為資料來自真實機器人與真實物理互動;但成本高、速度慢,也受限於操作人員與設備。

遙操作看似比直接牽引更容易擴展,但也有代價:操作者缺少觸覺回饋,常從第三人稱視角控制機器手臂,不一定能感覺自己是機器人的一部分。因此資料品質和操作介面設計高度相關。
從影片學習:資料規模巨大,但後處理很難

影片資料的吸引力在於規模:網路上有大量人類操作影片。但它不是免費午餐。人手和機器手的 embodiment 不同,人類動作更快、更靈活,影片也缺少力覺與接觸訊號。如何從影片中估計手部骨架、物體狀態,再映射到機器人,是一個困難的研究問題。
模擬、程序生成與 world model:用算力換涵蓋度

模擬的優點是可控制、可平行化、可大量產生環境變化;缺點是 sim-to-real gap。若目標需要精細接觸、柔性物體、液體或摩擦細節,模擬不一定忠實捕捉真實互動訊號。

程序式生成與 LLM 可以快速擴展任務描述、場景配置與物件組合,提升涵蓋度。但生成出來的資料仍要回到評估:它是否補到真正能力缺口?還是只增加表面多樣性?

跨機器人資料集能提高 coverage,讓模型接觸更多 embodiment 與任務。但資料格式、動作空間、感測器、任務定義與品質不一致,仍需要標準化與評估來判斷真正價值。
總結:資料飛輪要回答「系統下一步該經歷什麼?」

講者把所有策略放回同一個取捨框架:擬真度、涵蓋度、規模,並受成本限制。真實資料擬真度高但昂貴;模擬與生成可擴展但可能失真;影片規模大但後處理困難;world model 可想像未來狀態,但訓練成本與可靠性都是挑戰。

這一講留下的三個問題
- 如果你的機器人模型失敗了,你能把失敗對應到物件、任務、環境或實體形式哪個涵蓋度缺口嗎?
- 下一筆資料要從真實世界、遙操作、影片、模擬、程序生成還是 world model 取得?你的選擇標準是什麼?
- 你設計的評估是否能告訴你「該收集什麼資料」,而不只是告訴你分數高低?