回到課程地圖 COURSEWORK · 更新至 Lecture 9

作業與期末專題整合

集中整理老師在課堂中提到的三份 homework、期末 course project、評分方式與執行規則。內容依 Lecture 1–9 錄影彙整;正式題目、截止時間、繳交平台與各校規則仍以課程平台及共同協調人的最新公告為準。

使用方式

這一頁整理課堂錄影中已明確說明的內容,不取代正式作業規格。看到「待公告」時,請回到課程平台或聯絡各校共同協調人。

GRADING OVERVIEW

課程成果與配分

總成績 50%

三份個人作業

HW1 3D 重建、HW2 語意地圖與路徑規劃、HW3 機器人操作;均為個人作業,繳交程式碼與報告。

總成績 50%

期末課程專題

以機器人操作競賽與 imitation learning pipeline 為主,通常分組,成果包含報告與簡報;leaderboard 是否採用仍待正式公告。

所有作業共同規則

HW1

3D 重建與失敗診斷

sense

個人作業 · 程式碼+報告Lecture 6 表示會於當週釋出;實際版本與期限請查看課程平台。

從深度影像建立 3D 表面,估計相鄰觀測之間的轉換,再合併成持久點雲;不只完成重建,也要系統化找出量測、對應與幾何假設失效的位置。

你要學會什麼

  • 操作座標系、齊次轉換矩陣、旋轉與平移,將不同相機座標中的點接到共同座標系。
  • 用針孔相機模型把深度影像反投影成 3D 表面。
  • 以 ICP 找對應、估計相鄰表面的轉換,將多幀點雲合併。
  • 比較取樣方式、最近點數量、距離/誤差門檻與最大迭代次數對重建的影響。
  • 辨識失敗資料與被違反的條件,移除或重新收集資料,再驗證重建是否改善。

老師描述的流程

  1. Depth image → 反投影 → 3D surface
  2. 相鄰表面找對應點
  3. ICP 估計旋轉與平移
  4. 把表面轉到共同座標系並合併成點雲
  5. 分析漂移、錯誤對應、雜訊與失敗條件
  6. 調整資料或方法,重新評估重建結果

實作與公告重點

  • 作業主要做相鄰幀的 odometry,會累積 drift;不等同含 loop closure 的完整 SLAM。
  • ICP 需要足夠好的初始猜測;最近點不一定是正確對應點。
  • 平坦或缺少辨識度的區域會讓對應不穩,特徵式取樣可能比使用全部點更有效。
  • 純旋轉、低紋理、動態物體、重複結構與視角重疊不足都可能破壞幾何重建。
  • 不要把所有資料無條件丟入演算法;作業重點之一是先找出失敗資料及其原因。
HW2

語意地圖與路徑規劃

plan

個人作業 · 程式碼+報告Lecture 7 確認作業二要實作圖搜尋式與取樣式路徑規劃;Lecture 8 講完 RRT,並說明作業二把控制當成路徑追隨、不處理車輛運動限制;正式輸入輸出、rubric 與期限待課程平台公告。

接續重建地圖,區分障礙物與可通行空間,再控制模擬場景中的機器人(以 camera 表示)從起點移動到目標位置。課堂例子中的目標是冰箱。

你要學會什麼

  • 把感知所得的地圖轉成可供規劃使用的語意與空間表示。
  • 區分障礙與 free space。
  • 規劃從起點到目標的可行路徑,並在高擬真模擬環境中執行。
  • 實作本講介紹的兩類路徑規劃:圖搜尋式(投影片列出 Dijkstra、A*)與取樣式(PRM、RRT、RRT*);最佳化式與學習式方法不在作業二範圍。
  • 實作 RRT(快速探索隨機樹):老師在 Lecture 7 第二段與 Lecture 8 都說明這是作業二要實作的演算法,要在模擬環境中用它規劃從初始組態到目標組態的路徑。
  • 以組態空間表示機器人與障礙物,確保規劃出的路徑考慮機器人實體,而不只是環境中的自由空間。
  • 延續課程共同原則:用評估與失敗情況改善推論及系統。

老師描述的流程

  1. 根據多張影像建立對場景的理解(地圖)
  2. 建立語意/可通行表示
  3. 指定起點與目標(示範影片的目標是冰箱)
  4. 在環境中規劃無碰撞路徑
  5. 控制相機沿路徑移動抵達目標
  6. 評估失敗並改善

實作與公告重點

  • 課堂只說明作業範圍與示範影片,不應把網站摘要當成正式作業規格。
  • 自由空間不一定可通行:路徑必須讓機器人整個實體都能通過,作業中要留意機器人尺寸與障礙物的關係。
  • 作業二也會採用較明確的名詞定義與失敗恢復工具;細節仍待後續公布。
  • RRT 在 Lecture 7 只有預告,演算法細節已在 Lecture 8 講完(取樣、最近節點、steer、無碰撞檢查);圖搜尋(BFS、A*)課堂只做 demo,老師請同學依投影片連結與教科書自修。
  • Lecture 8 說明作業二只做路徑追隨,沒有考慮速度、航向與運動學限制,所以示範影片裡有些動作看起來很怪;這次作業讓同學專注在路徑上。
HW3

機器人操作:拿取與放置

act

個人作業 · 程式碼+報告目前 Lecture 1–7 錄影只公布方向;正式任務、介面與期限待課程平台公告。

從導航延伸到 manipulation:控制機械手臂與馬達,拿起物件並放到另一個位置,同時觀察真實世界式的失敗條件。

你要學會什麼

  • 把規劃結果轉成機械手臂可執行的物理動作。
  • 完成 pick-and-place 任務。
  • 記錄操作失敗,利用失敗所得的洞見改善系統表現。

老師描述的流程

  1. 觀察物件與目標位置
  2. 規劃手臂動作
  3. 控制馬達完成拿取與放置
  4. 評估成功、失敗與恢復

實作與公告重點

  • 目前尚未公布正式硬體/模擬介面與評估 rubric。
  • 老師強調重點不只是控制成功一次,而是從失敗中改善效能。
Final Project

Imitation Learning 與機器人操作競賽

sense → plan → act → evaluate

通常分組 · 報告+簡報 · 競賽形式題目細節、組員人數、leaderboard、正式 rubric 與各校簡報安排仍以後續公告為準。

實作完整 imitation learning pipeline:收集資料、建立資料集、驗證資料品質、以資料訓練 policy,再於具物理引擎的高擬真模擬環境評估;核心不是盲目增加資料,而是用驗證與評估結果改善模型。

你要學會什麼

  • 完成資料收集 → dataset → data validation → policy training → evaluation 的閉環。
  • 建立系統化資料品質驗證方法,而不是把『更多資料』直接等同於更好結果。
  • 在高擬真物理模擬器中操作物件與機器人,測試模型是否真正支撐物理任務。
  • 把失敗與評估洞見送回資料和系統設計,提升最終競賽表現。

老師描述的流程

  1. 收集示範與互動資料
  2. 建立並檢查資料集
  3. 定位資料品質或 coverage 問題
  4. 訓練 imitation learning policy
  5. 在物理模擬環境執行機器人操作
  6. 以評估結果反覆改善資料與模型
  7. 整理報告並進行期末簡報/競賽

實作與公告重點

  • Lecture 9:下週由 NVIDIA 的朋友到課堂介紹一個模擬環境,講者說那會是課程專題的測試平台,並提醒不太容易上手、請專心學習;講者下週在美國參加研討會、不在場(2:48:16、2:48:34)。
  • 三份 homework 是個人作業;Final Project 通常分組,合作學校可自行組隊,但仍以各校協調人規則為準。
  • Lecture 2 問答確認可以安裝與使用既有 AI 工具;仍須遵守後續正式專題規格。
  • 專題預期比 homework 更需要 GPU;課程會爭取資源,但資源數量與額外需求仍待公告。
  • Lecture 1 問答提到 12 月 22 日實體期末簡報的協調資訊,但陽明交大地點與各校具體安排仍待正式通知。

仍待正式公告

以下資訊在 Lecture 1–6 錄影中尚未完整確認:

資料來源:TAICA Physical AI Lecture 1–6 繁體中文字幕與課堂投影片。網站會隨後續課程中新的 homework/project 說明持續更新。