回到課程地圖 第 六 講

深度估計:從 2D 影像推回 3D

上一講假設深度已知,這一講把這個假設拿掉:只有 2D 影像時,要怎麼推回缺少的 3D 結構?講者先補完第 5 講沒講完的 ICP 點雲配準,再從單目深度本質上的模糊性談起,依序介紹 structure from motion、立體相機與視差,最後提醒:深度估計的好壞,要看它能不能支撐機器人的物理行動。

課堂錄影約 165 分鐘

完整課堂錄影
LEARNING PLAN

完成本講後,你應該能

重點學習約 120–150 分鐘;若觀看完整影片約 165 分鐘
  1. 說明 ICP 的迭代步驟、假設與失敗條件
  2. 解釋單目深度的不適定性及多視角幾何解法
  3. 比較 SfM、stereo 與學習式深度提供的尺度資訊
  4. 用 Z = bf/d 分析視差與深度誤差
  5. 依機器人任務而非平均像素誤差設計評估

建議先備:Lecture 5 的座標轉換與點雲、針孔相機模型、基本最小平方與幾何概念

核心詞彙:ICPstructure from motion尺度不定立體視差公制深度

尚未開始0 / 15 項核心檢核
從本講開始

答案與進度只儲存在這個瀏覽器,不會上傳;更換裝置或清除網站資料後無法同步。

快速掌握

本講核心:上一講假設每個像素的深度都已知,這一講把這個假設拿掉——只有 2D 影像時,要怎麼推回 3D?單張影像先天就有模糊性:同一條射線上的點都投影到同一個像素。解法是加入更多資訊:多張影像(structure from motion)能還原結構,卻不知道實際尺度;立體相機用已知的基線把尺度補回來,深度 Z = bf/d,前提是找到正確的對應點,而且誤差會隨距離平方放大。講者最後強調,深度估計不能只看平均誤差,要看它能不能支撐機器人的物理行動。

  1. 前 40 分鐘補完第 5 講:已知對應關係時,點雲配準有直接的最佳解;不知道時用 ICP,以「最近點」當對應點反覆修正。
  2. 單目深度估計是 ill-posed 問題:從 3D 投影到 2D 時丟掉了深度,只看一張影像分不出遠近。
  3. SfM:特徵偵測與匹配 → 用極線幾何估計相機姿態 → 三角測量 → bundle adjustment;結構還原得出來,但只到一個未知的全域尺度。
  4. 立體相機:兩台平行相機、已知基線 b,由相似三角形得到 Z = bf/d;電腦視覺最重要的三個問題是「對應、對應、對應」。
  5. 深度誤差 |ΔZ| ≈ Z²|Δd|/(fB);平均誤差較低的模型,不一定是導航時撞得比較少的那個。

補完上一講:從觀測到持久地圖

看老師講解(5:50)
Replay of last week's iPad reconstruction of the classroom
上週課堂示範的錄影:同學拿著講者的 iPad 繞教室掃描,畫面是她在重建出來的世界裡移動。天花板等缺少觀測的區域留下破洞,移動中的同學也重建得不完整。 YouTube · 5:50

講者先回顧上週的三件事:表示運動、還原幾何、建立持久地圖,核心問題是怎麼把感測器觀測變成有空間依據的軌跡與物理世界的持久表示。入口是 UMI 手持夾爪:人拿著裝有腕部相機與 IMU 的裝置示範,從感測器資料擷取軌跡,累積成資料集,以行為複製訓練模型,再部署到機器人上。上週談的是中間「從感測器到軌跡」這一段,也就是 SLAM。上週用 iPad 現場重建教室的錄影也放上課程平台了;可以看到重建並不完美,有些區域因為缺少觀測而補不起來,原因稍後會談到。

他接著把流程再走一遍:相機每拍一張就放一個 3D 座標系,相鄰兩幀之間的運動用轉換矩陣(旋轉加平移)描述,C3TC1 = C3TC2 C2TC1 把多段串起來。同一個 3D 點在不同相機座標系裡有不同座標,轉到同一個座標系才會一致。完整的重建流程是:深度影像經針孔相機模型反投影成 3D 表面,找對應關係、估計相機姿態,再把各幀的點轉到共同座標系,合併成持久地圖。上週漏講的,正是中間「怎麼估計兩幀之間的轉換」。

已知對應關係:點雲配準有直接解

看老師講解(16:10)
Point cloud alignment and pose estimation task
任務:相機 A、B 從不同角度看到同一個表面,各得到一組點雲 AS、BS。要求出 ATB,讓 BS 轉到 A 的參考座標系後,與 AS 的距離最小。 YouTube · 16:10

相機 A 看到表面的一部分,相機 B 往右移一點、轉個角度,看到另一部分。兩組點有一段是同一塊表面,只是位在不同座標系,所以座標不同。要找的是兩個相機座標系之間的旋轉與平移:用這個轉換把 B 的點搬到 A 的座標系,重疊的點應該疊在一起,所以要最小化兩者的距離。

如果已知資料關聯(data association)——也就是知道哪一個點對應到哪一個點,它們在 3D 中是同一點、只是座標系不同——就把所有對應點的距離加總,找出讓總和最小的轉換矩陣。轉換估得完全正確時總和是 0,實際上做不到,所以是取最小值。

Point cloud registration with known data association: optimal and direct solution
已知資料關聯時,點雲配準有最佳且直接的解:旋轉 ARB = UVT,平移 AtB = μA − ARBμB。完整推導見投影片附的影片連結。 YouTube · 21:21
重點:只要知道哪些點互相對應,旋轉與平移就有直接的最佳解;真正的難題是現實中不知道對應關係。

不知道對應關係:ICP 迭代最近點

看老師講解(22:34)
Iterative Closest Points (ICP) Algorithm
ICP 的核心是反覆修正相對姿態估計:為每個(藍色)點找最近的(紅色)點當對應點;固定這組配對,求讓距離平方和最小的轉換;套用到藍色點、更新誤差;誤差大於門檻且迭代次數未達上限,就回到第一步。右下角的前提:兩組點雲要夠接近。 YouTube · 22:34

現實中拿不到對應關係,就不能直接套用上面的解。ICP(iterative closest point)的想法是:既然沒辦法一步得到最佳解,就迭代逼近。它做了一個假設——如果是同一個點,兩者應該離得很近,所以把最近點當成對應點。有了對應點,就能用前面的直接解算出旋轉與平移,把藍色點轉過去。但「最近」不等於「對應」,第一次轉完通常還不夠貼近,於是計算兩組點之間的距離總和當作誤差:小於預先定好的門檻就停,否則回到第一步重新找最近點,直到誤差夠小,或迭代次數多到太花時間為止。

Vanilla ICP
基本版 ICP:容易實作,給了好的初始猜測(大致的旋轉與平移)就能運作;但可能要迭代很多次才找到好解,錯誤的對應點也會拉低對齊效果。 YouTube · 31:45

講者特別點出這個演算法有很多沒定義清楚的地方:「最近點」要取幾個?門檻值怎麼定?迭代幾次?「兩組點雲夠接近」又是多近?這些都是實作時一定會遇到的超參數問題。作業一會讓大家自己定義、嘗試不同設定,觀察它們如何影響重建結果並分析原因。

Select Source Points: feature-based sampling
挑選來源點:以特徵為基礎取樣,從約 200,000 個點降到約 5,000 個點,留下牆面、門框邊緣這類有辨識度的位置。 YouTube · 33:02

另一個改進方向是不要用全部的點。直接拿原始點雲算最近點,等於 20 萬個點對 20 萬個點,計算量很大;而且很多點長得都一樣。講者舉教室的白板為例:從兩個角度拍同一塊白板,很難知道某一點在另一張影像的哪裡,邊緣卻提供了清楚的參考。挑出有辨識度的點,除了把計算量從 20 萬個點降到 5,000 個,更重要的是讓對應點找得更準。

講者也說明作業一本週釋出。這學期的作業重新設計過,會明確定義上面這些模糊的地方;重建難免會失敗,作業也會提供辨識失敗情況、移除有問題資料的機制。作業二、作業三與期末專題也會比照辦理。

重點:ICP 用「最近點」猜對應關係,再用迭代彌補猜錯的部分;它需要好的初始猜測,而對應點選得好不好,直接決定轉換估得準不準。

兩個現實問題:漂移與會動的世界

看老師講解(40:06)

理想情況下重建完美、轉換也估得準,現實中至少有兩個問題。第一是上一講提過的漂移:1 到 2、2 到 3 的轉換各帶一點小誤差,連乘起來就累積成大誤差。完整的 SLAM 不能只做兩兩配準,還要做迴路閉合——回到同一個地方時認出這是同一點,再用這個資訊重新校正整個重建。

What Happens When the World Is Not Static?
世界不是靜態的時候:關鍵假設是環境大致靜止(同一個實體點在不同幀的觀測,對應到固定的 3D 位置)。移動的物體違反這個假設,帶來不一致的對應點,結果是相機姿態估錯、地圖被汙染。怎麼區分相機運動與物體運動?參考 Salas-Moreno 等人的〈SLAM at the Level of Objects〉。 YouTube · 40:06

第二是靜態世界假設。估計兩組點之間的轉換時,預設世界不動、只有相機在動,才找得到一致的對應點。上週示範時,有些同學的臉或物品沒重建好,原因之一就是人在動。動態物體會產生不一致的對應關係,破壞前面的最佳化,導致相機姿態估錯、地圖毀損。相機與物體同時在動時,問題更難,這超出本講範圍,有興趣可以看在物體層級做 SLAM 的這篇論文。

進入深度估計:從視覺觀測推出 3D

看老師講解(43:13)
Focus of 10/13's Lecture
本講三個重點:說明深度的模糊性(為什麼從 2D 觀測還原 3D 結構本質上就難)、透過幾何還原深度(多個觀測與幾何約束如何讓 3D 重建可行)、從視覺資料學習深度(學習式方法如何從視覺線索估計深度)。核心問題:智慧 agent 如何從視覺觀測推斷 3D 資訊,以支援感知、決策與物理互動? YouTube · 43:13

補完第 5 講後,正式進入本講主題:深度估計。講者強調核心問題的後半句:談深度估計時,很容易以為目標就是把深度估準;但 agent 用視覺觀測理解世界,最終是為了與物理世界互動。這一講要一直把深度估計連回感知、決策與物理互動。

Image Formation: geometric and photometric relation
成像:把 3D 場景投影到 2D 平面,是場景與影像之間的幾何與光度關係。 YouTube · 45:12

成像(image formation)本身就是一門課的份量,講者只點出兩面。幾何的部分上週用針孔相機模型談過;光度的部分是:光從光源射出,可能在不同表面反射、甚至反射好幾次,最後才進入鏡頭打到成像平面,我們看到的是各種光線混合的結果。這和主動式感測器(自己打光、接收回波)很不一樣,相機是被動接收自然光。

針孔成像的概念可以追溯到西元前 500 年,由中國與希臘的先驅發現:暗室牆上開個小洞,外面的景物就會倒著映在白牆上,這就是暗箱。投影方式分兩種:正交投影把物體直接映到成像平面,大小不變,常見於焦距很長的鏡頭;一般相機是透視投影,遠的物體變小、近的變大。透視投影的代價是丟掉 3D 資訊——只有像素位置、沒有 Z,就無法反投影回 XYZ。

為什麼單張影像推不出深度

看老師講解(50:22)
Why Is Monocular Depth Estimation an Ill-Posed Problem?
單目深度估計為什麼是 ill-posed 問題?照片裡的人看起來在踢比薩斜塔,常識告訴我們人離相機很近、塔很遠。右圖:同一條射線上的所有點都投影到同一個像素 p——這是從 3D 映射到 2D 時本質上的模糊性。 YouTube · 50:22

大家都拍過這種錯位照:人離相機可能只有 2 公尺,塔可能在 20 公尺外,影像上卻像緊挨在一起。如果只有這張影像,要推出背後的深度非常困難。原因上週就說過:從相機原點畫一條射線,射線上每個點都會落在同一個像素上,只要點在那條射線上,就分不出遠近。這就是單目深度估計被稱為 ill-posed(不適定)問題的原因。

How could we address this challenge?
怎麼解決?三個方向:多個觀測(從不同視角拍攝的影像)、幾何約束(利用相機校正、運動與三角測量)、學習得到的先驗(運用關於物體、環境與空間關係的既有知識)。 YouTube · 1:04:25
重點:一張影像只告訴你每個像素在哪條射線上;要決定沿著射線有多遠,得加入更多觀測、幾何約束或先驗知識。

Structure from Motion:從多張影像還原結構

看老師講解(1:05:59)
How Does SfM Work?
SfM 的流程:影像 → 特徵偵測 → 特徵匹配 → 相機姿態估計 → 三角測量 → bundle adjustment → 3D 重建。 YouTube · 1:05:59

第一個方向是用多張影像。structure from motion(SfM)能從兩張以上的影像自動還原相機運動與場景結構。講者只講每一步的高階概念,細節留給電腦視覺課;他說這些概念之後會以不同形式出現在第二、第三種方法裡,所以值得先建立起來。

SIFT feature matches between two photos of Notre-Dame
兩張巴黎聖母院的照片,綠線連起 SIFT 特徵匹配出的對應點(紅線是錯誤匹配)。兩張的拍攝距離與視角都不同,電腦仍要認出同一個點。 YouTube · 1:07:31

第一步是特徵偵測與匹配。經典演算法是 David Lowe 在 1999 年提出的 SIFT(尺度不變特徵轉換),它找出的特徵點對影像縮放、平移、旋轉不變,對光照與視角變化也有部分不變性。人一眼就知道兩張照片裡是同一個點,但電腦得處理一張近、一張遠的尺度差異,角度也略有不同;如果一張在陰影下、一張被陽光直射,匹配又更難。

要注意的是,這裡找到的是 2D 的對應點,和 ICP 在 3D 找對應點不同。只知道 2D 對應,還不知道 3D 結構,需要再多一步。

Epipolar Geometry: epipolar constraint and essential matrix
極線幾何:兩張影像中的對應點滿足極線約束 x̃2TẼx̃1 = 0,其中本質矩陣 Ẽ = [t]×R,R 是相對旋轉、t 是相對平移。影像中的對應點約束了相機的相對姿態。 YouTube · 1:13:23

下一步是相機姿態估計,用的是極線幾何:一個 3D 點 X 與兩個相機中心張出一個極平面;X 在第一張影像的投影,其對應點在第二張影像中必定落在一條極線上。由此推出極線約束,把多組對應點代進方程式,就能解出兩台相機之間的旋轉與平移。

這裡有一個要小心的現象:尺度不定。從兩張單目影像還原出來的平移沒有實際的公制大小——算出一個數字,不代表相機真的移動了 10 公分,也可能是 1 公尺。這是 SfM 的根本限制。

三角測量、bundle adjustment 與 COLMAP

看老師講解(1:18:32)
Triangulation Uncertainty
三角測量的不確定性:兩條射線夾角大時,交會的陰影區域小、位置確定;越接近平行,不確定性越大。取捨在於:視角相近時特徵比較好匹配,三角測量卻比較不準。 YouTube · 1:18:32

知道相機內參(焦距、主點 u₀、v₀)以及兩台相機之間的外參(旋轉與平移)後,用三角測量找出 3D 點:把未知的 3D 點投影到各個相機的成像平面,計算它與實際觀測到的 2D 點的差距,對所有點對最小化這個差距。兩台相機的射線夾角大,對應點比較難找,但 3D 位置比較確定;靠得近時對應點好找,不確定性卻會增加;完全平行時,就和單張影像一樣分不出點在射線上的哪裡。

Bundle Adjustment
Bundle adjustment:用大量影像一起最佳化,目標是最小化重投影誤差(觀測到的點,與 3D 點投影到成像平面上的位置之間的距離),對相機參數求最佳解。 YouTube · 1:19:50

三角測量只用兩張影像、並假設相機姿態已知,提供初步的幾何重建。bundle adjustment(光束法平差)則用多張影像,同時修正相機姿態與 3D 點,最小化所有觀測的重投影誤差,提升整體與局部的一致性。

Building Rome in a Day: Colosseum reconstruction
Building Rome in a Day:用約 2.1 萬張照片,以 SfM 流程重建出羅馬競技場。 YouTube · 1:21:35

現代的 SfM 代表是開源的 COLMAP,誰都可以試。它的一個重要改變是增量式重建:一次把所有觀測丟進聯合最佳化太難,所以從兩個視角開始,逐步加入更多相機;找對應點時也不只比對相鄰的幀,而是跨越所有影像找最好的匹配。

Street scene reconstructed with COLMAP from a car-mounted camera
講者自己的例子:用裝在車上的相機拍一連串影像,丟進 COLMAP 重建出街景,樹木、三角錐等結構都很清楚,還能在 3D 中旋轉檢視。 YouTube · 1:24:04

但他提醒,這不是真實尺度:看得出哪個比較近、哪個比較遠,卻沒辦法知道某輛車離相機是不是 5 公尺。

COLMAP Failures: failure cases and violated requirements
COLMAP 失敗的情況與違反的條件:相機純旋轉(三角測量需要足夠的視差)、缺乏紋理的環境(需要可靠的視覺對應)、動態物體(需要靜態的場景幾何)、重複的結構(需要不模糊的資料關聯)、視角重疊不足(各視角之間要有足夠的共同可見結構)。 YouTube · 1:25:28

這張表和作業一直接相關:講者說會刻意把這些失敗情況放進資料,同學要能辨識哪裡違反了條件,把那些資料移除或重新收集。如果把每一筆資料都丟進演算法,重建結果可能很差——花了很多時間寫程式、收資料,卻拿不回想要的重建。作業會提供系統化的方式,幫大家找出失敗發生在哪裡。

重點:成功的幾何重建,取決於觀測的品質,以及幾何假設是否成立。

尺度不定與立體相機

看老師講解(1:28:11)
Scale Ambiguity: World A vs World B
尺度不定:多個單目觀測只能把幾何還原到一個未知的全域尺度。世界 A:相機平移 0.1 m、物體距離 1 m;世界 B:相機平移 1 m、物體距離 10 m。只要幾何等比例縮放,兩者產生的影像投影完全相同。 YouTube · 1:28:11

回到尺度不定。SfM 能還原結構,但不知道東西離我 1 公尺還是 10 公尺:相機移動 0.1 公尺去看 1 公尺外的物體,和移動 1 公尺去看 10 公尺外的物體,拍出來的影像一模一樣。

Stereo Camera with Known Baseline
已知基線的立體相機:相機平移(視角改變)後,同一個 3D 點投影到不同的 2D 位置;這個 2D 位移就是立體視差。 YouTube · 1:29:53

解法的靈感來自人的視覺:兩眼之間的距離是固定的,利用這個已知的距離,就能找出兩條射線的交點。立體相機模仿這個設定:一台相機在左、另一台往右移一段已知的距離。講者在課堂上請大家做個小實驗:閉上一隻眼,用大拇指遮住前方的東西,再換另一隻眼——大拇指看起來移動了,這就是雙眼視差。人眼能判斷誰近誰遠,卻說不出確切距離;立體相機則能把距離算出來。

SfM vs. Stereo comparison table
SfM 與立體視覺:SfM 的相機姿態未知、要從影像估計,使用多個視角,對單目 SfM 而言深度尺度通常不確定,主要挑戰是同時估計相機與結構;立體相機的相對幾何已知,通常是兩張同步拍攝的影像,基線經過校正,可以還原公制深度,主要挑戰是找到準確的對應點。 YouTube · 1:30:28

換個角度看兩者的差別:SfM 要估計旋轉與平移;立體相機若兩台相機剛好平行,就沒有旋轉,只有沿 x 軸固定移動 b 的平移,轉換估計的不確定性就消失了。實際上很難把兩台相機裝得完全平行,所以會先用影像校正(rectification)把兩張影像轉成平行的狀態。

從視差算出深度:Z = bf/d

看老師講解(1:38:17)
Disparity and Depth: similar triangles in a stereo rig
視差與深度:兩台平行相機的原點 OR、OT 相距基線 b,3D 點 P 在兩張影像上的投影是 p、p′。由相似三角形 POROT 與 Ppp′ 得 b/Z = ((b + xT) − xR)/(Z − f),整理後 Z = bf/(xR − xT) = bf/d,其中 xR − xT 就是視差。 YouTube · 1:38:17

推導用兩個相似三角形。大三角形是 P 與兩個相機原點,底邊是基線 b、高是深度 Z;小三角形是 P 與兩個投影點 p、p′,高是 Z − f。p 與 p′ 的距離可以借一個平行四邊形算出:從影像邊界到 p′ 是 b + xT,再減掉邊界到 p 的 xR。兩個三角形的比例相等,整理後得到 Z = bf/d:深度由基線、焦距與視差三個量決定。

基線通常可以從相機規格表查到,講者展示的 Intel RealSense 規格表上就寫著 55 mm;焦距同樣可以查規格,或用相機校正取得。所以真正要算的只剩視差。講者問同學:要算 xR 與 xT,前提是什麼?答案是先知道 p 與 p′ 是同一個 3D 點的投影,也就是它們是對應點。

重點:計算視差的前提是找到對應點;沒有對應點,就算不出視差,也推不出深度。

講者引用電腦視覺界一位知名學者的話:「電腦視覺最重要的三個問題是什麼?第一是對應,第二是對應,第三還是對應。」這一講已經出現三次:SLAM 要在 3D 找對應點,SfM 要在 2D 找對應點,立體相機算深度也要找對應點。這是電腦視覺最具挑戰的問題之一,也是推斷 3D 場景結構不可或缺的前提。

找對應點:沿著掃描線比對視窗

看老師講解(2:11:37)
Correspondence: using window-based correlation (SSD)
用視窗相關性找對應點:在左影像取一個像素周圍的小視窗,沿著右影像同一條掃描線逐一比較,計算平方差和 SSD = ||PatchL − PatchR||²,SSD 最小的位置就是對應點。 YouTube · 2:11:37

立體相機有一個很方便的性質:兩台相機平行時,對應點一定在同一條水平線上,只要沿著那條線搜尋。做法是在左影像的像素周圍取一個 5×5 的視窗,在右影像那條掃描線上從最左邊一路比到最右邊,計算兩個視窗各像素灰階值之差的平方和,取最小者當對應點,再數出 xR 與 xT 差了幾個像素。要注意單位:基線與焦距是公釐,視差卻是像素數,必須換算成同樣的單位。

Depth example captured with an Intel D435 stereo camera
上週也放過的 Intel D435 範例影片:右邊是立體相機估出的深度,桿子看起來比實際寬、邊緣斷斷續續,手的一部分忽近忽遠,整體相當雜亂。 YouTube · 2:15:06

講者請大家猜原因。同學回答:視差計算要先找到對應點。換句話說,對應點找錯,視差就不準,深度估計就充滿雜訊。桿子變寬,可能是桿子周圍的點錯配到桿子上,看起來就比較靠近相機;畫面不穩定,則是因為對應點每次都有一點差異,視差也許只差 0.1,但深度和視差成反比,換算成深度就差很多。邊緣附近的誤差特別大,正是對應點容易找錯的地方。

Challenges: occluded regions, shiny surface, textureless regions
找對應點的難處:被遮蔽的區域(在另一張影像裡看不到)、反光表面(兩個視角看到的反光不同)、缺乏紋理的區域(找不到唯一的匹配)。投影片最後問:能不能不找對應點就估計深度? YouTube · 2:20:36

能不能不找對應點就估計深度?可以,那是本講原訂的第三部分「從視覺資料學習深度」。這次沒有時間講到,留到下週。

視差誤差會隨距離平方放大

看老師講解(2:22:27)
How Does Disparity Error (Matching Error) Affect Depth Accuracy?
視差誤差(匹配誤差)如何影響深度準確度:Z = fB/d,對 d 取偏微分得 ∂Z/∂d = −fB/d²,整理成 |ΔZ| ≈ Z²|Δd|/(fB)。視差的不確定性固定時,深度的不確定性大約隨距離平方成長。 YouTube · 2:22:27

對 d 取偏微分、再把 d 用 Z 代回去,可以得到一個粗略的關係:視差上的小誤差,會乘上物體距離的平方變成深度誤差。物體越遠,同樣的匹配誤差就造成越大的深度誤差。

Depth Uncertainty of a Bumblebee2 stereo camera
深度不確定性:以 Bumblebee2 立體相機為例,右圖的橢圓代表各位置的不確定性,離相機越遠拉得越長。立體相機也許很適合桌面操作,對遠處的物體就力不從心。 YouTube · 2:24:04

這也呼應講者上週說過的:立體相機在一定距離內(例如桌面操作)還可以,要用在戶外、物體在 10 公尺、20 公尺、50 公尺外的場景就不適合,誤差會隨距離平方成長。

How Can We Improve Stereo Depth Accuracy?
怎麼提升立體深度的準確度?加大相機基線、提高以像素為單位的焦距、提升視差估計的精度。例如加大基線能提升深度精度,但遮蔽與視角變化也會讓匹配更困難。 YouTube · 2:24:56

每個參數都有利弊:為了降低深度誤差而改變這些因素,同時也會影響其他方面的表現。

機器人需要哪一種深度

看老師講解(2:25:57)
Relative Depth vs. Metric Depth
相對深度與公制深度:單目深度模型可能只預測相對深度,無法確定絕對距離。順序深度只知道 A 比 B 近;尺度不定的深度知道相對幾何與深度比例,但不知道絕對尺度;公制深度才是實際物理單位的距離。對機器人來說,只知道 A 比 B 近,不足以決定手臂要伸多遠。 YouTube · 2:25:57

SfM 給的是尺度不定的深度,立體相機給的是公制深度。講者回到一開始的問題:對機器人而言,知道哪個物體比較近,對理解場景有幫助;但要導航或抓取,就得知道物體確切在哪裡。順序深度不夠,尺度不定的深度也不能讓機器人真的抓到東西,需要的是公制深度。原本接下來要講學習式的單目深度估計,講者因為時間關係先跳過,直接進入結論。

評估深度估計:準確度不等於能支撐行動

看老師講解(2:28:11)
Existing Depth Estimation Benchmarks
現有的深度估計 benchmark:一篇論文在 NYUv2 與 KITTI 公制深度 benchmark 上與多種方法比較,指標包括絕對相對誤差(AbsRel)、均方根誤差(RMSE)與門檻準確率。 YouTube · 2:28:11

學界有大量研究在持續提升深度估計的準確度。講者隨手拿一篇論文的比較表:表上列了許多方法,用幾種指標衡量估計值與真實值的差距,再互相比較。

Application vs. important depth properties
不同應用重視的深度性質:影像編輯——相對深度與視覺一致性;場景理解——深度順序與空間關係;導航——障礙物距離與量測可靠度;機器人操作——公制準確度與物體邊界精度;人機互動——在人與移動物體周圍的可靠度。深度估計不只要用預測準確度評估,也要看它能不能支撐可靠的物理行動。 YouTube · 2:29:02

對影像編輯或場景理解,看預測準確度就夠了;應用一旦換成導航、操作或人機互動,就要知道物體與障礙物在哪裡,才能做出對應的反應。在表上拿到最好成績的方法,是不是就最適合物理行動?講者的回答是:不一定。

Does Better Depth Accuracy Lead to Better Robot Navigation?
更好的深度準確度會帶來更好的機器人導航嗎?以在有障礙物與行人的室內環境中導航的移動機器人為例:模型 A 平均深度誤差 2 cm、模型 B 4 cm;自由空間的誤差 A 低、B 中等;障礙物附近的誤差 A 高、B 低;碰撞率 A 15%、B 2%;導航成功率 A 70%、B 95%。所有深度誤差都該一視同仁嗎? YouTube · 2:32:43

只看第一列,會以為模型 A 比較好;往下看,障礙物附近的誤差、碰撞率與導航成功率都是 B 勝出。可能的原因是:影像裡大部分像素都不是物體,模型 A 在這些像素上做得很好,物體附近卻比較差;但物體的像素少,全域平均時影響不大,平均誤差就顯得比較低。模型 B 在背景上做得沒那麼好,物體的深度卻估得相當準,而這正是導航最需要的資訊。

講者要大家記住:看到一個數字時要仔細檢查,不要把它當成金科玉律、只想著要打敗它。這個數字可能只在某些條件下成立,換個角度看,會看到完全不同的世界;為什麼平均表現好、導航卻不好,背後的落差要自己去挖。所謂魔鬼藏在細節裡,就是這個意思。

重點:如果每個像素的深度誤差都一視同仁,可能看不出模型在障礙物附近的弱點;評估要對準應用真正需要的能力。

總結:精確重建不是最終目標

看老師講解(2:40:33)
Takeaways
本講結論:深度本質上是模糊的(單張 2D 影像無法唯一決定物理世界的 3D 結構);幾何提供約束(多個觀測、相機運動與幾何關係讓我們能還原 3D 結構);學習提供先驗(學習式模型利用視覺規律與訓練資料預測深度,即使沒有多視角觀測也行)。精確的 3D 重建不是最終目標,目標是還原能讓智慧 agent 與物理世界可靠互動的空間資訊。 YouTube · 2:40:33

講者再次強調最後一點:精確重建很重要,但不一定是最終目標。對場景理解或影像編輯,重建精度就是重點;對這門課關心的應用,就算有完美的重建,如果接下來規劃怎麼行動、怎麼對物理世界做出反應、怎麼理解世界的性質都做不好,也不代表能可靠地與物理世界互動。不同應用有各自的目標,要先決定自己的目標是什麼。下週會補上這次沒講的第三部分(學習式深度估計),並接上第 7 週的路徑規劃與機器人導航。

複習與理解檢核

這一講要同時掌握演算法前提與應用後果。回答時請刻意指出:哪些量已知、哪些量要估、哪個假設若不成立就會失敗。

一、點雲配準與 ICP

  1. 兩組點雲做 registration 的目標是什麼?要求出的 ATB 如何被使用?
  2. 已知 3D 對應點時,為什麼旋轉與平移有直接最佳解?真正困難的是哪一部分?
  3. 按順序說明 ICP 的迭代流程:找對應、求轉換、更新、判斷停止。
  4. 「最近點」為什麼不一定是「同一個實體點」?錯誤對應會如何影響結果?
  5. ICP 為什麼需要好的初始猜測?誤差門檻、最大迭代次數、取樣方式各控制什麼?
  6. 特徵式取樣為什麼可能同時降低計算量並提高配準品質?白牆與門框哪個更有辨識度?
  7. 動態物體如何違反靜態世界假設,進而汙染姿態估計與地圖?
作答檢核
  1. 找旋轉和平移,使 B 轉到 A 後重疊區域距離最小,並用此轉換統一座標系。
  2. 固定配對後可最小化對應點距離並解析求解;難點是現實中不知道資料關聯。
  3. 最近點暫當對應→固定配對求最佳 R,t→轉換來源點並計算誤差→未達門檻且未超上限就重複。
  4. 相近可能只是幾何巧合;錯配會把最佳化拉向錯誤姿態,甚至收斂到局部錯解。
  5. 起點太遠時最近點假設失效;門檻定精度,迭代上限定成本,取樣影響速度與幾何約束力。
  6. 移除大量相似平面點、保留邊緣與角點;門框通常比白牆更容易唯一匹配。
  7. 同一實體點的位置不再固定,演算法會把物體運動誤認成相機運動,造成錯配與重影。

二、單目深度與 SfM

  1. 為什麼 monocular depth 是 ill-posed problem?請用「同一像素、同一射線」解釋。
  2. 要解除單張影像的深度模糊性,可以加入哪三類資訊?
  3. 依序說明 SfM:特徵偵測、匹配、相機姿態、三角測量、bundle adjustment,各步驟解決什麼?
  4. SIFT 類特徵為什麼要對尺度、旋轉、光照與視角變化具有一定穩健性?
  5. 極線約束如何把兩張影像的 2D 對應點和相機相對姿態連起來?
  6. 三角測量時,視角太近與視角太遠各有什麼取捨?兩條射線接近平行時為什麼不確定性很大?
  7. bundle adjustment 比只做兩張影像三角測量多最佳化了什麼?重投影誤差代表什麼?
  8. COLMAP 在純旋轉、無紋理、動態物體、重複結構或視角重疊不足時,分別破壞了哪個必要條件?
作答檢核
  1. 3D 投影到 2D 時丟失 Z;射線上任意深度都能落到同一像素,單一觀測沒有唯一解。
  2. 多個觀測、相機與場景的幾何約束、從資料學到的物體/空間先驗。
  3. 找穩定點→建立 2D 資料關聯→估相機關係→恢復初始 3D 點→聯合修正相機與結構。
  4. 同一物理點在不同照片的大小、方向、亮度與外觀會改變,描述子仍須把它認成同一點。
  5. 對應點必須落在極線上,多組約束可求含相對 R,t 的本質矩陣。
  6. 近視角易匹配但基線小、射線近乎平行;大視角三角測量較準但外觀差異使匹配更難。
  7. 同時調整多台相機姿態與 3D 點;誤差是預測投影位置和實際 2D 觀測之差。
  8. 依序破壞視差、可靠特徵、靜態幾何、唯一資料關聯、共同可見結構。

三、尺度、立體視覺與誤差

  1. 用世界 A(0.1 m/1 m)與世界 B(1 m/10 m)說明 SfM 的 scale ambiguity。
  2. 立體相機如何用已知 baseline 補回公制尺度?SfM 與 stereo 的已知量、未知量有何不同?
  3. 從幾何意義解釋 Z = bf/d。物體越近時視差如何變化?
  4. 為什麼立體視覺最核心的問題仍是 correspondence?影像校正後,搜尋範圍如何被簡化?
  5. 用視窗 SSD 找對應點的流程是什麼?遮蔽、反光與無紋理區域為什麼容易失敗?
  6. 由 |ΔZ| ≈ Z²|Δd|/(fB) 說明遠距深度為何迅速不可靠。加大 baseline、提高焦距、改善視差各有何代價?
  7. ordinal depth、scale-ambiguous depth、metric depth 各提供什麼資訊?機器人抓取通常需要哪一種?
作答檢核
  1. 整個世界與相機位移等比例放大會產生相同投影,所以影像只能恢復相對結構,不能決定真實公尺數。
  2. 固定且校正過的 b 提供物理尺;SfM 要估相機姿態且尺度未知,stereo 的相對幾何已知、主要估視差。
  3. 深度和基線、焦距成正比,和視差成反比;近物體在左右影像位移較大。
  4. 必須確認左右像素來自同一 3D 點;rectification 後對應點位於同一水平掃描線。
  5. 沿掃描線比較小視窗並取 SSD 最小處;另一視角看不到、外觀隨角度變、或各位置長得相同時無唯一匹配。
  6. 誤差隨 Z² 增長;大基線增加遮蔽/視角差,高焦距縮小視野,精細視差增加演算法與計算需求。
  7. 只有前後順序、相對比例結構、真實物理距離;抓取與精確導航通常需要 metric depth。

四、評估與系統設計

  1. 模型 A 平均深度誤差較低卻碰撞更多,模型 B 平均誤差較高卻導航更成功。這如何可能?
  2. 為影像編輯、場景理解、導航、機器人操作、人機互動,各指出最重要的一項深度性質。
  3. 替室內導航設計一個比全域平均誤差更合理的評估:哪些區域應加權?還要量測哪些下游結果?
  4. ICP 的初始猜測可以從哪些感測器或先驗取得?你會用哪些訊號判斷它收斂到錯誤解?
  5. 桌面立體相機改拿去看 10 公尺外行人時,你會選擇換硬體、改演算法或縮小 ODD?請用誤差式和任務風險辯護。
作答檢核
  1. 大部分背景像素拉低 A 的平均誤差,但障礙物邊界較差;B 可能正好在決策關鍵區域更準。
  2. 可答視覺一致性、相對空間關係、障礙距離可靠度、公制與邊界精度、動態人周遭可靠度。
  3. 障礙物、邊界、行進路徑與動態人應提高權重;另測碰撞率、最小安全距離、成功率與緊急停止。
  4. IMU、輪速計、上一幀姿態、視覺特徵或已知運動;檢查殘差、對應比例、轉換突變、多感測器一致性與地圖重影。
  5. 沒有唯一選擇,但必須指出 Z² 放大、目標距離與可接受誤差,再連到感測範圍、安全後果與驗證成本。

五、最終口述挑戰

  1. 用三分鐘回答:「只有 2D 影像時,智慧 agent 如何取得可行動的 3D 資訊?」必須比較 SfM、stereo、學習先驗,並以應用導向評估收尾。
通過標準

能先指出單目模糊性,再說明多視角幾何可恢復結構但可能缺尺度、已知基線可提供公制深度、學習可加入先驗;最後強調最佳方法與指標取決於 agent 要做的物理行動,而非只看平均像素誤差。

內容整理自本專案 Lecture 6 影片及 YouTube 自動英文字幕;投影片截圖取自同一課程影片。繁中字幕已依台灣用語翻譯並通過格式驗證,專有名詞與數學符號依投影片與上下文校正,正式公開前仍建議人工複核問答與收音不清的片段。本講由每週排程自動整理上線。