本書主要介紹和探討計算機視覺的一系列核心主題,包括相機成像,圖像處理、分析和感知,三維重建等。首先介紹了相機模型、成像過程以及圖像的顏色模型、照射模型、渲染模型等;然后系統性地介紹了圖像濾波、特征提取、圖像和視頻感知與理解等多種任務,不僅詳細講解了各任務中的經典方法,還全面地介紹了前沿的基于深度學習的方法;最后介紹了三維重建中涉及的幾何原理、重建步驟以及基于深度學習的新方法。
本書針對每一個核心問題單獨成章,并著重講解基本概念。通過大量的彩圖,幫助讀者理解問題。適合作為本科及研究生的計算機視覺和數字圖像處理課程的教材,并且可以作為深度學習課程的參考書。同時,也可供對計算機視覺感興趣的相關專業人士參考。
目 錄
第1章 相機成像模型 /1
1.1 引言 /1
1.2 簡單的相機模型 /2
1.2.1 相機數學模型 /2
1.2.2 相機的內參 /4
1.2.3 相機的外參 /6
1.2.4 相機成像公式 /7
1.2.5 相機成像畸變 /7
1.3 圖像的顏色 /10
1.3.1 基于拜爾濾波器的顏色感知 /10
1.3.2 RGB顏色模型 /11
1.3.3 HSV顏色模型 /12
1.4 圖像的亮度 /14
1.4.1 空間中的光 /14
1.4.2 物體表面的光線反射 /16
1.4.3 薄透鏡成像的輻射度學 /17
1.4.4 數字成像過程 /19
1.5 渲染 /20
1.5.1 渲染方程 /20
1.5.2 光線追蹤算法 /20
1.6 本章小結 /23
第2章 圖像空間濾波 /24
2.1 引言 /24
2.2 卷積和互相關 /25
2.2.1 卷積 /25
2.2.2 互相關 /26
2.3 圖像的平滑 /28
2.3.1 鄰域均值濾波 /28
2.3.2 加權均值濾波 /28
2.3.3 高斯均值濾波 /29
2.3.4 中值濾波 /30
2.3.5 雙邊濾波 /30
2.4 圖像的銳化 /32
2.4.1 梯度銳化 /32
2.4.2 拉普拉斯算子的二階微分銳化 /33
2.4.3 非銳化掩膜與高頻提升濾波 /34
2.5 本章小結 /35
第3章 圖像特征提取 /36
3.1 引言 /36
3.2 基于非學習方法的邊緣檢測 /37
3.2.1 邊緣、導數和梯度 /39
3.2.2 邊緣的卷積形式計算 /40
3.2.3 噪聲對邊緣檢測的影響和處理方法 /41
3.2.4 Canny邊緣檢測算子 /43
3.3 基于深度學習的邊緣檢測 /45
3.3.1 HED/45
3.3.2 RCF/47
3.3.3 CASENet/49
3.4 基于非學習方法的關鍵點檢測 /51
3.4.1 角點檢測原理 /53
3.4.2 Harris角點檢測 /54
3.4.3 Harris角點檢測的優勢與不足 /58
3.4.4 高斯拉普拉斯算子 /59
3.4.5 高斯差分算子 /64
3.5 基于深度學習的語義關鍵點檢測 /65
3.5.1 基于深度學習的人臉關鍵點檢測 /65
3.5.2 人體關鍵點檢測 /69
3.5.3 房間布局估計 /74
3.6 基于非學習方法的直線檢測 /78
3.6.1 最小二乘法 /78
3.6.2 基于RANSAC的直線擬合 /82
3.6.3 霍夫變換 /84
3.7 基于深度學習的線段檢測 /87
3.7.1 基于圖表示的線段檢測 /87
3.7.2 基于向量場表示的線段檢測 /88
3.7.3 語義直線檢測及應用 /89
3.8 本章小結 /91
參考文獻 /91
第4章 圖像分類 /94
4.1 引言 /94
4.2 圖像表達 /97
4.3 基于手動特征的圖像表達 /98
4.3.1 基于顏色直方圖的圖像表達 /98
4.3.2 基于經典的視覺詞袋模型的圖像表達 /99
4.3.3 基于空間金字塔匹配模型的圖像表達 /104
4.3.4 基于壓縮感知的圖像表達 /105
4.3.5 基于高斯混合模型的圖像特征編碼 /107
4.4 基于支持向量機的圖像分類 /108
4.4.1 面向線性可分數據的支持向量機分類 /108
4.4.2 面向非線性可分數據的支持向量機分類 /114
4.4.3 基于支持向量機的多分類實現 /116
4.4.4 基于視覺詞袋模型和支持向量機的圖像分類 /116
4.5 基于自編碼器的圖像表達 /117
4.5.1 多層感知機 /118
4.5.2 自編碼器 /120
4.5.3 降噪自編碼器 /121
4.6 基于卷積神經網絡的圖像分類 /122
4.6.1 卷積神經網絡的組件 /122
4.6.2 神經網絡的訓練 /128
4.6.3 代表性圖像分類卷積神經網絡 /131
4.7 基于膠囊網絡的圖像分類 /143
4.7.1 CapsNet/144
4.7.2 堆疊膠囊自編碼器 /147
4.8 基于Transformer的圖像分類 /149
4.8.1 自然語言處理中的Transformer/149
4.8.2 基于Transformer的圖像分類 /151
4.9 本章小結 /159