在可拍照手機中每個漂亮照片的背后，都有大量的電子/光學/機械處理“魔術(shù)”在上演著。而用戶通常不留意這些處理“魔術(shù)”，因為它們靜悄悄且不為人注意地進行著。本文討論用一個可拍照手機內(nèi)的CMOS傳感器生成一個優(yōu)異圖像所面臨的各種挑戰(zhàn)。 %j. *YvveW  
#'fQx`LV  
圖1：一個數(shù)碼相機的機械示意圖，其光學系統(tǒng)和一個常規(guī)膠片相機的光學系統(tǒng)基本一致。[img][/img] `-yiVUp1:z  
c1}i|7/XSi  
圖像的生成 ]\6*2E{1m  
_M)J{ {?:  
在一個膠片相機中，通過一個光學系統(tǒng)采集的光照射在一段膠片上，膠片經(jīng)過曝光以及隨后的化學沖洗過程。而在數(shù)碼相機中，光依然是穿過一個帶有多元件鏡頭和鏡頭筒的光學系統(tǒng)，不過此時這些光是照射在一個傳感器行列陣上，該傳感器陣由幾百萬個微小圖像元素即像素組成。圖1是一個數(shù)碼相機的機械示意圖。 8umW>  
= 6.i.(L_S  
當光照射到該像素陣列上，穿過一個色彩濾波器陣列，確保只有藍色、紅色或綠色光真正到達適當?shù)南袼厣�。在每個像素上生成一個模擬信號，它再經(jīng)過一個ADC被變換成一個數(shù)字信號。該信號隨后穿過一個被稱為圖像管道(即I-Pipe)的部件，該部件由一系列使信號看起來像一幅真實照片的電子濾波器構(gòu)成。 j%ux,0Y  
H|I.h{:  
I-Pipe調(diào)整白色平衡和色彩，并消除由拍照方法本身引入的某些異常。這些異常包括鏡頭陰影、幾何失真、偏離鏡頭中心的照片跑焦模糊和數(shù)字傳感器噪聲。安捷倫的I-Pipe還把該圖像壓縮成JPEG格式以便生成可迅速寫入一個存儲媒介的容量小且精確的壓縮圖像。 .-?Txkwb  
<uXQT$@?  
對光進行預處理 J5L[)Gd)D  
&2//\Qz  
一個吸收性或反射性紅外濾波器被用來阻止780納米以上的紅外輻射，而只讓光譜的可見光部分通過。這確保圖像傳感器只關(guān)注人眼將看到的東西，并對色彩的完整度進行優(yōu)化。如果不以這種方式截斷紅外光，它就可能引起模糊并降低鏡頭所拍圖像的清晰度。 Xp?WoC N  
圖2：人眼對綠色的敏感度是對紅色和藍色的兩倍。Bayer色彩濾波器采用一行藍色和綠色濾波器與一行紅色和綠色濾波器相交替，使得綠色像素是藍色、紅色像素的兩倍。 |TRl>1rv  
sL4+O P-
 
q?=_{oH9  
一個微鏡頭還用來預處理下落光，以便這些光被盡可能地折射進垂直方向的像素中。該微鏡頭提高了該像素的感光度，它通常位于色彩濾波陣列的正上方。 a'|/=$  
r[4dGt  
色彩濾波器陣列——Bayer濾波器 jUCDf-_ m  
'~n=<Y  
光電二極管對亮度很敏感但對色彩不敏感。因而，必須采用某種機制，通過人工調(diào)整使其對特定的色彩敏感，以便這些色彩可以最終能夠展現(xiàn)在人眼前。一個色彩濾波器陣列可用來確保每個傳感器像素接收到的只是一種顏色的光：典型的是紅色、藍色或綠色。 h{.x:pPXy  
ds:&{~7L<T  
有多種不同的模式可用于色彩濾波器陣列�；�于人眼感覺顏色的方式，以及人眼對綠色的敏感度是對紅色和藍色敏感度的兩倍這個事實，意味著為了模仿人眼感覺，相機需要更多的綠色像素。在圖2所示的Bayer模式中，一行藍色和綠色濾波器與一行紅色和綠色濾波器相交替，其結(jié)果是所具有的綠色像素比藍色和紅色多出一倍。Bayer濾波器的原始輸出是一個亮度不同的藍色、綠色和紅色像素組成的馬賽克圖，其亮度變化取決于照射在一個特定像素上的光亮度。 ZL+46fj  
3fq'<5 ^  
去馬賽克效應和白色平衡 k5
6*eE
c  
4R28S]Gb  
當該色彩濾波器陣列生成一個圖像時，四個獨立的像素決定一個單一像素的顏色。這形成一個看起來不像真實圖像的分離色彩馬賽克圖。除非通過一種去馬賽克效應的算法，利用目標像素最靠近的若干像素顏色值的平均來接近目標像素的真正顏色。 nna boD  
圖3：一個微鏡頭用于把進入像素的光線盡可能折射到垂直方向上。較高端的傳感器采用一個輔助的微鏡頭把這個光再次彎曲，進一步下移像素，從而把竄入鄰近像素并引起竄擾噪聲的幾率降到最低。 2UrE>_  
K?gO]T{6  
[9,34/i  
不加任何修正的話，日光燈下拍攝的一張圖片也許看起來太綠，而日落時戶外拍攝的一張圖片也許看起來就會有些偏橙色。自動白色平衡(AWB)修正確保圖像中的白色對觀看者來說看起來是真正的白色。 C3-I5q(V]  
\$Aw[ 5&t  
圖像復原：去除有害的干擾 |v@ zyOq&b  
naiy] oY"  
在CMOS或CCD傳感器中，有幾個噪聲源加到圖像上，必須將它們?nèi)コ�或者至少是削弱。這些噪聲源是： uE^5o\To  
Q'c[yu  
1.固定模式噪聲，它在每張圖片中產(chǎn)生相同的噪聲模式。減弱這個固定模式噪聲的方法是：通過相機取一個“暗曝光”讀數(shù)(即沒有光照下的曝光)，并隨后去減一個正常曝光值。該暗狀態(tài)的輸出電流是沒有光照條件下產(chǎn)生的平均輸出電流，并將包含光電二極管的漏電流。 IIUTo  
l^;=0UR_  
2.隨機噪聲，它可能由環(huán)境溫度變化引起。一個較高的溫度通常會引起更多的電子離開其軌道并在傳感器中產(chǎn)生隨機噪聲信號。傳感器電路的散熱使其進一步惡化。如果夏天時把可拍照手機放在一輛汽車中，那么它所拍照片的噪聲將比在一個帶空調(diào)建筑物內(nèi)所拍照片的噪聲高得多。 uYMH5Om+i  
gjc[\"0a5h  
3.像素竄擾，在進入一個像素的光竄到一個鄰近像素時，就會產(chǎn)生一片“混濁”，比如說當一個紅色像素使其紅光竄入一個鄰近的藍色像素時，就會導致藍色像素中的信號不正常地增強，而紅色像素中的信號的圖像信息則丟失。 <59G  
b
w*D!mm,  
高端傳感器采用一個輔助的微鏡頭把這個光再次彎曲，進一步下移像素，從而把竄入鄰近像素并引起竄擾噪聲的幾率降到最低。 ea6`%,lF~  
圖4：一個完整成像系統(tǒng)的框圖，圖中顯示了對來自圖像傳感器的原始輸出所采取的各種形式的處理。 91:TE8?Z  
]:Sb#=,!&!  
G[s/M\l  
*ez7Q  
像素的個數(shù)只是信息捕捉能力的一個衡量。一般來說，一個較大像素的信噪比會比一個較小像素的要高，因為它有更多的面積來采集光，從而捕捉到更多的光子，因而相對于所存在的總噪聲，所產(chǎn)生的有用信號更大。 ?Suv.!wfLl  
z]n&,q,5g  
敏捷的缺陷修正 )mE67{YJh~  
0s%]%2ON  
在一個傳感器上總會有一些像素不符合制造工藝，它們存在光學瑕疵和電氣缺陷。這可能產(chǎn)生視覺效果的不理想，導致對入射光的不一致或非線性響應。 Q0(3ps~H  
jGFDj"Y  
I-Pipe確定一個像素是否有缺陷的做法是測量其輸出，然后將它同鄰近幾個像素的平均值進行對比。如果差值大于一個特定的容限，那么該像素就“標記”成缺陷像素，其輸出就不再有效。在目標像素位置的缺陷像素輸出值可以通過鄰近各像素的輸出值進行內(nèi)插獲得，然后對其求平均，作為該缺陷目標像素的一個替代輸出。 V u1|5  
4S*7*ak{  
改善退化的圖像分辨率或清晰度 ydf;g5OZ  
*%jd>e7d  
迄今為止，我們已經(jīng)明白光線是如何穿過一個光學鏡頭、一個Bayer陣列以及一個或多個微鏡頭。隨后通過去馬賽克效應、內(nèi)插、抗暈影、缺陷修正等技術(shù)重新生成一個人們熟悉的圖像。完成這么多“非自然的”電子動作會導致最終圖像的清晰度比原有的要差。而原有的更逼真的清晰度可以通過給輸出加入一部分高通信號(即只有高頻)來獲得。噪聲銳化可以減小或增加，這取決于實際加入的高頻信號的量。 @h)X3X  
Jk,}3Cr/  
暈影修正 O^<\]_l  
&C.m*^`^  
暈影是由于鏡頭和鏡頭筒的緣故在圖片邊沿產(chǎn)生的陰影或黑影。暈影修正技術(shù)通過把邊角的亮度比修正到圖片中心處的亮度比，彌補了這個缺陷。 aT}?-CUxx  
}`D-]/T8.  
改善圖像的后處理增強功能 w02t9vz  
vlx\hJ<I  
通過提高明暗區(qū)域的對比度可以改善圖像效果，從而改善所感知的圖像的豐滿度和色彩質(zhì)量。安捷倫公司在其CMOS圖像傳感器內(nèi)采用了一種名為自適應色彩調(diào)和映射的技術(shù)，通過擴展動態(tài)范圍來產(chǎn)生更真實、更豐富的色彩。邊緣圖像采用自適應色彩調(diào)和映射技術(shù)，通過自動調(diào)整色彩調(diào)和映射來改善亮度和對比度。這一技術(shù)提高了明暗區(qū)域的對比度，修補欠曝光和過曝光的圖像，從而產(chǎn)生更明亮逼真的色彩重現(xiàn)。 N7}yU~j^  
g