攝像機成像原理概述

　　攝像機成像是將自然界中的光信號先轉換成數字信號，并在芯片上對采集到的原始數字信號做一系列圖像處理，再通過圖像編碼、傳輸、解碼最終給用戶顯示的一整套系統。

　　由于攝像機系統的復雜性，各個環節相互影響，且最終呈現給用戶的圖像主觀性是比較強的。目前衡量圖像質量的幾個重要的指標分別是亮度、顏色、清晰度、對比度和噪聲等幾個方面。對于高清攝像機而言，清晰度的重要性是不言而喻的。本文主要講述了影響攝像機清晰度的幾個重要因素，主要有：光學器件、傳感器、圖像處理以及圖像編碼。

　　光學器件對清晰度影響

　　鏡頭光圈

　　根據凸透鏡折射原理，在成像面上會有一個焦點。在攝像機進行拍攝時，調節相機鏡頭焦點，使距離相機一定距離的景物清晰成像的過程叫做對焦。因為“清晰”并不是一種絕對的概念，所以對焦點前、后一定距離內的景物的成像都可以是清晰的，這個前后范圍的總和就叫做景深。

　　一般只有那些像位置恰好在感光器件位置上面的物體可以清晰的成像，而更近和更遠的物體在感光器件上面都會形成一個彌散光斑，就是虛化現象。這個彌散斑的增大是逐步的，而感光器件的分辨率也是有限的，因此當彌散斑的大小比較小的時候，我們仍然可以認為它是清晰的。彌散斑直徑是由通過鏡頭的最外面的光線決定的。如果遮擋外圍的光線，必然壓縮彌散斑的尺寸，這樣焦點前后成像的可分辨范圍就大。這就是光圈對于景深的作用原理。光圈越大，到達感光器件的光就更多，彌散斑就會更大，景深就小。

　　鏡頭焦距

　　對焦點越遠，那么其成像越接近鏡頭，像接近鏡頭的時候，像之間的距離更小，從而彌散斑也更小，景深也會變大。故焦距最小，對焦點越遠，景深越大。

　　濾光片

　　濾光片是一種光學低通濾波器OLPF。一般由多層石英片組成，表面鍍膜。目的是濾除摩爾紋(色斑干擾)以及濾除紅外線。除摩爾紋主要是濾除圖像中的高頻成分，故其對清晰度會有影響。

　　偏振鏡

　　光在與傳播方向垂直的平面上，可以向任意方向振動。我們一般把光波電場振動方向作為光波振動方向。如果一束光線都在同一方向上振動，就稱它們是偏振光，一般自然光在各個方向振動是均勻分布的，是非偏振光。但是，光滑的非金屬表面(玻璃、水面等)在一定角度下反射形成的眩光是偏振光，偏振鏡主要是用來濾除偏振光的一種光學濾鏡。

　　傳感器對清晰度的影響

　　傳感感在攝像機系統中是非常重要的部分，它的主要功能是將光信號轉換成數字信號，它的性能直接決定了圖像質量的好壞。影響清晰度的幾個主要方面是：分辨率、靶面大小以及寬動態。

　　傳感器分辨率

　　傳感器分辨率越大，圖像越清晰，以下分別是300W像素分辨率和600W像素分辨率圖片。

　　傳感器靶面大小

　　一般同樣大小的分辨率傳感器，靶面大的傳感器在單位面積上像素點少，對圖像中的高頻成分區分度更高，故拍攝出來的圖像也更清晰。

　　寬動態

　　寬動態攝像機在某些寬動態場景下發揮著重要作用，帶寬動態功能的sensor能夠將暗處和亮處的細節部分都能還原出來，這彌補了線性sensor的不足。寬動態sensor是將多幀曝光進行融合后輸出，長曝光幀保留暗處的細節、短曝光幀保留亮處的細節。

　　ISP對清晰度的影響

　　攝像機中的ISP處理模塊很多，也是一個非常重要的部分。其算法的優劣直接影響圖像質量。其中對清晰度影響的模塊主要有：曝光時間、壞點校正、降噪濾波、插值模塊、對比度增強模塊、邊緣增強模塊等。

　　曝光時間

　　圖像傳感器完成光電轉換的過程是一個對時間積分的過程，在一定的時間間隔內光電流通過積累成為電荷，再經過模數轉換成數字信號。這個積分時間長度就是曝光時間。倘若這個時間間隔內有運動物體經過，運動矢量發生了變化，在運動物體的周圍就會形成拖尾。曝光時間越長，運動矢量越大，拖尾越明顯。

　　壞點校正

　　傳感器由于生產工藝的限制，在出廠前可能會有一些壞的像素點，在成像時會留下離散的、比較突兀(過暗或者過亮)的像素點。在ISP模塊里對其進行校正時在消除壞點的同時，也會把畫面中的某些細節當做壞點進行處理，這樣就會降低清晰度。

　　降噪濾波

　　傳感器在將光信號量化成數字信號時會引入噪聲，尤其是當光線比較弱和傳感器增益比較大時噪聲更明顯。隨后在各個ISP處理環節對圖像數字信號進行處理時都有可能會引入噪聲。降噪濾波在信號處理上是一種低通濾波器，將圖像中的高頻成分過濾掉，但是在光線比較暗或者增益比較大時，降噪濾波對于噪點和細節之間無法做到完全區分，因此在濾除噪點的同時也會將部分細節抹平從而降低圖像清晰度。

　　插值模塊

　　我們所看到圖像每一個像素點是由RGB三通道顏色組成的。而傳感器在感光時生成的raw數據只對每一個像素點產生一種顏色通道信號，插值模塊是將raw數據上每一個像素點的單色轉換成RGB三色，這樣后續就可以在RGB色彩空間進行顯示。如圖12所示，顯然這個模塊在ISP模塊中是一個非常重要的模塊，由于插值模塊在對當前像素點的其它兩通道像素點進行插值時需要參考周圍其它幾個通道的像素點值，故在圖像的高頻部分會影響圖像的清晰度。

　　對比度模塊

　　由于人眼對亮度信號特別敏感，一張圖像中暗處和亮度細節都比較突顯的時候，人眼就感覺畫面通透，清晰度比較高。對比度增強模塊就是將畫面中暗處和亮處的灰度值反差拉開，在保留暗處和亮處細節的同時，將圖像的邊緣部分起到增強清晰度的效果。

　　邊緣增強模塊

　　該模塊增強圖像邊緣部分細節，它主要是一種補償輪廓、突出邊緣信息以使圖像更為清晰的處理方法。銳化的目標實質上是要增強圖像中的高頻成分。它與降噪濾波是一個相對的處理過程。若圖像未做邊緣增強時，人眼看上去像邊緣部分不夠銳利，但是同時該模塊如果做的太強會對整體圖像引入新的噪聲。

　　圖像編碼對清晰度影響

　　對于高清攝像機而言，分辨率越高圖像信息量越大，這樣大量的圖像信息不利于傳輸和存儲，故需要將處理好的圖像信號做編碼壓縮。由于有信息的壓縮，所以圖像編碼對清晰度也會有損失。當視頻中的碼流設置的越小，壓縮比越高，圖像清晰度損失的越多。

　　在高清攝像機圖像效果里面，尤其是在光線比較微弱的低照環境下拍攝時，清晰度和噪點兩者就比較難權衡，保留清晰度的同時噪點就會起來，否則噪點抹的太平滑清晰度就不夠了。我們可以通過采用更大光圈的鏡頭，切換濾光片，采用更好的降噪濾波方法來抑制噪點的同時保證清晰度，采用更高的碼流或者更好的編碼算法來減少清晰度的損失。