傳統(tǒng)針對(duì)海量圖片的檢索系統(tǒng)中，由于采用單節(jié)點(diǎn)架構(gòu)，面對(duì)海量圖片數(shù)據(jù)檢索時(shí)存在檢索速度慢、并發(fā)性差等諸多問(wèn)題。本文提出了一種海量圖片檢索方法，將圖片檢索技術(shù)與并行計(jì)算框架相結(jié)合，在分布式文件系統(tǒng)里存儲(chǔ)人臉圖像模型，計(jì)算節(jié)點(diǎn)采用分布式存儲(chǔ)調(diào)度算法，增強(qiáng)對(duì)多數(shù)據(jù)的并發(fā)處理能力，同時(shí)對(duì)計(jì)算后的數(shù)據(jù)進(jìn)行壓縮處理。首先采用海康威視自主開(kāi)發(fā)的人臉識(shí)別算法從人臉圖片里提取出人臉特征形成模型數(shù)據(jù)，然后采用多線程運(yùn)算方式與海量圖片庫(kù)進(jìn)行模型的逐一對(duì)比，采用統(tǒng)一排序節(jié)點(diǎn)接收各并行計(jì)算函數(shù)任務(wù)的計(jì)算結(jié)果，并按相似度大小進(jìn)行排序，最后根據(jù)排序結(jié)果找到最優(yōu)檢索結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法在處理大數(shù)據(jù)圖像檢索時(shí)，與單節(jié)點(diǎn)檢索系統(tǒng)相比，能夠有效降低檢索時(shí)間，提高檢索速度。同時(shí)，由于存儲(chǔ)在分布式文件系統(tǒng)內(nèi)，能夠保證人臉圖片文件的高冗余性，避免丟失數(shù)據(jù)。

　　海量人臉圖片檢索技術(shù)簡(jiǎn)介

　　圖片檢索是直接根據(jù)初始查詢圖片的視覺(jué)特征，在海量圖片庫(kù)找出與之相似的圖像，類似的應(yīng)用叫做“以圖搜圖”。利用圖片自身去檢索圖片，快速有效地提高了圖片檢索的性能，但在圖片檢索的過(guò)程中需要消耗大量的機(jī)器硬件資源，尤其是CPU資源。隨著計(jì)算機(jī)科學(xué)技術(shù)和數(shù)字圖像采集技術(shù)的迅速發(fā)展以及互聯(lián)網(wǎng)的普及應(yīng)用，每天從各行各業(yè)都產(chǎn)生出大量的多媒體數(shù)據(jù)，這些數(shù)據(jù)大部分是以圖片和視頻等形式表現(xiàn)的，傳統(tǒng)基于單節(jié)點(diǎn)架構(gòu)的圖片檢索系統(tǒng)存在檢索速度慢、并發(fā)性差，實(shí)時(shí)性和穩(wěn)定性無(wú)法保障等諸多問(wèn)題，不能滿足人們對(duì)于檢索性能的要求。因此一種基于內(nèi)容的實(shí)現(xiàn)圖片快速檢索、并行處理、及時(shí)響應(yīng)方法成為了研究熱點(diǎn)。云計(jì)算可以將任務(wù)分配到各個(gè)工作節(jié)點(diǎn)共同完成任務(wù)，具有分布式、并行處理能力，為海量人臉圖片檢索提供了一種新的研究思路。

　　海康威視采用分布式架構(gòu)構(gòu)建的海量圖片檢索系統(tǒng)依賴于自主開(kāi)發(fā)的分布式計(jì)算平臺(tái)。該平臺(tái)擁有高容錯(cuò)性、高可靠性、高效性、可擴(kuò)展的軟件體系，適合將各種資源、數(shù)據(jù)部署在廉價(jià)的機(jī)器上，進(jìn)行分布式存儲(chǔ)和分布式管理，讓用戶輕松支持上千個(gè)節(jié)點(diǎn)以及PB級(jí)數(shù)據(jù)量的運(yùn)算。

　　系統(tǒng)總體設(shè)計(jì)

　　本文所介紹的系統(tǒng)的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)海量、異構(gòu)、分布的圖片資源的快速檢索和及時(shí)響應(yīng)。系統(tǒng)采用分布式構(gòu)架，由上而下分別由表現(xiàn)層、業(yè)務(wù)邏輯層以及數(shù)據(jù)及數(shù)據(jù)處理層組成，整體框架如下圖所示。

　　圖1 整體架構(gòu)圖

　　前端用戶通過(guò)Internet獲取服務(wù)，用來(lái)上傳示例圖片和接收Web服務(wù)器的處理結(jié)果。在服務(wù)器端，業(yè)務(wù)邏輯層主要根據(jù)用戶檢索請(qǐng)求執(zhí)行相應(yīng)業(yè)務(wù)處理。數(shù)據(jù)及數(shù)據(jù)處理層包括分布式文件系統(tǒng)的存儲(chǔ)和管理模塊，海量圖片數(shù)據(jù)導(dǎo)入、請(qǐng)求模塊。數(shù)據(jù)處理層是系統(tǒng)最核心的部分，負(fù)責(zé)人臉圖片數(shù)據(jù)的分塊、人臉特征的提取、匹配以及結(jié)果的返回等。

　　本系統(tǒng)所采用的分布式文件系統(tǒng)采用Master/Slave這樣的管理者/工作者模式的架構(gòu)，即一個(gè)管理者和多個(gè)工作者方式。當(dāng)用戶通過(guò)客戶端發(fā)出請(qǐng)求對(duì)文件進(jìn)行讀寫(xiě)操作時(shí)，集群通過(guò)管理者和工作者的交互實(shí)現(xiàn)讀寫(xiě)操作。管理者是整個(gè)分布式文件系統(tǒng)的核心，用于管理數(shù)據(jù)節(jié)點(diǎn)和客戶端對(duì)文件的訪問(wèn)，管理文件系統(tǒng)的命名空間，維護(hù)整個(gè)文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，記錄和保存系統(tǒng)中所有的文件和元數(shù)據(jù)。這些信息以備份文件的形式保存在管理者節(jié)點(diǎn)計(jì)算機(jī)上，該管理者計(jì)算機(jī)又有多臺(tái)備份節(jié)點(diǎn)，一旦管理者節(jié)點(diǎn)計(jì)算機(jī)出現(xiàn)異常，備份計(jì)算機(jī)立即將所有的元數(shù)據(jù)信息讀入內(nèi)存，承擔(dān)起管理者角色。當(dāng)集群中的某一節(jié)點(diǎn)數(shù)據(jù)丟失造成任務(wù)失敗后，管理者節(jié)點(diǎn)會(huì)自動(dòng)重新部署計(jì)算任務(wù)。工作者是文件系統(tǒng)的工作節(jié)點(diǎn)，根絕需要負(fù)責(zé)存儲(chǔ)或檢索數(shù)據(jù)庫(kù)，各數(shù)據(jù)快的存儲(chǔ)位置隨系統(tǒng)的調(diào)整而改變。管理者節(jié)點(diǎn)會(huì)自動(dòng)搜集分布式文件系統(tǒng)內(nèi)的目錄信息、磁盤(pán)空間信息、備份因子、空閑的節(jié)點(diǎn)數(shù)目等信息。

　　對(duì)于大數(shù)據(jù)量的計(jì)算，通常采用的處理手法就是并行計(jì)算。首先要將一個(gè)邏輯上完整的大任務(wù)分解城若干個(gè)子任務(wù)，系統(tǒng)根據(jù)任務(wù)的信息采用適當(dāng)?shù)牟呗园巡煌娜蝿?wù)分配帶不同資源節(jié)點(diǎn)上去運(yùn)行，當(dāng)所有子任務(wù)處理結(jié)束，則完成整個(gè)大任務(wù)的一次處理，最后將處理結(jié)果傳給用戶。

　　系統(tǒng)實(shí)現(xiàn)關(guān)鍵技術(shù)

　　海量人臉圖片檢索系統(tǒng)處理的數(shù)據(jù)可以支持PB級(jí)以上的數(shù)據(jù)，這是傳統(tǒng)的單節(jié)點(diǎn)計(jì)算無(wú)法達(dá)到的。通過(guò)對(duì)較大的圖片進(jìn)行分塊處理，采用分布式存儲(chǔ)調(diào)度算法，將系統(tǒng)提升到支持多數(shù)據(jù)的并發(fā)處理，同時(shí)采用壓縮存儲(chǔ)對(duì)多數(shù)據(jù)進(jìn)行處理。

　　本系統(tǒng)在處理大塊人臉圖片文件時(shí)采用的是分塊存儲(chǔ)的方法，即將一大塊文件分塊處理成若干塊小的數(shù)據(jù)分塊，并將這些屬于同一大文件的數(shù)據(jù)分塊以一個(gè)文件的形式存儲(chǔ)，利用分布式存儲(chǔ)調(diào)度算法，將分塊后的所有數(shù)據(jù)存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上，并實(shí)施相應(yīng)的備份機(jī)制。圖片存儲(chǔ)是人臉圖片檢索的基礎(chǔ)，是一個(gè)數(shù)據(jù)密集型計(jì)算過(guò)程。經(jīng)過(guò)算法建模生成的模型值最終被存儲(chǔ)在基于列式的分布式數(shù)據(jù)庫(kù)中，當(dāng)數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)集非常大時(shí)，掃描搜索整個(gè)表要花費(fèi)比較長(zhǎng)的時(shí)間，為了減少檢索圖片的時(shí)間和提高檢索效率，可以將所有的數(shù)據(jù)讀入內(nèi)存，這樣可以在檢索時(shí)減少磁盤(pán)的I/O操作，進(jìn)而提高檢索速度。

　　并行計(jì)算框架參照MPI計(jì)算模型，實(shí)現(xiàn)了并行計(jì)算函數(shù)和統(tǒng)一排序函數(shù)。并行計(jì)算函數(shù)的功能是負(fù)責(zé)將數(shù)據(jù)分散處理，統(tǒng)一排序函數(shù)的功能是負(fù)責(zé)將處理后的中間結(jié)果進(jìn)行聚集。在整個(gè)并行計(jì)算過(guò)程中，通過(guò)調(diào)用一個(gè)并行計(jì)算函數(shù)方法對(duì)每一個(gè)鍵值對(duì)進(jìn)行處理，并將處理后的中間結(jié)果寫(xiě)入到內(nèi)存，最后保存到本地文件系統(tǒng)里。統(tǒng)一排序函數(shù)實(shí)現(xiàn)了對(duì)所有節(jié)點(diǎn)處理信息的匯總、排序、輸出。本系統(tǒng)采用的并行計(jì)算框架負(fù)責(zé)在圖片檢索過(guò)程中對(duì)圖片匹配及人臉相似度的計(jì)算，人臉相似度計(jì)算依賴海康威視自主開(kāi)發(fā)的人臉識(shí)別算法。通過(guò)調(diào)用算法庫(kù)匹配模型值，將匹配處理結(jié)果按照相似度從高到低的順序返回給用戶。通過(guò)算法庫(kù)獲取圖片中出現(xiàn)的人臉圖片并對(duì)該人臉進(jìn)行建模，然后由工作者節(jié)點(diǎn)將該模型傳送至各任務(wù)計(jì)算節(jié)點(diǎn)進(jìn)行運(yùn)行，接著每個(gè)節(jié)點(diǎn)分別返回計(jì)算結(jié)果并匯總到某一節(jié)點(diǎn)，最后由該計(jì)算節(jié)點(diǎn)匯總數(shù)據(jù)后按照相似度從高到低的順序返回用戶設(shè)定的若干條匹配人臉圖片及相關(guān)信息。　　實(shí)驗(yàn)結(jié)果及分析

　　本系統(tǒng)搭建了一個(gè)實(shí)驗(yàn)集群，該實(shí)驗(yàn)集群由四臺(tái)普通的2U服務(wù)器組成，1個(gè)Master節(jié)點(diǎn)，3個(gè)Slave節(jié)點(diǎn)。每臺(tái)機(jī)器的配置如下：CPU Intel E5，內(nèi)存DDR3 32GB，以太網(wǎng)卡100Mb/s，操作系統(tǒng)是Centos 6.2。

　　為了測(cè)試集群系統(tǒng)的性能，我們使用了不同數(shù)據(jù)級(jí)別的人臉圖片數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如下圖所示。

　　圖2 集群測(cè)試數(shù)據(jù)圖

　　測(cè)試數(shù)據(jù)樣本數(shù)量級(jí)分別為10萬(wàn)、50萬(wàn)、100萬(wàn)、500萬(wàn)、1000萬(wàn)、5000萬(wàn)、1億、2億，這8個(gè)級(jí)別的人臉圖片、基本信息及模型數(shù)據(jù)。

　　4臺(tái)機(jī)器的總內(nèi)存數(shù)量是128GB，其中操作系統(tǒng)需要占用大約4GB/臺(tái)，Master節(jié)點(diǎn)上分布式框架服務(wù)需要占用4GB，Slave節(jié)點(diǎn)上分布式框架協(xié)同管理服務(wù)需要占用2GB/臺(tái)，4臺(tái)機(jī)器剩余的可用內(nèi)存一共有102GB，每張人臉圖片的大小為10K，模型值為6K，其余人臉描述信息是4K，一共每條人臉信息需要20K，加上三份備份原則，所以102GB一共可以讀取800萬(wàn)數(shù)據(jù)到內(nèi)存。從上面數(shù)據(jù)圖可以看出，當(dāng)所有數(shù)據(jù)都在內(nèi)存中時(shí)讀取速度非常的快，每次檢索都能控制在3秒鐘以內(nèi)。隨著數(shù)據(jù)量的增大，到1000萬(wàn)時(shí)檢索耗時(shí)上升到10秒左右，原因是需要從分布式數(shù)據(jù)庫(kù)里讀取數(shù)據(jù)用于檢索，這樣增加了磁盤(pán)I/O消耗。當(dāng)數(shù)據(jù)量達(dá)到2億的頂峰時(shí)，檢索耗時(shí)也達(dá)到了頂峰的2分鐘，雖然看起來(lái)耗時(shí)增長(zhǎng)很多，但是與傳統(tǒng)架構(gòu)相比還是具有相當(dāng)大的速度優(yōu)勢(shì)。

　　從實(shí)驗(yàn)可以得出，當(dāng)集群內(nèi)存足夠大時(shí)，可以把所有的數(shù)據(jù)讀入內(nèi)存，這樣可以保證快速檢索、快速結(jié)果呈現(xiàn)，同時(shí)也能做到數(shù)據(jù)的動(dòng)態(tài)容災(zāi)備份。

　　本文總結(jié)

　　本文介紹的海量人臉圖片檢索系統(tǒng)將大數(shù)據(jù)集圖像檢索任務(wù)進(jìn)行分解，通過(guò)與分布式文件系統(tǒng)和并行計(jì)算框架相結(jié)合的應(yīng)用模式，實(shí)現(xiàn)各節(jié)點(diǎn)協(xié)同完成圖片檢索任務(wù)。通過(guò)基于若干個(gè)不同數(shù)量級(jí)別的圖片數(shù)據(jù)測(cè)試，將實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比驗(yàn)證，表明隨著數(shù)據(jù)量的快速增長(zhǎng)本系統(tǒng)不會(huì)受到太大的性能沖擊，沒(méi)有出現(xiàn)單節(jié)點(diǎn)擊器的速度慢、并發(fā)性差等問(wèn)題，有效提高了圖片檢索速度、并發(fā)性以及處理海量數(shù)據(jù)的能力。

　　未來(lái)的工作重點(diǎn)將放在如何快速地從海量視頻文件中搜索出指定的人臉圖片，并對(duì)搜索出來(lái)的圖片進(jìn)行相關(guān)性數(shù)據(jù)挖掘，通過(guò)對(duì)海量數(shù)據(jù)分析為公安機(jī)關(guān)等特定部門(mén)提供更豐富的技術(shù)手段，減少人工過(guò)濾視頻的苦惱。