DAV数字音视工程网_会议系统、指挥调度、演艺科技、智能楼宇等音视频工程信息行业门户

DAV首頁(yè)
數(shù)字音視工程網(wǎng)

微信公眾號(hào)

數(shù)字音視工程網(wǎng)

手機(jī)DAV

null
null
null
卓華,
招商,
null
null
null
快捷,
null

我的位置:

share

海康威視:海量人臉圖片檢索技術(shù)

來(lái)源:數(shù)字音視工程網(wǎng)        編輯:追憶    2014-11-03 15:38:58     加入收藏    咨詢

咨詢
所在單位:*
姓名:*
手機(jī):*
職位:
郵箱:*
其他聯(lián)系方式:
咨詢內(nèi)容:
驗(yàn)證碼:
不能為空 驗(yàn)證碼錯(cuò)誤
確定

  傳統(tǒng)針對(duì)海量圖片的檢索系統(tǒng)中,由于采用單節(jié)點(diǎn)架構(gòu),面對(duì)海量圖片數(shù)據(jù)檢索時(shí)存在檢索速度慢、并發(fā)性差等諸多問(wèn)題。本文提出了一種海量圖片檢索方法,將...

  傳統(tǒng)針對(duì)海量圖片的檢索系統(tǒng)中,由于采用單節(jié)點(diǎn)架構(gòu),面對(duì)海量圖片數(shù)據(jù)檢索時(shí)存在檢索速度慢、并發(fā)性差等諸多問(wèn)題。本文提出了一種海量圖片檢索方法,將圖片檢索技術(shù)與并行計(jì)算框架相結(jié)合,在分布式文件系統(tǒng)里存儲(chǔ)人臉圖像模型,計(jì)算節(jié)點(diǎn)采用分布式存儲(chǔ)調(diào)度算法,增強(qiáng)對(duì)多數(shù)據(jù)的并發(fā)處理能力,同時(shí)對(duì)計(jì)算后的數(shù)據(jù)進(jìn)行壓縮處理。首先采用海康威視自主開(kāi)發(fā)的人臉識(shí)別算法從人臉圖片里提取出人臉特征形成模型數(shù)據(jù),然后采用多線程運(yùn)算方式與海量圖片庫(kù)進(jìn)行模型的逐一對(duì)比,采用統(tǒng)一排序節(jié)點(diǎn)接收各并行計(jì)算函數(shù)任務(wù)的計(jì)算結(jié)果,并按相似度大小進(jìn)行排序,最后根據(jù)排序結(jié)果找到最優(yōu)檢索結(jié)果。實(shí)驗(yàn)結(jié)果表明,該方法在處理大數(shù)據(jù)圖像檢索時(shí),與單節(jié)點(diǎn)檢索系統(tǒng)相比,能夠有效降低檢索時(shí)間,提高檢索速度。同時(shí),由于存儲(chǔ)在分布式文件系統(tǒng)內(nèi),能夠保證人臉圖片文件的高冗余性,避免丟失數(shù)據(jù)。

  海量人臉圖片檢索技術(shù)簡(jiǎn)介

  圖片檢索是直接根據(jù)初始查詢圖片的視覺(jué)特征,在海量圖片庫(kù)找出與之相似的圖像,類似的應(yīng)用叫做“以圖搜圖”。利用圖片自身去檢索圖片,快速有效地提高了圖片檢索的性能,但在圖片檢索的過(guò)程中需要消耗大量的機(jī)器硬件資源,尤其是CPU資源。隨著計(jì)算機(jī)科學(xué)技術(shù)和數(shù)字圖像采集技術(shù)的迅速發(fā)展以及互聯(lián)網(wǎng)的普及應(yīng)用,每天從各行各業(yè)都產(chǎn)生出大量的多媒體數(shù)據(jù),這些數(shù)據(jù)大部分是以圖片和視頻等形式表現(xiàn)的,傳統(tǒng)基于單節(jié)點(diǎn)架構(gòu)的圖片檢索系統(tǒng)存在檢索速度慢、并發(fā)性差,實(shí)時(shí)性和穩(wěn)定性無(wú)法保障等諸多問(wèn)題,不能滿足人們對(duì)于檢索性能的要求。因此一種基于內(nèi)容的實(shí)現(xiàn)圖片快速檢索、并行處理、及時(shí)響應(yīng)方法成為了研究熱點(diǎn)。云計(jì)算可以將任務(wù)分配到各個(gè)工作節(jié)點(diǎn)共同完成任務(wù),具有分布式、并行處理能力,為海量人臉圖片檢索提供了一種新的研究思路。

  海康威視采用分布式架構(gòu)構(gòu)建的海量圖片檢索系統(tǒng)依賴于自主開(kāi)發(fā)的分布式計(jì)算平臺(tái)。該平臺(tái)擁有高容錯(cuò)性、高可靠性、高效性、可擴(kuò)展的軟件體系,適合將各種資源、數(shù)據(jù)部署在廉價(jià)的機(jī)器上,進(jìn)行分布式存儲(chǔ)和分布式管理,讓用戶輕松支持上千個(gè)節(jié)點(diǎn)以及PB級(jí)數(shù)據(jù)量的運(yùn)算。

  系統(tǒng)總體設(shè)計(jì)

  本文所介紹的系統(tǒng)的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)海量、異構(gòu)、分布的圖片資源的快速檢索和及時(shí)響應(yīng)。系統(tǒng)采用分布式構(gòu)架,由上而下分別由表現(xiàn)層、業(yè)務(wù)邏輯層以及數(shù)據(jù)及數(shù)據(jù)處理層組成,整體框架如下圖所示。

  圖1 整體架構(gòu)圖

  前端用戶通過(guò)Internet獲取服務(wù),用來(lái)上傳示例圖片和接收Web服務(wù)器的處理結(jié)果。在服務(wù)器端,業(yè)務(wù)邏輯層主要根據(jù)用戶檢索請(qǐng)求執(zhí)行相應(yīng)業(yè)務(wù)處理。數(shù)據(jù)及數(shù)據(jù)處理層包括分布式文件系統(tǒng)的存儲(chǔ)和管理模塊,海量圖片數(shù)據(jù)導(dǎo)入、請(qǐng)求模塊。數(shù)據(jù)處理層是系統(tǒng)最核心的部分,負(fù)責(zé)人臉圖片數(shù)據(jù)的分塊、人臉特征的提取、匹配以及結(jié)果的返回等。

  本系統(tǒng)所采用的分布式文件系統(tǒng)采用Master/Slave這樣的管理者/工作者模式的架構(gòu),即一個(gè)管理者和多個(gè)工作者方式。當(dāng)用戶通過(guò)客戶端發(fā)出請(qǐng)求對(duì)文件進(jìn)行讀寫(xiě)操作時(shí),集群通過(guò)管理者和工作者的交互實(shí)現(xiàn)讀寫(xiě)操作。管理者是整個(gè)分布式文件系統(tǒng)的核心,用于管理數(shù)據(jù)節(jié)點(diǎn)和客戶端對(duì)文件的訪問(wèn),管理文件系統(tǒng)的命名空間,維護(hù)整個(gè)文件系統(tǒng)的數(shù)據(jù)結(jié)構(gòu),記錄和保存系統(tǒng)中所有的文件和元數(shù)據(jù)。這些信息以備份文件的形式保存在管理者節(jié)點(diǎn)計(jì)算機(jī)上,該管理者計(jì)算機(jī)又有多臺(tái)備份節(jié)點(diǎn),一旦管理者節(jié)點(diǎn)計(jì)算機(jī)出現(xiàn)異常,備份計(jì)算機(jī)立即將所有的元數(shù)據(jù)信息讀入內(nèi)存,承擔(dān)起管理者角色。當(dāng)集群中的某一節(jié)點(diǎn)數(shù)據(jù)丟失造成任務(wù)失敗后,管理者節(jié)點(diǎn)會(huì)自動(dòng)重新部署計(jì)算任務(wù)。工作者是文件系統(tǒng)的工作節(jié)點(diǎn),根絕需要負(fù)責(zé)存儲(chǔ)或檢索數(shù)據(jù)庫(kù),各數(shù)據(jù)快的存儲(chǔ)位置隨系統(tǒng)的調(diào)整而改變。管理者節(jié)點(diǎn)會(huì)自動(dòng)搜集分布式文件系統(tǒng)內(nèi)的目錄信息、磁盤(pán)空間信息、備份因子、空閑的節(jié)點(diǎn)數(shù)目等信息。

  對(duì)于大數(shù)據(jù)量的計(jì)算,通常采用的處理手法就是并行計(jì)算。首先要將一個(gè)邏輯上完整的大任務(wù)分解城若干個(gè)子任務(wù),系統(tǒng)根據(jù)任務(wù)的信息采用適當(dāng)?shù)牟呗园巡煌娜蝿?wù)分配帶不同資源節(jié)點(diǎn)上去運(yùn)行,當(dāng)所有子任務(wù)處理結(jié)束,則完成整個(gè)大任務(wù)的一次處理,最后將處理結(jié)果傳給用戶。

  系統(tǒng)實(shí)現(xiàn)關(guān)鍵技術(shù)

  海量人臉圖片檢索系統(tǒng)處理的數(shù)據(jù)可以支持PB級(jí)以上的數(shù)據(jù),這是傳統(tǒng)的單節(jié)點(diǎn)計(jì)算無(wú)法達(dá)到的。通過(guò)對(duì)較大的圖片進(jìn)行分塊處理,采用分布式存儲(chǔ)調(diào)度算法,將系統(tǒng)提升到支持多數(shù)據(jù)的并發(fā)處理,同時(shí)采用壓縮存儲(chǔ)對(duì)多數(shù)據(jù)進(jìn)行處理。

  本系統(tǒng)在處理大塊人臉圖片文件時(shí)采用的是分塊存儲(chǔ)的方法,即將一大塊文件分塊處理成若干塊小的數(shù)據(jù)分塊,并將這些屬于同一大文件的數(shù)據(jù)分塊以一個(gè)文件的形式存儲(chǔ),利用分布式存儲(chǔ)調(diào)度算法,將分塊后的所有數(shù)據(jù)存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)上,并實(shí)施相應(yīng)的備份機(jī)制。圖片存儲(chǔ)是人臉圖片檢索的基礎(chǔ),是一個(gè)數(shù)據(jù)密集型計(jì)算過(guò)程。經(jīng)過(guò)算法建模生成的模型值最終被存儲(chǔ)在基于列式的分布式數(shù)據(jù)庫(kù)中,當(dāng)數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)集非常大時(shí),掃描搜索整個(gè)表要花費(fèi)比較長(zhǎng)的時(shí)間,為了減少檢索圖片的時(shí)間和提高檢索效率,可以將所有的數(shù)據(jù)讀入內(nèi)存,這樣可以在檢索時(shí)減少磁盤(pán)的I/O操作,進(jìn)而提高檢索速度。

  并行計(jì)算框架參照MPI計(jì)算模型,實(shí)現(xiàn)了并行計(jì)算函數(shù)和統(tǒng)一排序函數(shù)。并行計(jì)算函數(shù)的功能是負(fù)責(zé)將數(shù)據(jù)分散處理,統(tǒng)一排序函數(shù)的功能是負(fù)責(zé)將處理后的中間結(jié)果進(jìn)行聚集。在整個(gè)并行計(jì)算過(guò)程中,通過(guò)調(diào)用一個(gè)并行計(jì)算函數(shù)方法對(duì)每一個(gè)鍵值對(duì)進(jìn)行處理,并將處理后的中間結(jié)果寫(xiě)入到內(nèi)存,最后保存到本地文件系統(tǒng)里。統(tǒng)一排序函數(shù)實(shí)現(xiàn)了對(duì)所有節(jié)點(diǎn)處理信息的匯總、排序、輸出。本系統(tǒng)采用的并行計(jì)算框架負(fù)責(zé)在圖片檢索過(guò)程中對(duì)圖片匹配及人臉相似度的計(jì)算,人臉相似度計(jì)算依賴海康威視自主開(kāi)發(fā)的人臉識(shí)別算法。通過(guò)調(diào)用算法庫(kù)匹配模型值,將匹配處理結(jié)果按照相似度從高到低的順序返回給用戶。通過(guò)算法庫(kù)獲取圖片中出現(xiàn)的人臉圖片并對(duì)該人臉進(jìn)行建模,然后由工作者節(jié)點(diǎn)將該模型傳送至各任務(wù)計(jì)算節(jié)點(diǎn)進(jìn)行運(yùn)行,接著每個(gè)節(jié)點(diǎn)分別返回計(jì)算結(jié)果并匯總到某一節(jié)點(diǎn),最后由該計(jì)算節(jié)點(diǎn)匯總數(shù)據(jù)后按照相似度從高到低的順序返回用戶設(shè)定的若干條匹配人臉圖片及相關(guān)信息。  實(shí)驗(yàn)結(jié)果及分析

  本系統(tǒng)搭建了一個(gè)實(shí)驗(yàn)集群,該實(shí)驗(yàn)集群由四臺(tái)普通的2U服務(wù)器組成,1個(gè)Master節(jié)點(diǎn),3個(gè)Slave節(jié)點(diǎn)。每臺(tái)機(jī)器的配置如下:CPU Intel E5,內(nèi)存DDR3 32GB,以太網(wǎng)卡100Mb/s,操作系統(tǒng)是Centos 6.2。

  為了測(cè)試集群系統(tǒng)的性能,我們使用了不同數(shù)據(jù)級(jí)別的人臉圖片數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果如下圖所示。

  圖2 集群測(cè)試數(shù)據(jù)圖

  測(cè)試數(shù)據(jù)樣本數(shù)量級(jí)分別為10萬(wàn)、50萬(wàn)、100萬(wàn)、500萬(wàn)、1000萬(wàn)、5000萬(wàn)、1億、2億,這8個(gè)級(jí)別的人臉圖片、基本信息及模型數(shù)據(jù)。

  4臺(tái)機(jī)器的總內(nèi)存數(shù)量是128GB,其中操作系統(tǒng)需要占用大約4GB/臺(tái),Master節(jié)點(diǎn)上分布式框架服務(wù)需要占用4GB,Slave節(jié)點(diǎn)上分布式框架協(xié)同管理服務(wù)需要占用2GB/臺(tái),4臺(tái)機(jī)器剩余的可用內(nèi)存一共有102GB,每張人臉圖片的大小為10K,模型值為6K,其余人臉描述信息是4K,一共每條人臉信息需要20K,加上三份備份原則,所以102GB一共可以讀取800萬(wàn)數(shù)據(jù)到內(nèi)存。從上面數(shù)據(jù)圖可以看出,當(dāng)所有數(shù)據(jù)都在內(nèi)存中時(shí)讀取速度非常的快,每次檢索都能控制在3秒鐘以內(nèi)。隨著數(shù)據(jù)量的增大,到1000萬(wàn)時(shí)檢索耗時(shí)上升到10秒左右,原因是需要從分布式數(shù)據(jù)庫(kù)里讀取數(shù)據(jù)用于檢索,這樣增加了磁盤(pán)I/O消耗。當(dāng)數(shù)據(jù)量達(dá)到2億的頂峰時(shí),檢索耗時(shí)也達(dá)到了頂峰的2分鐘,雖然看起來(lái)耗時(shí)增長(zhǎng)很多,但是與傳統(tǒng)架構(gòu)相比還是具有相當(dāng)大的速度優(yōu)勢(shì)。

  從實(shí)驗(yàn)可以得出,當(dāng)集群內(nèi)存足夠大時(shí),可以把所有的數(shù)據(jù)讀入內(nèi)存,這樣可以保證快速檢索、快速結(jié)果呈現(xiàn),同時(shí)也能做到數(shù)據(jù)的動(dòng)態(tài)容災(zāi)備份。

  本文總結(jié)

  本文介紹的海量人臉圖片檢索系統(tǒng)將大數(shù)據(jù)集圖像檢索任務(wù)進(jìn)行分解,通過(guò)與分布式文件系統(tǒng)和并行計(jì)算框架相結(jié)合的應(yīng)用模式,實(shí)現(xiàn)各節(jié)點(diǎn)協(xié)同完成圖片檢索任務(wù)。通過(guò)基于若干個(gè)不同數(shù)量級(jí)別的圖片數(shù)據(jù)測(cè)試,將實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比驗(yàn)證,表明隨著數(shù)據(jù)量的快速增長(zhǎng)本系統(tǒng)不會(huì)受到太大的性能沖擊,沒(méi)有出現(xiàn)單節(jié)點(diǎn)擊器的速度慢、并發(fā)性差等問(wèn)題,有效提高了圖片檢索速度、并發(fā)性以及處理海量數(shù)據(jù)的能力。

  未來(lái)的工作重點(diǎn)將放在如何快速地從海量視頻文件中搜索出指定的人臉圖片,并對(duì)搜索出來(lái)的圖片進(jìn)行相關(guān)性數(shù)據(jù)挖掘,通過(guò)對(duì)海量數(shù)據(jù)分析為公安機(jī)關(guān)等特定部門(mén)提供更豐富的技術(shù)手段,減少人工過(guò)濾視頻的苦惱。

免責(zé)聲明:本文來(lái)源于網(wǎng)絡(luò)收集,本文僅代表作者個(gè)人觀點(diǎn),本站不作任何保證和承諾,若有任何疑問(wèn),請(qǐng)與本文作者聯(lián)系或有侵權(quán)行為聯(lián)系本站刪除。(原創(chuàng)稿件未經(jīng)許可,不可轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)注明來(lái)源)
掃一掃關(guān)注數(shù)字音視工程網(wǎng)公眾號(hào)

相關(guān)閱讀related

評(píng)論comment

 
驗(yàn)證碼:
您還能輸入500
    主站蜘蛛池模板: 济南德固机械|膨化食品生产线|早餐谷物玉米片生产线|拉丝蛋白生产线|速食米饭生产线 | 新东方大学考试官网_考研/英语/雅思/托福/四六级/日语/韩语/教资在线网课官网 | 易居房产律师网|北京房产律师|房产纠纷律师|房产律师 | 齐东汽车-提供抑尘车|洒水车|压缩垃圾车|餐厨垃圾车|垃圾转运车|清洗吸污车|扫路车价格,图片及视频 | 新乡市大成数控机械有限公司 | 激光焊接不锈钢翅片管,不锈钢翅片管,激光焊接复合翅片管,南通拓帆换热设备有限公司 | 讨债公司_要债公司_要账公司[18年讨债要债经验]讨账公司 | 深圳-广州-惠州-东莞-重型货架-悬臂-轻中型货架-深圳市诺普泰仓储设备有限公司 | 西安男科医院_陕西男性专科医院_陕西老医协生殖医学医院【官网】 | 河南桥式起重机-河南门式起重机-宇华起重设备集团(官网) | 快达物流:电商和微商的仓储物流外包和托管服务-北京快达国际物流服务有限公司官方网站 | 通用变频器|国产变频器|深圳变频器厂家-深圳市英捷思技术有限公司 | 无锡大然新风环保设备有限公司-办公室空气净化器_商用空气净化器_酒店空气净化器 | 耐磨涂料_陶瓷涂料_高温涂料_高硬度耐磨涂料-北京耐默科技 | 绣花厂_电脑绣花厂_手工刺绣加工定制 - 北京丽绣坊工艺品有限公司 | 混凝土砂石分离机_龙门洗车机_振动型砂石分离机 - 青州同辉环保机械 | 市南人才网_市南招聘网_求职找工作平台 | 学汽修,学汽修技术,汽修培训班,汽车美容培训,汽车新能源技术培训-广州万通汽车培训学校[官方网站] | 制砂机_选矿设备_耐磨件-郑州富嵩机械设备有限公司 | 气胀轴丨安全夹头丨电磁制动器丨纠偏系统丨磁粉离合器丨张力控制器厂家- 东莞天机通信科技有限公司 | 三相干式变压器|三相隔离变压器|上海盖能电气有限公司官方网站|上海干式变压器生产厂家 | 威学一百-专注国际学校择校备考-DSE-A-level-雅思-托福-OSSD-港澳台联考-AP-IGCSE-IB-AMC-多邻国-PTE-SAT-SSAT-小语种(如日语,韩语,德语,法语,西班牙语,意大利语,俄语,泰语)等考试培训,为出国留学学生提供个性化定制性学习方案,线下实体面授+线上网络课程, 提供一对一,小班课等多种班型 | 全地形消防摩托车_背负式细水雾_全氟己酮灭火装置「斯库尔消防」 | 深圳五洲中医院_深圳好的中医院_深圳市医保定点医院[官网] | 楼宇门厂家-氟碳漆门-不锈钢大门-单元门-锌合金大门-永康市龙卫门业 | 首页-南德电气集团-电能质量产品解决方案|能源数字化系统解决方案|新能源检测评估服务|电力/光伏/储能EPC工程总承包 | 四川方法数码科技有限公司 | 耐火砖厂家价格-郑州荣盛窑炉耐火材料有限公司 | 金诺国际拍卖集团有限公司--金诺国际拍卖集团有限公司 | 上海祝融起重机械有限公司-德国耶鲁手拉葫芦|耶鲁手拉葫芦|耶鲁手扳葫芦|耶鲁电动葫芦经销代理 | 荣事达电动洗地机_全自动工业洗地车_扫地机_清洁设备工厂 | 垃圾桶_垃圾桶厂家_临沂市旭宏塑料有限公司 | 微波烘干设备厂家-微波烘干干燥设备-山东邦普机械设备有限公司 | 气胀轴丨安全夹头丨电磁制动器丨纠偏系统丨磁粉离合器丨张力控制器厂家- 东莞天机通信科技有限公司 | 化工网-化工新闻资讯平台-中华化工行业门户网站 | 扬州市德友线缆有限公司-业从事高端特种线缆研发、制造、销售与服务。 | 铜陵租车_铜陵租车网_铜陵租车公司_铜陵婚车租赁_铜陵汽车租赁公司-良车汽车租赁 | 郑州月嫂|月嫂培训|月嫂服务|郑州布卢家政服务有限公司 | 快达物流:电商和微商的仓储物流外包和托管服务-北京快达国际物流服务有限公司官方网站 | 四字成语大全6000个,经典成语大全及解释,1000个50000个成语及解释 - 同鑫成语网 | 尼日利亚SONCAP认证_沙特SABER认证_摩洛哥COC认证-诺帝检测技术(上海)有限公司 |