視美泰openAI技術(shù)白皮書

　　----------------------------------------

　　Smartview AI SDK 向開發(fā)者提供基于人臉識別的多種類型的開發(fā)包。

　　視美泰致力于為合作伙伴提供便捷準(zhǔn)確的人臉識別技術(shù)(包括但不限于人臉驗(yàn)證、人臉?biāo)阉鳌⑷四槞z測、關(guān)鍵點(diǎn)檢測、屬性檢測等)，為智慧標(biāo)牌、智慧零售、智慧安防等多個場景提供軟硬件一體化的系統(tǒng)級人臉識別解決方案。

　　核心技術(shù)簡介

　　-------------------------------

　　1、人臉檢測

　　在靜止圖像或者視頻流中，人臉檢測技術(shù)能快速準(zhǔn)確地檢測出多張人臉的位置。基于深度學(xué)習(xí)的人臉檢測算法，對光線變化，角度變化，不同膚色，不同年齡的人臉都有較好的適應(yīng)性，克服了側(cè)臉、半遮擋、模糊人臉等難題，極大提升了各種現(xiàn)實(shí)情況中的人臉檢出效果。

　　2、關(guān)鍵點(diǎn)定位

　　在人臉檢測的基礎(chǔ)上，可以進(jìn)行人臉關(guān)鍵點(diǎn)檢測(眼角，眉毛尖端，嘴角，鼻尖等)，每個特征點(diǎn)可以以圖像坐標(biāo)的形式表現(xiàn)，特征點(diǎn)數(shù)量的多少(21 點(diǎn)，106 點(diǎn))可以表達(dá)不同精度的人臉變化。人臉檢測技術(shù)中的關(guān)鍵點(diǎn)定位算法可對各種表情、姿態(tài)、角度豐富多變的人臉進(jìn)行精準(zhǔn)關(guān)鍵點(diǎn)定位。我們的技術(shù)經(jīng)測試(在 LFW 1 數(shù)據(jù)集上隨機(jī)選取 80%訓(xùn)練和 20% 測試，計(jì)算所有圖的平均每點(diǎn)誤差與眼距之比的平均誤差)誤差僅為 4.02% 。

　　2、人臉屬性檢測

　　人臉屬性檢測技術(shù)不僅可以準(zhǔn)確識別照片中人物的性別和年齡，也提供表情、顏值、 戴眼鏡、戴墨鏡、微笑等屬性。目前可檢測出年齡、性別、顏值、眼鏡、太陽鏡、口罩、種族、睜眼、張嘴、胡須、微笑、生氣、平靜、困惑、 厭惡、高興、難過、害怕、驚訝、斜視、尖叫 21 種人臉屬性。

　　3、活體檢測

　　活體檢測技術(shù)能夠判斷在一段視頻中出現(xiàn)的人臉是活人還是照片，視美泰提供單目活體檢測技術(shù)，也就是只需要一個普通的USB攝像頭，當(dāng)被檢測者進(jìn)入到攝像監(jiān)控范圍內(nèi)，通過深度學(xué)習(xí)的活體檢測算法，1~2秒內(nèi)即可完成活體檢測。此舉在不增加硬件成本的基礎(chǔ)上，大大提高了識別認(rèn)證精度，有效避免人臉存在較大變化情況下識別失敗的問題，可以有效抵御照片、視頻等欺騙手段，做到真正精準(zhǔn)安全的智能身份核驗(yàn)。

　　4、人臉驗(yàn)證系統(tǒng)

　　人臉驗(yàn)證技術(shù)可以實(shí)現(xiàn) 1:1和 1:N的人臉相似度比對，適用于身份識別及相似臉查詢等應(yīng)用場景。該技術(shù)采用深度學(xué)習(xí)方法對大量數(shù)據(jù)進(jìn)行特征提取，利用特征匹配程度來區(qū)分不同的人臉。

　　4.1人臉驗(yàn)證

　　人臉驗(yàn)證(Face Verification)可以計(jì)算兩張人臉的相似度，從而判斷是否為同一個人。

　　4.2人臉庫搜索

　　人臉庫搜索模塊可用于在大規(guī)模人臉數(shù)據(jù)庫中快速搜索相似的人臉數(shù)據(jù)，以確定身份。通過預(yù)先創(chuàng)建待查人員的面部特征索引，可在人臉數(shù)據(jù)庫中迅速查找相似人臉。

　　Smartview AI SDK優(yōu)勢

　　----------------------------------

　　視美泰的Smartview AI SDK支持Android系統(tǒng)，通過提供完整的API和測試APP以及測試APP源代碼，幫助用戶更高效地實(shí)現(xiàn)自主產(chǎn)品功能的開發(fā)。

　　1、識別精準(zhǔn)

　　基于DeepID (深分證)的深度學(xué)習(xí)模型， 在公開的LFW (Labeled Faces in the Wild)數(shù)據(jù)庫測試中，該解決方案的人臉驗(yàn)證技術(shù)可達(dá)到世界領(lǐng)先的 99.53% 準(zhǔn)確率(技術(shù)源自香港 中文大學(xué)的 DeepID3 3 )，已超過了人眼自身的識別能力(人用肉眼在LFW上的識別率為97.52%)。

　　2、極速高效

　　基于ARM NEON和Mali GPU，在視美泰RK3288系列以及RK3399系列人工智能硬件平臺可實(shí)現(xiàn)極速核驗(yàn)：

　　1)、人臉驗(yàn)證測試結(jié)果

　　測試方法：循環(huán) 10 次調(diào)用接口，取單次平均耗時。

　　時間：人臉特征提取時間

　　2)、人臉屬性測試結(jié)果

　　測試方法：循環(huán) 10 次調(diào)用人臉屬性檢測接口，取單次平均耗時。

　　平均每張人臉耗時(ms)：

　　3、離線識別

　　支持離線人臉識別，在本地處理所有數(shù)據(jù)。用戶只要提前將數(shù)據(jù)(卡號、指紋、人臉)導(dǎo)入，即可在獲取被識別者人臉信息、證件信息后在本機(jī)上進(jìn)行比對驗(yàn)證。

　　4、深度定制

　　視美泰的Smartview AI SDK針對ARM指令集的深度優(yōu)化，大幅提升性能，支持專有的人臉識別加速框架，方便用戶開發(fā)上層應(yīng)用。

　　開發(fā)資料

　　------------------------------

　　1、API文檔

　　視美泰為用戶提供API文檔，包括模塊介紹、Android開發(fā)包、API列表、環(huán)境的搭建以及函數(shù)的調(diào)用等。

　　2、測試APP

　　視美泰可提供測試APP作為測試?yán)蹋ㄟ^模擬典型應(yīng)用場景來測試Smartview AI SDK，包括：

　　1)、人臉檢測：通過攝像頭捕捉人臉，顯示人臉的性別和年齡信息以及人數(shù)統(tǒng)計(jì)。

　　2)、人臉驗(yàn)證：輕量級人臉驗(yàn)證，在人臉庫中預(yù)先注冊人臉信息，再通過攝像頭捕捉人臉，將捕捉到的人臉信息與人臉庫的信息進(jìn)行比對核驗(yàn)并返回驗(yàn)證結(jié)果。

　　3、測試 APP源代碼

　　視美泰的Smartview AI SDK為用戶提供測試APP源代碼，用戶可以參考測試APP源碼，根據(jù)自身需求進(jìn)行應(yīng)用軟件的開發(fā)。

　　Smartview AI SDK分類

　　----------------------------------

　　1、人臉識別硬件平臺

　　基于視美泰的高運(yùn)算性能RK3288系列及RK3399系列人工智能硬件平臺，可以為人工智能產(chǎn)品化提供無限可能，并且通過專業(yè)的硬件開發(fā)，嵌入式開發(fā)，系統(tǒng)開發(fā)以及應(yīng)用開發(fā)等服務(wù)幫助合作伙伴加快項(xiàng)目落地。

　　1)、RK3288系列人工智能硬件平臺

　　推薦主板：IoT-3288A / IoT-3288E

　　2)、RK3399系列人工智能硬件平臺

　　推薦版型：IoT-3399E

　　2、Smartview AI SDK開發(fā)包分類

　　Smartview AI SDK 向開發(fā)者提供基于人臉識別的多種類型的開發(fā)包。針對不同的應(yīng)用環(huán)境，目前提供 4種類型的系統(tǒng)級人臉解決方案：

　　1)、MIPS_AI_Basic(標(biāo)準(zhǔn)版人臉識別模塊)：

　　提供人臉跟蹤、人臉屬性識別(年齡、性別等)、人臉比對、人臉?biāo)阉鞯裙δ?/p>

　　2)、MIPS_AI_Basic_GerLivenessOffline(標(biāo)準(zhǔn)版人臉識別+活體識別模塊)：

　　除提供標(biāo)準(zhǔn)版人臉識別功能外，還提供活體識別功能;

　　3)、MIPS_AI_Basic_IDCheckOffline(人證比對模塊)：

　　提供人臉跟蹤、人臉比對、人臉?biāo)阉鞯裙δ埽c標(biāo)準(zhǔn)版的區(qū)別在于，人臉比對模塊使用的模型是針對人臉比對場景有特定優(yōu)化，人臉 1：1、1：N 比對準(zhǔn)確率更高。

　　4)、MIPS_AI_Basic_ _ LivenessIDCheckOffline(人證比對+活體識別模塊)：

　　除提供人臉比對外，還提供活體識別功能;

　　3、開發(fā)包導(dǎo)入方式

　　Smartview AI SDK 包含 android開發(fā)包：MIPS_AI_Basic_GerLivenessOffline.jar，導(dǎo)入此包即可開始開發(fā)。支持兩種導(dǎo)入方式：

　　1)、采用授權(quán)工具(MIPS_AI_Authorization.apk)手動授權(quán)，

　　2)、采用 API( mipsGetDeviceInfo )獲得設(shè)備信息，集中授權(quán)。

　　Smartview AI SDK 典型應(yīng)用

　　---------------------------------------

　　人臉識別閘機(jī)

　　基于視美泰Smartview AI SDK的人臉識別閘機(jī)解決方案支持在設(shè)備本地獲取人臉圖像，調(diào)用人臉查找API，基于查找結(jié)果判斷是否可以放行，將返回結(jié)果通過信號指令傳輸給閘機(jī)或門禁，并完成設(shè)備聯(lián)動。

　　人臉識別考勤機(jī)

　　用戶提前將數(shù)據(jù)(卡號、指紋、人臉)導(dǎo)入，即可在獲取被識別者人臉信息、證件信息后在本機(jī)上進(jìn)行比對驗(yàn)證。并且利用前端采集設(shè)備新獲取的人、證信息還可以實(shí)時回傳比對記錄供后臺系統(tǒng)實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)分析。

　　人臉識別標(biāo)牌

　　基于Smartview AI SDK的支持，數(shù)字標(biāo)牌可實(shí)現(xiàn)精準(zhǔn)推廣以及客流統(tǒng)計(jì)，根據(jù)顧客的性別以及年齡等屬性自動切換到更精準(zhǔn)的廣告信息。并且前端實(shí)現(xiàn)通過人臉檢測抓取分析客群年齡、性別，后端系統(tǒng)可自動進(jìn)行數(shù)據(jù)的整合分析。

　　人臉識別支付

　　搭載視美泰人臉識別技術(shù)的智慧自助終端可以實(shí)現(xiàn)人臉識別支付功能，以自動售貨機(jī)為例，可支持消費(fèi)者預(yù)先充值到個人賬戶后，再次購物時登陸賬號刷臉支付購物。