一種可用于非特定人的雙目視覺圖像合成裝置與方法
【專利摘要】本發明提供一種可用于非特定人的雙目視覺圖像合成裝置與方法，所述裝置包括雙目視覺采集模塊、相機姿態調整模塊、控制模塊、人臉識別模塊、人臉對齊模塊、存儲模塊及圖像合成模塊，其中人臉識別模塊捕獲雙目視覺采集模塊所采集圖像中的人臉信息，控制模塊根據人臉在圖像中的位置驅動相機姿態調整模塊跟蹤人臉，穩定后拍攝立體人臉圖像，并將對齊后的立體人臉圖像保存到存儲模塊中，最后通過圖像合成模塊將同一使用者在不同時間拍攝的立體人臉圖像按時間順序連續播放。本發明使用雙目攝像頭拍攝立體人臉圖像，通過長時間多次拍攝實現自動記錄一個或多個使用者不同時期的面部圖像，可用于個性化的成長記錄或個人檔案。
【專利說明】
一種可用于非特定人的雙目視覺圖像合成裝置與方法
技術領域
[0001] 本發明涉及雙目立體圖像采集、處理與合成技術，尤其涉及一種可用于非特定人 的雙目視覺圖像合成裝置與方法。
【背景技術】
[0002] 雙目立體視覺技術是指在雙目定位過程中，兩部相機處于同一平面上，并且光軸 相互平行，其生成的帶有深度信息的立體圖像與人的兩只眼睛觀測角度一致，利用特殊的 工具(如3D眼鏡)就可以在觀測者眼中復現出立體圖像的技術。由于該技術可重構出場景的 三維幾何信息，并且具有精度高、識別率高、展示效果好等特點，被廣泛應用于移動機器人 的自主導航、航空及遙感測量、工業自動化等領域中。特別是在工業自動化領域，該技術已 成功應用于絲網印刷、貼合、切割、PCB補線機、PCB打孔機、玻璃割片機、點膠機、SMT檢測、貝占 版機等對工業精密對位、定位、零件確認、尺寸測量、工業顯微等有顯著需求的產品中，產生 了巨大的經濟效益。
[0003] 隨著圖像處理技術的迅猛發展，人臉識別技術也越來越成熟，應用也越來越廣泛。 該技術具有非強制性、非接觸性和并發性等優點，在企業管理、住宅安全門禁、電子護照及 身份證、公安及司法刑偵、自助服務、信息安全等多方面相繼取得成功應用，在娛樂領域也 產生了如笑臉檢測、人臉自動對焦、尋找相似明星臉等成熟應用。
[0004] 近年來，三維人臉識別技術逐漸發展，其中一種低成本的方案采用雙目攝像頭，利 用一側攝像頭的圖片進行人臉檢測和關鍵特征點（如眼睛)定位，同時利用兩側攝像頭圖片 進行立體融合，生成立體人臉圖像。目前，三維人臉識別技術主要用于考勤、自助服務等身 份認證領域，尚未在娛樂領域實現成功應用。
[0005] 目前主流人臉識別應用均重視識別結果，而忽視了注冊之后歷次識別的圖像信 息。事實上這些圖像信息是極具個性化的成長記錄或個人檔案，其價值尚未被發掘。曾有人 連續多年每天為自己的女兒拍攝一張照片，再手工拼接為視頻，雖然耗費了大量的時間精 力，但視頻的效果極佳，完整地展現出女兒的成長過程，因此吸引了大量的網絡用戶。如果 保存歷次人臉識別的圖像信息，并結合人臉采集、對齊與合成等技術，將這些圖像按照時間 順序合成為可連續播放的動態圖像或視頻，將成為一種新型的人臉識別應用方式。
[0006] 因此，需要一種可以通過雙目視覺解決非特定人的長周期人臉圖像合成的技術。

【發明內容】

[0007] 本發明所述一種可用于非特定人的雙目視覺圖像合成裝置與方法，其目的是使用 雙目攝像頭拍攝立體人臉圖像，通過長時間多次拍攝實現自動記錄一個或多個使用者不同 時期的面部圖像，從而用于個性化的成長記錄或個人檔案。
[0008] 本發明所述一種可用于非特定人的雙目視覺圖像合成裝置與方法，其原理是由雙 目攝像頭拍攝人臉圖像，通過舵機控制雙目攝像頭調整姿態始終跟蹤人臉，直到拍攝到穩 定的正面立體人臉圖像，經過裁剪和對齊處理后進行保存，最后根據需要將同一使用者在 不同時間拍攝的立體人臉圖像按時間順序進行連續播放。
[0009]為達到上述目的，本發明的技術方案是這樣實現的：
[0010]根據本發明的一方面，提出一種可用于非特定人的雙目視覺圖像合成裝置，所述 裝置包括雙目視覺采集模塊、相機姿態調整模塊、控制模塊、人臉識別模塊、人臉對齊模塊、 存儲模塊及圖像合成模塊，其中：
[0011] 所述雙目視覺采集模塊與相機姿態調整模塊連接，兩個模塊相互配合采集立體圖 像，并將采集到的圖像數據傳輸到控制模塊；
[0012] 所述相機姿態調整模塊與控制模塊連接，用于根據控制模塊的指令驅動雙目視覺 采集模塊在多個自由度上進行運動；
[0013] 所述控制模塊分別與雙目視覺采集模塊、相機姿態調整模塊、存儲模塊、人臉識別 模塊和圖像合成模塊連接，用于對各模塊的動作或處理方式進行控制；
[0014] 所述人臉識別模塊與控制模塊、人臉對齊模塊和存儲模塊連接，用于檢測所述雙 目視覺采集模塊采集到的圖像數據中是否包含人臉，并根據檢測到的立體人臉圖像中的人 臉生物特征在所述存儲模塊所存儲的已注冊人臉數據庫中尋找所述立體人臉圖像的匹配 結果；
[0015] 所述人臉對齊模塊分別與人臉識別模塊和存儲模塊連接，用于將人臉識別模塊檢 測到的立體人臉圖像進行裁剪和對齊，使人臉部分固定于圖像中指定的區域中，并將對齊 后的立體人臉圖像發送給所述存儲模塊；
[0016] 所述存儲模塊與控制模塊、人臉識別模塊、人臉對齊模塊和圖像合成模塊連接，用 于存儲對齊后的立體人臉圖像；
[0017] 所述圖像合成模塊與控制模塊和存儲模塊連接，用于根據控制模塊的指令從存儲 模塊中提取指定人的立體人臉圖像，并按照時間順序合成為可連續播放的動態圖像或視頻 進行輸出。
[0018] 根據本發明的另一方面，還提出一種利用所述可用于非特定人的雙目視覺圖像合 成裝置進行雙目視覺圖像合成的方法，所述方法包括以下步驟：
[0019] 步驟301:雙目視覺采集模塊按照設定采樣頻率進行采樣，并將采集到的圖像數據 經控制模塊傳輸給人臉識別模塊，所述人臉識別模塊4檢測圖像中是否存在人臉圖像并將 檢測結果以及人臉在圖像中的位置信息發送給控制模塊3;
[0020] 步驟302:所述控制模塊根據人臉在圖像中的位置計算姿態調整角度生成姿態調 整命令，并將所述姿態調整命令發送給相機姿態調整模塊，對所述雙目視覺采集模塊進行 姿態調整，以持續追蹤正面人臉；
[0021] 步驟303:若判斷在連續多次采集的圖像中，人臉位置居中且偏移量小于某一指定 閾值，則所述控制模塊向雙目視覺采集模塊發出拍照指令，否則返回所述步驟302;
[0022] 步驟304:人臉識別模塊對所采集圖像中的人臉進行識別，得到立體人臉圖像，并 將其與存儲模塊存儲的已注冊人臉數據庫進行比對，尋找所述立體人臉圖像的匹配結果；
[0023] 步驟305:通過提取所述立體人臉圖像中的人臉關鍵點將人臉位置固定于立體人 臉圖像中指定的相同區域內；
[0024] 步驟306:將對齊后的立體人臉圖像進行儲存，并在存儲模塊的使用數據庫中添加 一條包含用戶ID、立體人臉圖像存儲位置、圖像采集時間信息的數據記錄；
[0025] 步驟307:根據控制模塊的指令從存儲模塊的使用數據庫中提取指定用戶ID的全 部立體人臉圖像，并按照時間順序合成為可連續播放的動態圖像或視頻進行輸出
[0026] 從上述技術方案可以看出，本發明具有以下有益效果：
[0027] 1、本發明在傳統二維人臉識別的基礎上，根據立體視覺原理設計雙目視覺采集模 塊提取人臉的三維信息，對于左右兩個攝像頭的輸入圖像，依據相關系數和約束關系找到 兩幅圖中的每個點的對應關系，從而表征出深度信息，進一步利用深度數據組成不同于傳 統二維人臉識別的新的判別依據，增加了人臉識別的準確性和魯棒性。
[0028] 2、本發明通過保存人臉注冊之后歷次識別的圖像信息，并結合人臉采集、對齊與 合成等技術，將這些圖像按照時間順序合成為可連續播放的動態圖像或視頻，形成一類極 具個性化的成長記錄或個人檔案，成為一種新型的人臉識別應用方式。
[0029] 3、本發明完全自動化操作，全程無需人的參與，在歷次使用過程中就可通過人臉 跟蹤、人臉識別、人臉對齊、人臉合成等技術輕松記錄成長過程，克服了傳統手工合成方式 周期長、耗時費力等問題。
[0030] 4、本發明采用雙目攝像頭進行長周期的非特定人人臉識別及圖像合成，具有廣泛 的應用價值，例如集成在學校班級門口的人臉考勤機中，可方便師生進行身份認證，并可在 學生畢業時自動生成一份個人成長記錄視頻;集成到家庭中的寫字臺、浴室鏡、電視中也可 長時間紀錄具有紀念意義的家庭成員生活軌跡;應用到理發店、健身房等服務性行業中，可 為客人定做個人發型或體型紀念冊，從而帶來更好的用戶體驗，起到更大的市場宣傳作用。
【附圖說明】
[0031] 圖1是根據本發明一實施例的可用于非特定人的雙目視覺圖像合成裝置的組成框 圖；
[0032] 圖2是根據本發明一實施例的可用于非特定人的雙目視覺圖像合成裝置中人臉識 別模塊的工作流程圖；
[0033] 圖3是根據本發明一實施例的可用于非特定人的雙目視覺圖像合成方法的流程 圖。
【具體實施方式】
[0034] 為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發明進一步詳細說明。
[0035] 圖1是根據本發明一實施例的可用于非特定人的雙目視覺圖像合成裝置的組成框 圖，如圖1所示，所述可用于非特定人的雙目視覺圖像合成裝置包括雙目視覺采集模塊1、相 機姿態調整模塊2、控制模塊3、人臉識別模塊4、人臉對齊模塊5、存儲模塊6及圖像合成模塊 7,其中：
[0036] 所述雙目視覺采集模塊1與相機姿態調整模塊2連接，兩個模塊相互配合采集立體 圖像，并將采集到的圖像數據傳輸到控制模塊3;
[0037] 所述相機姿態調整模塊2與控制模塊3連接，用于根據控制模塊3的指令驅動雙目 視覺采集模塊1在多個自由度上進行運動；
[0038] 所述控制模塊3分別與雙目視覺采集模塊1、相機姿態調整模塊2、存儲模塊6、人臉 識別模塊4和圖像合成模塊7連接，用于對各模塊的動作或處理方式進行控制，在本發明一 實施例中，所述控制模塊3根據預先設置的算法及規則對各模塊的動作或處理方式進行控 制；
[0039] 所述人臉識別模塊4與控制模塊3、人臉對齊模塊5和存儲模塊6連接，用于檢測所 述雙目視覺采集模塊1采集到的圖像數據中是否包含人臉，并根據檢測到的立體人臉圖像 中的人臉生物特征在所述存儲模塊6所存儲的已注冊人臉數據庫中尋找所述立體人臉圖像 的匹配結果；
[0040] 所述人臉對齊模塊5分別與人臉識別模塊4和存儲模塊6連接，用于將人臉識別模 塊4檢測到的立體人臉圖像進行裁剪和對齊，使人臉部分固定于圖像中指定的區域中，并將 對齊后的立體人臉圖像發送給所述存儲模塊6,其中，所述指定的區域根據實際應用的需要 來確定，本發明對其不作具體限定；
[0041 ]所述存儲模塊6與控制模塊3、人臉識別模塊4、人臉對齊模塊5和圖像合成模塊7連 接，用于存儲對齊后的立體人臉圖像；
[0042]所述圖像合成模塊7與控制模塊3和存儲模塊6連接，用于根據控制模塊3的指令從 存儲模塊6中提取指定人的立體人臉圖像，并按照時間順序合成為可連續播放的動態圖像 或視頻進行輸出。
[0043] 其中，所述相機姿態調整模塊2由不少于一個舵機組成，可以根據控制模塊3的指 令，對每個舵機分別進行特定角度的調整。
[0044] 在本發明的一個實施例中，所述相機姿態調整模塊2包括2臺RDS3115型號舵機和 一個STM32F103C8T6單片機，舵機單個重量60g，工作電壓5V至7.2V，工作在7.2V電壓時堵轉 扭矩17kg/cm，速度0.16sec/60度，可控角度范圍180度。舵機由單片機STM32F103C8T6輸出 的HVM波控制角度，控制模塊3通過RS232 口給單片機STM32F103C8T6發送指令MMab(指令標 示符麗以ASCII碼形式發送即0x4D4D; a和b為數值，各占16位，數值以0.1為單位)可實現俯 仰a度左右搖頭b度，發送指令M00可實現初始化回到原點。安裝時兩個舵機旋轉軸互相垂 直，負責左右搖擺的舵機在下旋轉軸豎直，上面舵機以下面舵機的舵盤為底座，上面舵機旋 轉軸上安裝U型支架用以固定相機，如此可以實現雙目視覺采集模塊1的2個自由度運動即 實現俯仰、左右搖頭。
[0045] 具體地，所述控制模塊3,采集時用于接收雙目視覺采集模塊1采集得到的圖像，再 將圖像轉發給人臉識別模塊4,并根據人臉識別模塊4返回的偏移參數計算相機姿態調整模 塊2的調整角度，然后將該調整角度發送給相機姿態調整模塊2,帶動雙目視覺采集模塊1持 續追蹤人臉，直到采集到正面清晰人臉圖像;展示時用于向圖像合成模塊7發出從存儲模塊 6提取指定人立體人臉圖像的指令。
[0046]在本發明的一個實施例中，控制模塊3采用英特爾的i5_4590型號的處理器作為核 心控制器，通過RGB888接口獲取雙目視覺采集模塊1采集得到的圖像。控制模塊3將采集到 的圖像發送給人臉識別模塊4并接收處理結果，并根據該處理結果給相機姿態調整模塊2發 出動作指令，例如人臉識別模塊4返回的偏移參數水平偏移量為x，垂直偏移量為y，設定調 整系數為k(k為一個定值，需根據實際相機的不同進行實驗調整），則雙目視覺采集模塊1需 要調整的俯仰角度指令為m = -10*y*k，左右旋轉角度指令為n = -10*x*k，則控制模塊3通過 串口給相機姿態調整模塊2發送指令MMmn，然后繼續采集圖像并發送給人臉識別模塊4并接 收處理結果，如此反復進行調整，直到返回結果連續5次有人臉且偏移量小于閾值為止，此 時認為人臉位于中心位置，停止調整。當人臉位于中心位置時，進行拍照，并將照片發送到 人臉識別模塊進行后續處理。
[0047]所述人臉識別模塊4,如圖2本發明提供的可用于非特定人的雙目視覺圖像合成裝 置中人臉識別模塊的工作流程圖所示，從控制模塊3接收圖像后首先判斷圖像中是否包含 人臉信息，如果包含則計算人臉中心點與圖像中心點之間的偏移，并將該偏移參數返回給 控制模塊3,直至連續多次采集到的人臉中心點與圖像中心點之間的偏移小于預先設定的 閾值，以確保雙目視覺采集模塊1拍攝到穩定的人臉圖像;進而分析該人臉圖像中的生物特 征，并與存儲模塊6所存儲的已注冊人臉數據庫進行比對，判斷是否為已注冊用戶，若已注 冊則將該人臉圖像和注冊用戶ID發送到人臉對齊模塊5進行后續處理，若為未注冊用戶則 進入注冊模式，為使用者創建新的用戶ID。
[0048]在本發明的一個實施例中，調整系數k為0.01，偏移參數閾值T = 20，第一張檢測到 人臉圖像的偏移參數1=100,7 = 150，則調整參數111 = -15，11 = -10，控制模塊3則發送指令 0x4D4DFFFlFFF6給相機姿態調整模塊2，相機姿態調整模塊2根據指令執行動作俯仰1.5度， 左右旋轉1度;第二張檢測到的人臉圖像的偏移參數x = 95，y= 143,然后繼續按照公式調 節，最后在第16次調節后，偏移參數x=13，y = 15,均小于閾值T，并且此后連續4次有人臉且 偏移參數都在閾值范圍內，此時完成調節，進行拍照。
[0049]所述存儲模塊6,其中包含已注冊人臉數據庫和使用數據庫，已注冊人臉數據庫中 保存使用者注冊信息，使用數據庫的數據結構中至少包括用戶ID、立體人臉圖像存儲位置、 圖像采集時間三個字段，可用于存儲多個使用者的人臉數據。
[0050]在本發明的一個實施例中，已注冊人臉數據庫的數據結構表示為
[0053]使用數據庫的數據結構表示為：
[0055]所述人臉對齊模塊5,能夠通過提取人臉圖像中的特征關鍵點，并將其在圖像中的 坐標位置與模板位置進行比較，利用裁剪、縮放、拉伸、平移等處理方式將人臉位置固定于 立體人臉圖像中指定的相同區域內，以使未來圖像合成模塊7輸出的動態圖像或視頻中，人 臉的位置和大小保持基本穩定。
[0056]在本發明的一個實施例中，設置人臉模板的大小為分辨率640*480,人臉對齊模塊 5采取只保留臉部不留背景的方式。在圖像中以包含人臉的最小矩形框位置為基準，上下各 增加人臉高度的5%，左右各增加人臉寬度的5%，然后以增大后的矩形框截取人臉圖像，超 出原來圖像部分以白色補齊。然后將截取的人臉圖像縮放到人臉模板大小即640*480,然后 將此圖像保存，并將儲存信息添加到使用數據庫中。
[0057] 根據本發明的另一方面，還提出一種可用于非特定人的雙目視覺圖像合成方法， 如圖3本發明提供的可用于非特定人的雙目視覺圖像合成方法的流程圖所示，該方法應用 于包含雙目視覺采集模塊1、相機姿態調整模塊2、控制模塊3、人臉識別模塊4、人臉對齊模 塊5、存儲模塊6及圖像合成模塊7的非特定人雙目視覺圖像合成裝置，該方法包括以下步 驟：
[0058] 步驟301:檢測人臉:開機后由雙目視覺采集模塊1按照設定采樣頻率，比如3幀/ 秒，進行采樣，并將采集到的圖像數據經控制模塊3傳輸給人臉識別模塊4，所述人臉識別模 塊4檢測圖像中是否存在人臉圖像并將檢測結果以及人臉在圖像中的位置信息發送給控制 豐旲塊3;
[0059] 步驟302:人臉追蹤:所述控制模塊3根據人臉在圖像中的位置計算姿態調整角度 生成姿態調整命令，并將所述姿態調整命令發送給相機姿態調整模塊2，對所述雙目視覺采 集模塊1進行姿態調整，以持續追蹤正面人臉；
[0060] 在本發明的一個實施例中：
[0061 ] 相機姿態調整模塊2包括2臺RDS3115型號舵機和一個STM32F103C8T6單片機，舵機 單個重量60g，工作電壓5V至7.2V，工作在7.2V電壓時堵轉扭矩17kg/cm，速度0.16sec/60 度，可控角度范圍180度。舵機由單片機STM32F103C8T6輸出的PWM波控制角度，控制模塊3通 過RS232 口給單片機STM32F103C8T6發送指令MMab(指令標示符MM以ASCII碼形式發送即 0x4D4D; a和b為數值，各占16位，數值以0.1為單位)可實現俯仰a度左右搖頭b度，發送指令 M00可實現初始化回到原點。安裝時兩個舵機旋轉軸互相垂直，負責左右搖擺的舵機在下旋 轉軸豎直，上面舵機以下面舵機的舵盤為底座，上面舵機旋轉軸上安裝U型支架用以固定相 機，如此可以實現雙目視覺采集模塊1的2個自由度運動即實現俯仰、左右搖頭；
[0062]控制模塊3采用英特爾的i5-4590型號的處理器作為核心控制器，通過RGB888接口 獲取雙目視覺采集模塊1采集得到的圖像。控制模塊3將采集到的圖像發送給人臉識別模塊 4并接收處理結果，并根據該處理結果給相機姿態調整模塊2發出動作指令，例如人臉識別 模塊4返回的偏移參數水平偏移量為x，垂直偏移量為y，設定調整系數為k(k為一個定值，需 根據實際相機的不同進行實驗調整），則雙目視覺采集模塊1需要調整的俯仰角度指令為m = -10*y*k，左右旋轉角度指令為n = -10*x*k，則控制模塊3通過串口給相機姿態調整模塊2 發送指令MMmn，然后繼續采集圖像并發送給人臉識別模塊4并接收處理結果，如此反復進行 調整，以追蹤人臉。
[0063]步驟303:人臉拍照:若判斷在連續多次采集的圖像中，人臉位置居中且沒有發生 較大偏移，則所述控制模塊3向雙目視覺采集模塊1發出拍照指令，否則返回所述步驟302; [0064]在本發明的一個實施例中，調整系數k為0.01，偏移參數閾值T = 20，設定控制模塊 3接收到人臉識別模塊4返回結果連續5次有人臉且偏移量小于閾值時進行拍照。第一張檢 測到人臉圖像的偏移參數1=100,7=150，則調整參數111 = -15，11 = -10，控制模塊3則發送指 令0x4D4DFFFlFFF6給相機姿態調整模塊2，相機姿態調整模塊2根據指令執行動作俯仰1.5 度，左右旋轉1度;第二張檢測到的人臉圖像的偏移參數x = 95，y=143,然后繼續按照公式 調節，最后在第16次調節后，偏移參數x=13，y=15,均小于閾值T，并且此后連續4次有人臉 且偏移參數都在閾值范圍內，此時完成調節，進行拍照。
[0065]步驟304:人臉識別:人臉識別模塊4對所采集圖像中的人臉進行識別，得到立體人 臉圖像，并將其與存儲模塊6存儲的已注冊人臉數據庫進行比對，尋找所述立體人臉圖像的 匹配結果；
[0066]在新采集的圖像NewPicture . jpg發送到人臉識別模塊4后，采用特征臉方法對 NewPicture. jpg進行識別，根據已注冊人臉數據庫中的數據，將圖片NewPicture . jpg逐個 與每個用戶ID的注冊圖片進行識別。首先計算NewPicture. jpg以及每張注冊圖片的特征向 量，然后分別計算NewPicture. jpg與每個用戶ID的注冊圖片中的最近鄰，并取其中的最小 值，當最小值小于閾值1 〇 〇時，識別為對應ID的用戶，否則為新用戶。在該實施例中， NewPicture. jpg與各個用戶ID中的注冊圖片最小臨近分別為2390,60,3120,即 NewPicture. jpg是ID為000002的用戶照片。
[0067] 步驟305:人臉對齊:通過提取所述立體人臉圖像中的人臉關鍵點將人臉位置固定 于立體人臉圖像中指定的相同區域內；
[0068] 步驟306:存儲圖像:將對齊后的立體人臉圖像進行儲存，并在使用數據庫中添加 一條包含用戶ID、立體人臉圖像存儲位置、圖像采集時間信息的數據記錄；
[0069] 步驟307:合成輸出：根據控制模塊3的指令從存儲模塊6的使用數據庫中提取指定 用戶ID的全部立體人臉圖像，并按照時間順序合成為可連續播放的動態圖像或視頻進行輸 出。
[0070] 所述人臉識別模塊4將得到立體人臉圖像與存儲模塊6存儲的已注冊人臉數據庫 進行比對的步驟包括：
[0071] 步驟3041:判斷當前用戶是否為已注冊用戶；
[0072]步驟3042:若為已注冊用戶則將該立體人臉圖像和注冊用戶ID發送到人臉對齊模 塊5進行后續處理；
[0073]步驟3043:若為未注冊用戶則進入注冊模式，為當前用戶創建新的用戶ID，并采集 其多幅人臉圖像存儲到已注冊人臉數據庫中。
[0074] 所述提取所述立體人臉圖像中的人臉關鍵點將人臉位置固定于立體人臉圖像中 指定的相同區域內，其流程包括：
[0075] 步驟3051:比較當前立體人臉圖像中人臉關鍵特征點與模板圖像人臉關鍵特征點 的位置和偏差；
[0076] 步驟3052:對當前立體人臉圖像進行裁剪、縮放、拉伸、平移等處理，使當前圖像與 模板圖像中的人臉關鍵特征點對齊。
[0077]以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳 細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡 在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保 護范圍之內。
【主權項】
1. 一種可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述裝置包括雙目視 覺采集模塊、相機姿態調整模塊、控制模塊、人臉識別模塊、人臉對齊模塊、存儲模塊及圖像 合成模塊，其中： 所述雙目視覺采集模塊與相機姿態調整模塊連接，兩個模塊相互配合采集立體圖像， 并將采集到的圖像數據傳輸到控制模塊； 所述相機姿態調整模塊與控制模塊連接，用于根據控制模塊的指令驅動雙目視覺采集 模塊在多個自由度上進行運動； 所述控制模塊分別與雙目視覺采集模塊、相機姿態調整模塊、存儲模塊、人臉識別模塊 和圖像合成模塊連接，用于對各模塊的動作或處理方式進行控制； 所述人臉識別模塊與控制模塊、人臉對齊模塊和存儲模塊連接，用于檢測所述雙目視 覺采集模塊采集到的圖像數據中是否包含人臉，并根據檢測到的立體人臉圖像中的人臉生 物特征在所述存儲模塊所存儲的已注冊人臉數據庫中尋找所述立體人臉圖像的匹配結果； 所述人臉對齊模塊分別與人臉識別模塊和存儲模塊連接，用于將人臉識別模塊檢測到 的立體人臉圖像進行裁剪和對齊，使人臉部分固定于圖像中指定的區域中，并將對齊后的 立體人臉圖像發送給所述存儲模塊； 所述存儲模塊與控制模塊、人臉識別模塊、人臉對齊模塊和圖像合成模塊連接，用于存 儲對齊后的立體人臉圖像； 所述圖像合成模塊與控制模塊和存儲模塊連接，用于根據控制模塊的指令從存儲模塊 中提取指定人的立體人臉圖像，并按照時間順序合成為可連續播放的動態圖像或視頻進行 輸出。2. 根據權利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 相機姿態調整模塊由不少于一個舵機組成，所述控制模塊能夠對每個舵機分別進行特定角 度的調整。3. 根據權利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 控制模塊，在采集圖像時接收雙目視覺采集模塊采集得到的圖像，將其轉發給人臉識別模 塊，并根據人臉識別模塊返回的偏移參數計算相機姿態調整模塊的調整角度，然后將該調 整角度發送給相機姿態調整模塊，帶動雙目視覺采集模塊持續追蹤人臉，直到采集到正面 清晰人臉圖像;在展示時向圖像合成模塊發出從存儲模塊提取特定人立體人臉圖像的指 令。4. 根據權利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 人臉識別模塊從控制模塊接收圖像后首先判斷圖像中是否包含人臉信息，如果包含則計算 人臉中心點與圖像中心點之間的偏移，并將該偏移參數返回給控制模塊，直至連續多次采 集到的人臉中心點與圖像中心點之間的偏移小于預先設定的閾值，確保雙目視覺采集模塊 拍攝到穩定的人臉圖像;進而分析該人臉圖像中的生物特征，并與存儲模塊所存儲的已注 冊人臉數據庫進行比對，判斷是否為已注冊用戶，若已注冊則將該人臉圖像和注冊用戶ID 發送到人臉對齊模塊進行后續處理，若為未注冊用戶則進入注冊模式，為使用者創建新的 用戶ID。5. 根據權利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 存儲模塊包括已注冊人臉數據庫和使用數據庫，所述已注冊人臉數據庫用于保存使用者注 冊信息，所述使用數據庫的數據結構中至少包括用戶ID、立體人臉圖像存儲位置和圖像采 集時間，以存儲多個使用者的人臉數據。6. 根據權利要求1所述的可用于非特定人的雙目視覺圖像合成裝置，其特征在于:所述 人臉對齊模塊提取立體人臉圖像中的特征關鍵點，并將其在圖像中的坐標位置與模板位置 進行比較，利用裁剪、縮放、拉伸、平移將人臉位置固定于立體人臉圖像中指定的相同區域 內。7. -種利用權利要求1所述可用于非特定人的雙目視覺圖像合成裝置進行雙目視覺圖 像合成的方法，其特征在于，所述方法包括以下步驟： 步驟301:雙目視覺采集模塊按照設定采樣頻率進行采樣，并將采集到的圖像數據經控 制模塊傳輸給人臉識別模塊，所述人臉識別模塊4檢測圖像中是否存在人臉圖像并將檢測 結果以及人臉在圖像中的位置信息發送給控制模塊3; 步驟302:所述控制模塊根據人臉在圖像中的位置計算姿態調整角度生成姿態調整命 令，并將所述姿態調整命令發送給相機姿態調整模塊，對所述雙目視覺采集模塊進行姿態 調整，以持續追蹤正面人臉； 步驟303:若判斷在連續多次采集的圖像中，人臉位置居中且偏移量小于一指定閾值， 則所述控制模塊向雙目視覺采集模塊發出拍照指令，否則返回所述步驟302; 步驟304:人臉識別模塊對所采集圖像中的人臉進行識別，得到立體人臉圖像，并將其 與存儲模塊存儲的已注冊人臉數據庫進行比對，尋找所述立體人臉圖像的匹配結果； 步驟305:通過提取所述立體人臉圖像中的人臉關鍵點將人臉位置固定于立體人臉圖 像中指定的相同區域內； 步驟306:將對齊后的立體人臉圖像進行儲存，并在存儲模塊的使用數據庫中添加一條 包含用戶ID、立體人臉圖像存儲位置、圖像采集時間信息的數據記錄； 步驟307:根據控制模塊的指令從存儲模塊的使用數據庫中提取指定用戶ID的全部立 體人臉圖像，并按照時間順序合成為可連續播放的動態圖像或視頻進行輸出。8. 根據權利要求7所述的方法，其特征在于:所述步驟304中所述人臉識別模塊4將得到 立體人臉圖像與存儲模塊6存儲的已注冊人臉數據庫進行比對的步驟進一步包括： 步驟3041:判斷當前用戶是否為已注冊用戶； 步驟3042:若為已注冊用戶則將該立體人臉圖像和注冊用戶ID發送到人臉對齊模塊進 行后續處理； 步驟3043:若為未注冊用戶則進入注冊模式，為當前用戶創建新的用戶ID，并采集其多 幅人臉圖像存儲到已注冊人臉數據庫中。9. 根據權利要求7所述的方法，其特征在于:所述步驟305進一步包括： 步驟3051:比較當前立體人臉圖像中人臉關鍵特征點與模板圖像人臉關鍵特征點的位 置和偏差； 步驟3052:對當前立體人臉圖像進行裁剪、縮放、拉伸、平移處理，使當前立體人臉圖像 與模板圖像中的人臉關鍵特征點對齊。
【文檔編號】G06K9/00GK105893965SQ201610197497
【公開日】2016年8月24日
【申請日】2016年3月31日
【發明人】劉東昌, 呂石磊, 郭宇智, 倪晚成, 劉禹
【申請人】中國科學院自動化研究所