可編程顯示器、控制方法及程序的制作方法
【專利摘要】本發明提供能夠通過進行臉部認證來容許對應用程序的訪問的可編程顯示器、控制方法及程序?？删幊田@示器(1)用于控制對應用程序的訪問?？删幊田@示器(1)存儲有用戶的臉部的特征數據。可編程顯示器(1)基于拍攝得到的用戶的圖像數據和特征數據來對用戶進行臉部認證。在用戶認證成功的情況下，可編程顯示器(1)容許用戶對應用程序的訪問。
【專利說明】可編程顯示器、控制方法及程序

【技術領域】
[0001 ] 本發明涉及可編程顯示器、可編程顯示器的控制方法以及用于控制可編程顯示器的程序。

【背景技術】
[0002]以往，已知有以能夠進行通信的方式與可編程邏輯控制器(PLC)連接的可編程顯示器。例如，專利文獻1公開了具有HMI (人機界面)處理部和臉部記錄處理部的可編程顯示器。臉部記錄處理部具有臉部圖像數據庫、臉部檢測部、共用保存器、臉部記錄(logging)部、臉部記錄控制部、臉部記錄文件。另外，該可編程顯示器以能夠進行通信的方式與照相機相連。
[0003]在操作人員在顯示于可編程顯示器的畫面上進行規定的開關操作時，HMI處理部向臉部記錄處理部發送指示，以使該臉部記錄處理部執行用于記錄操作人員的臉部圖像的處理。在臉部記錄處理部接收到該指示后，由臉部檢測部從通過照相機拍攝得到的操作人員的圖像中檢測出正面的臉部圖像，并將其作為文件保存到規定的臉部圖像數據庫中。另夕卜，臉部檢測部將臉部圖像數據庫中的文件的路徑名，與開關操作內容、檢測了臉部的日期與時刻、進行了開關操作的畫面的畫面編號等的與操作履歷相關的信息一起寫入到共用保存器中。臉部記錄部按照臉部記錄控制部的指示，將寫入到共用保存器中的數據保存至臉部記錄文件中。
[0004]另外，以往，已知有臉部認證的技術。例如，專利文獻2公開了進行臉部認證的出入管理系統。該出入管理系統利用臉部核對裝置來管理對設施的出入，所述臉部核對裝置根據出入人員的臉部圖像，來核對該出入人員是否為事先登錄的人物。在出入管理系統中，在臉部核對裝置的附近設置有用于拍攝出入人員的圖像的監視照相機，由此利用記錄部記錄來自監視照相機的圖像，并且將其與臉部核對裝置的核對結果等出入履歷一起發送至出入管理服務器。
[0005]專利文獻3公開了具有拍攝裝置、操作畫面控制部及顯示部的圖像形成裝置。操作畫面控制部具有臉部區域檢測部、移動判斷部、臉部特征提取部、屬性檢測部及顯示控制部。臉部區域檢測部從由拍攝裝置拍攝得到的圖像數據中檢測出用戶的臉部區域。移動判斷部判斷用戶是否已靠近上述圖像形成裝置。在通過移動判斷部判斷為用戶已靠近圖像形成裝置的情況下，臉部特征提取部從臉部區域中提取臉部的特征。屬性檢測部基于由臉部特征提取部提取到的臉部特征，來檢測用戶的屬性。顯示控制部將與由屬性檢測部檢測出的用戶的屬性相對應的操作畫面顯示到圖像形成裝置的顯示部上。
[0006]專利文獻4公開了監視對監視裝置進行操作的人員的監視系統。該監視系統具有操作人員監視裝置。操作人員監視裝置具有照相機、臉部圖像存儲部及操作權限確定部。照相機對進行操作的人的臉部進行拍攝，并輸出拍攝得到的臉部圖像數據。臉部圖像存儲部中預先與操作權限的范圍相對應地登錄有核對用臉部圖像數據。操作權限確定部通過對周期性導入的或在每次操作時導入的正在進行操作的人的臉部圖像數據與上述核對用臉部圖像數據進行核對，來確定正在進行操作的人所具有的操作權限的范圍，并且根據該操作權限的范圍來變更能夠對監視裝置進行操作的范圍。
[0007]現有技術文獻
[0008]專利文獻
[0009]專利文獻1:日本特開2008 - 112222號公報
[0010]專利文獻2:日本特開2004 - 78687號公報
[0011]專利文獻3:日本特開2011 — 59194號公報
[0012]專利文獻4:日本特開2008 - 165353號公報
[0013]但是，在專利文獻1的可編程顯示器中，能夠將進行臉部認證的結果作為履歷來保留，但是不能通過進行臉部認證來容許對應用程序的訪問。在專利文獻2至專利文獻4中，并未公開或提示對通過進行臉部認證來訪問應用程序的技術。


【發明內容】

[0014]本申請發明是鑒于上述問題而提出的，其目的在于提供一種能夠通過進行臉部認證來容許對應用程序的訪問的可編程顯示器、該可編程顯示器的控制方法以及用于控制該可編程顯示器的程序。
[0015]根據本發明的一個方案，可編程顯示器用于控制對應用程序的訪問。可編程顯示器具有:存儲單元，其存儲用戶的臉部的特征數據；認證單元，其基于拍攝得到的用戶的第一圖像數據和特征數據，來對用戶進行第一臉部認證；訪問控制單元，其在用戶認證成功的情況下，容許用戶對應用程序的訪問。
[0016]優選地，認證單元，進而基于第二圖像數據和特征數據，在預先指定的時刻對用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據?？删幊田@示器還具有限制單元，該限制單元在通過第一臉部認證來認證成功的用戶和通過第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制對應用程序的處理的執行。
[0017]優選地，認證單元，進而基于第二圖像數據和特征數據，在預先指定的時刻對用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據?？删幊田@示器還具有限制單元，該限制單元在用戶通過第二臉部認證來未認證成功的情況下，限制對應用程序的處理的執行。
[0018]優選地，可編程顯示器還具有:顯示屏，顯示控制單元，其將畫面顯示到顯示屏上。訪問控制單元，在限制對處理的執行的情況下，以特定方式控制顯示控制單元，上述特定方式是指，將預先規定的對象圖像，以重疊到在容許訪問的狀態下顯示的畫面上的狀態，顯示到顯示屏上的方式。
[0019]優選地，可編程顯示器還具有:顯示屏，顯示控制單元，其將畫面顯示到顯示屏上。訪問控制單元，在限制對處理的執行的情況下，取代在容許訪問的狀態下顯示的畫面，而將不容許訪問的狀態的畫面，顯示到顯示屏上。
[0020]優選地，可編程顯示器還具有第一判斷單元，該第一判斷單元判斷第一圖像數據中包含的臉部區域是否大于預先規定的尺寸。訪問控制單元，將判斷為臉部區域大于預先規定的尺寸作為條件，容許對應用程序的訪問。
[0021]優選地，可編程顯示器還具有生成單元，該生成單元基于拍攝得到的臉部的圖像數據，來生成用于表示該臉部的特征的特征數據，并將所生成的特征數據存儲到存儲單元中。
[0022]優選地，存儲單元中存儲有多個特征數據和用于確定用戶的預先規定的字符串。多個特征數據中的第一特征數據，與表示對應用程序的第一操作權限的第一識別信息相對應關聯。多個特征數據中的第二特征數據，與表示權限比第一操作權限更大的第二操作權限的第二識別信息相對應關聯。可編程顯示器還具有:接收單元，其在通過臉部認證來認證成功的用戶是具有第二操作權限的用戶的情況下，接收該用戶所輸入的字符串，第二判斷單元，其判斷所接收的字符串與預先規定的字符串是否一致。訪問控制單元將由第二判斷單元判斷為一致作為條件，容許對應用程序的訪問。
[0023]優選地，用戶的第一圖像數據由時間上連續的預先規定的數量的幀數據構成。認證單元基于多個幀數據中的每個幀數據來進行臉部認證。訪問控制單元，將基于多個幀數據中的預先規定的數量以上的幀數據認證為同一用戶作為條件，容許對應用程序的訪問。
[0024]根據本發明的另一方案，控制方法用于控制對在可編程顯示器上動作的應用程序的訪問?？刂品椒ò?預先保存表示用戶的臉部的特征的特征數據的步驟；接收拍攝得到的用戶的第一圖像數據的步驟；基于第一圖像數據和特征數據，來對用戶進行第一臉部認證的步驟；在用戶通過臉部認證來認證成功的情況下，容許用戶對應用程序的訪問的步驟。
[0025]優選地，控制方法還具有:在容許了用戶對應用程序的訪問的情況下，拍攝得到用戶的第二圖像數據的步驟；基于特征數據和第二圖像數據，來對用戶進行第二臉部認證的步驟；在通過第一臉部認證來認證成功的用戶和通過第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制對應用程序的處理的執行的步驟。
[0026]優選地，控制方法進而基于第二圖像數據和特征數據，在預先指定的時刻對用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據?？刂品椒ㄟ€包括:在通過第一臉部認證來認證成功的用戶和通過第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制對應用程序的處理的執行的步驟。
[0027]優選地，控制方法進而基于第二圖像數據和特征數據，在預先指定的時刻對用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據?？刂品椒ㄟ€包括:在用戶通過第二臉部認證來未認證成功的情況下，限制對應用程序的處理的執行的步驟。
[0028]優選地，還具有:在限制對處理的執行的情況下，將預先規定的對象圖像，以重疊到在容許訪問的狀態下顯示的畫面上的狀態，顯示到顯示屏上的步驟。
[0029]優選地，控制方法還具有:在限制對處理的執行的情況下，取代在容許訪問的狀態下顯示的畫面，而將不容許訪問的狀態的畫面，顯示到顯示屏上的步驟。
[0030]優選地，控制方法還具有:判斷第一圖像數據中包含的臉部區域是否大于預先規定的尺寸的步驟；將判斷為臉部區域大于預先規定的尺寸作為條件，容許對應用程序的訪問的步驟。
[0031]優選地，控制方法還具有:基于拍攝得到的臉部的圖像數據，來生成用于表示該臉部的特征的特征數據，并將所生成的特征數據存儲到存儲單元中的步驟。
[0032]優選地，控制方法還具有存儲多個特征數據和用于確定用戶的預先規定的字符串的步驟。多個特征數據中的第一特征數據，與表示對應用程序的第一操作權限的第一識別信息相對應關聯。多個特征數據中的第二特征數據，與表示權限比第一操作權限更大的第二操作權限的第二識別信息相對應關聯?？刂品椒ㄟ€包括:通過臉部認證來認證成功的用戶是具有第二操作權限的用戶的情況下，接收該用戶所輸入的字符串的步驟，判斷所接收的字符串與預先規定的字符串是否一致的步驟，將判斷為字符串彼此一致作為條件，在容許對應用程序的訪問和取消容許對應用程序的訪問之間進行切換的步驟。
[0033]優選地，用戶的第一圖像數據由時間上連續的預先規定的數量的幀數據構成。在第一臉部認證的步驟中，基于多個幀數據中的每個幀數據來進行臉部認證。在容許訪問的步驟中，將基于多個幀數據中的預先規定的數量以上的幀數據認證為同一用戶作為條件，發行或取消對應用程序的訪問權。
[0034]根據本發明的又一方案，程序用于控制對在可編程顯示器上動作的應用程序的訪問。程序使可編程顯示器的處理器執行以下步驟:基于拍攝得到的用戶的圖像數據和表示用戶的臉部的特征的特征數據來進行臉部認證的步驟；在用戶認證成功的情況下，容許用戶對應用程序的訪問的步驟。
[0035]根據本發明，能夠通過臉部認證來容許對應用程序的訪問。

【專利附圖】

【附圖說明】
[0036]圖1是顯示器的主視圖。
[0037]圖2是用于說明顯示器的認證處理的圖。
[0038]圖3是用于說明用戶通過臉部認證來認證成功之后的操作畫面的例子的圖。
[0039]圖4是用于說明顯示器的處理履歷的圖。
[0040]圖5是用于說明顯示器的硬件結構的一個例子的圖。
[0041]圖6是表示顯示器的功能結構的功能框圖。
[0042]圖7A、圖7B、圖7C是用于說明用于進行與臉部認證相關的系統設定的畫面的圖。
[0043]圖8是用于說明保存在登錄圖像DB中的數據的圖。
[0044]圖9A、圖9B、圖9C是用于說明圖8的臉部圖像數據的圖。
[0045]圖10A、圖10B、圖10C是與認證成功的用戶相對應的畫面的例子，表示了與圖3的例子不同的畫面。
[0046]圖11是表示在顯示圖10A、圖10B、圖10C的各用戶畫面時所參照的數據D3的圖。
[0047]圖12是表示由管理部管理的履歷數據D5的圖。
[0048]圖13是表示保存在未登錄人員DB中的數據D7的圖。
[0049]圖14A、圖14B是表示在由限制部限制進行處理的情況下顯示的畫面的圖。
[0050]圖15是用于說明顯示器的處理流程的流程圖。
[0051]圖16是用于說明取代圖8所示的數據D1而保存在登錄圖像DB351中的數據的圖。
[0052]圖17是用于說明檢測用戶的視線方向的結構的圖。
[0053]圖18是表示利用照相機17拍攝得到的被拍攝體的圖像數據中包含多個用戶的狀態的圖。
[0054]其中，附圖標記說明如下:
[0055]1:顯示器
[0056]11:CPU
[0057]12:R0M
[0058]13:RAM
[0059]14:閃存 ROM
[0060]15:時鐘
[0061]16:操作鍵
[0062]17:照相機
[0063]18:觸摸屏
[0064]19:通信接口
[0065]81:顯示屏
[0066]82:觸控面板
[0067]101:拍攝部
[0068]102:尺寸判斷部
[0069]103:生成部
[0070]104:臉部認證部
[0071]105:訪問控制部
[0072]106:管理部
[0073]107:輸入部
[0074]108:接收部
[0075]109:顯示控制部
[0076]110:顯示部
[0077]111:字符串判斷部
[0078]112:通信處理部
[0079]113:限制部
[0080]114:視線確定部[0081 ]115:存儲部
[0082]511: 一般設定畫面
[0083]512:臉部認證設定畫面
[0084]513:詳細設定畫面
[0085]531、532、533:用戶畫面
[0086]801、802、803、804、834、891:對象
[0087]831:狀態
[0088]832:維護菜單
[0089]833:管理菜單
[0090]910、920、930:人物
[0091]351:登錄圖像DB
[0092]352:視線 DB
[0093]353:未登錄人員DB
[0094]354:履歷 DB
[0095]355:1D 以及密碼 DB
[0096]356:畫面數據DB

【具體實施方式】
[0097]—邊參照附圖，一邊對于本發明的實施方式的可編程顯示器(下面，僅稱為“顯示器”)進行詳細說明。此外，對于圖中的相同或等同部分，標注相同附圖標記，不反復進行說明。
[0098]< A.外觀 >
[0099]圖1是本實施方式的顯示器1的主視圖。將顯示器1與PLC (可編程邏輯控制器)連接起來使用，該顯示器1發揮PLC的人機接口(HMI)的功能。參照圖1，顯示器1具有操作鍵16、照相機17、觸摸屏18。觸摸屏18包括顯示屏和觸控面板。
[0100]<B.處理概要〉
[0101]顯示器1通過對用戶的臉部圖像進行認證，來控制對預先保存在顯示器1中的應用程序的訪問。具體地說，在用戶認證成功的情況下，顯示器1容許對該應用程序的訪問。下面，舉例說明容許對應用程序的訪問的處理(即，“登錄處理”)。而且，下面，針對顯示器1所執行的其它的主要處理的內容，還說明“編輯處理”和“履歷記錄處理”。
[0102]此外，下面，“登錄狀態”是指容許了對應用程序的訪問的狀態，“注銷狀態”是指未容許對應用程序的訪問的狀態。另外，在顯示器1中，當容許了對應用程序的訪問時，發行對應用程序的訪問權，當未容許對應用程序的訪問時，取消對應用程序的訪問權。
[0103](bl.登錄處理)
[0104]圖2是用于說明顯示器1的認證處理的圖。參照圖2，當人站在顯示器1的前方(觸摸屏18 —側)時，開始基于由照相機17拍攝得到的被拍攝體(人及背景)的圖像數據和預先存儲在顯示器1中的用戶的臉部的特征數據，來進行臉部認證。此外，臉部認證為以往已知的技術，因此在此不反復詳細說明。
[0105]在用戶通過臉部認證來認證成功的情況下，顯示器1容許對應用程序的訪問。即，在本實施方式中，顯示器1容許成為認證對象的用戶的登錄。具體地說，顯示器1轉移至容許對預先存儲在顯示器1中的數據的訪問的狀態。而且，換言之，在用戶通過臉部認證來認證認證的情況(認證成功的情況)下，顯示器1將顯示器1的狀態從注銷狀態切換到登錄狀態。另外，顯示器1基于切換到登錄狀態的情況，將預先規定的用戶畫面顯示到觸摸屏18的顯示屏上。如上所述，根據顯示器1，能夠通過臉部認證來進行登錄。此外，用戶畫面是用戶用于進行操作及/或確認的畫面。用戶畫面包括包含操作按鈕的操作畫面和不包含操作按鈕的畫面。
[0106](b2.編輯處理)
[0107]圖3是用于說明用戶通過臉部認證來認證成功之后的用戶畫面的例子的圖。圖3的(A)部分是用于說明在判斷為通過臉部認證來認證成功的用戶是對應用程序的操作權限比一般操作人員(下面，僅稱為“操作人員”)更高的管理人員的情況下顯示到顯示器1上的畫面的圖。圖3的(B)部分是用于說明在判斷為通過臉部認證來認證成功的用戶是操作人員的情況下顯示到顯示器1上的畫面的圖。
[0108]參照圖3，顯示器1基于通過臉部認證來容許了對應用程序的訪問的情況，將多個畫面中的與認證成功的用戶相對應的畫面顯示到顯示屏上。例如，在男性α為管理人員的情況下，顯示器1將多個能夠選擇的對象(Object)801、802、803、804顯示到顯示屏上。另夕卜，在女性β為操作人員的情況下，顯示器1不顯示(或者，以不能選擇的方式顯示)與僅容許管理人員進行操作的處理相對應的對象802、803。如上所述，顯示器1能夠顯示與認證成功的用戶相對應的用戶畫面。
[0109](b3.履歷記錄處理)
[0110]圖4是用于說明顯示器1的處理履歷的圖。參照圖4，當基于預先規定的指令進行處理時，顯示器1將時刻、指令、對顯示器1開始進行處理的用戶(通過臉部認證來認證成功的用戶)的姓名相關聯對應地進行存儲來作為履歷。此外，履歷中包括與登錄及注銷相關的履歷和登錄狀態下的用戶的操作履歷。
[0111]例如，在一個方案中，顯示器1至少將通過臉部認證來認證成功的用戶的識別信息(姓名)和用于表示容許了對應用程序的訪問的情況(即，成為登錄狀態的情況、已登錄的情況)的履歷(“登錄”)相對應地進行存儲。另外，在一個方案中，在登錄狀態下用戶進行了對用戶畫面中包含的操作按鈕的圖像進行指定的操作的情況下，顯示器1將通過臉部認證來認證成功的用戶的識別信息和與該指定的操作按鈕相對應的操作的履歷(例如“開始按壓”、“顯示圖表”)相對應地進行存儲。
[0112]能夠通過由顯示器1的用戶(例如，管理人員或后述的維護人員)向顯示器1輸入用于將所存儲的履歷顯示到顯示屏上的指示，來如圖4那樣確認履歷。即，該用戶能夠在事后對通過臉部認證來登錄的用戶進行認證。
[0113]下面，對用于實現上述處理的顯示器1的具體結構以及除了上述處理之外的處理，進行詳細說明。
[0114]<C.硬件結構>
[0115]圖5是用于說明顯示器1的硬件結構的一個例子的圖。參照圖5，顯示器1具有用于進行各種運算的CPU (Central Processing Unit:中央處理單兀)11、R0M(Read OnlyMemory:只讀存儲器)12>RAM (Random Access Memory:隨機存取存儲器)13、非易失性地保存各種程序的閃存R0M14、時鐘15、操作鍵16、照相機17、觸摸屏18、通信接口 19。此外，這些構件經由內部總線彼此相連。
[0116]觸摸屏18具有:顯示屏81 ;觸控面板82，其以覆蓋顯示屏81的方式設置。通信接口 19 具有以太網(登錄商標)接口(InterFace) 91、串行接口 92、USB (Universal SerialBus:共用串行總線)接口 93。
[0117]CPU 11將保存在閃存R0M14中的程序展開到RAM13等中來執行。R0M12中一般保存有操作系統(OS:0perating System)等程序。RAM13為易失性存儲器，用作工作存儲器。
[0118]以太網用接口 91支持以太網的通信協議，與PLC進行數據通信。串行接口 92支持串行通信的協議，例如與PC(Personal Computer:個人計算機)進行數據通信。USB接口93支持USB的通信協議，例如與USB存儲器進行數據通信。
[0119]此外，圖5所示的構成顯示器1的各結構要素是常規性的。因此，還可以說本發明的本質的部分是保存在閃存R0M14等保存器中的軟件或能夠通過網絡下載的軟件。此外，顯示器1的各硬件的動作是公知的，因此不反復進行詳細說明。
[0120]< D.處理的詳細內容>
[0121]圖6是示出了顯示器1的功能結構的功能框圖。參照圖6，顯示器1具有拍攝部101、尺寸判斷部102、生成部103、臉部認證部104、訪問控制部105、管理部106、輸入部107、接收部108、顯示控制部109、顯示部110、字符串判斷部111、通信處理部112、限制部113、視線確定部114及存儲部115。
[0122]此外，拍攝部101與圖5等中示出的照相機17相對應。輸入部107與觸控面板82相對應。顯示部110與顯示屏81相對應。存儲部115與閃存R0M14以及R0M12相對應。
[0123]存儲部115具有登錄圖像DB(Data Base:數據庫)351、視線DB352、未登錄人員DB353、履歷 DB354、ID (Identificat1n)以及密碼 DB355 及畫面數據 DB356。
[0124]在登錄圖像DB351中，以使用戶的識別信息、用戶的臉部的臉部圖像數據、用戶的臉部的特征數據、表示對應用程序的操作權限的識別信息(例如，管理人員、操作人員等)相對應的狀態，登錄有多人的信息。具體地說，針對每個特征數據相對應地存儲有表示操作權限的識別信息。此外，通過執行預先規定的應用程序，根據臉部圖像數據來生成特征數據。另外，作為一個例子，通過利用照相機17進行拍攝來登錄臉部圖像。
[0125]在用戶通過臉部認證來未認證成功的情況下，將未認證成功的該用戶的臉部的圖像數據記錄到未登錄人員DB353中。在履歷DB354中記錄有用戶的各種履歷(登錄履歷、注銷履歷、各種操作履歷)。在畫面數據DB356中記錄有用于在顯示器1的顯示屏81上顯示各種畫面(用戶畫面、后述系統設定畫面)的畫面數據。
[0126]在視線DB352中記錄有用于表示顯示器1的用戶的視線方向的信息。對于利用該視線DB352的結構，在后面進行敘述(圖16)。在ID及密碼DB355中，針對每個用戶記錄有顯示器1的用戶的ID及密碼。對于利用ID及密碼DB355的結構，也在后面進行敘述。
[0127]拍攝部101拍攝被拍攝體，將通過該拍攝得到的圖像數據(包括臉部圖像數據的被拍攝體的圖像數據)發送至尺寸判斷部102。典型地，無論在注銷狀態還是登錄狀態下，拍攝部101都在預先指定的時刻進行拍攝處理。圖像數據與進行拍攝的日期與時刻相對應。更詳細地說，在進行認證時對為了認證用戶而進行多次拍攝得到的臉部圖像數據和特征數據進行比較，因此拍攝部101進行連續拍攝。下面，為了便于說明，將通過該連續攝影得到的圖像數據稱為“幀數據”。
[0128]尺寸判斷部102判斷圖像數據所包括的臉部區域是否大于預先規定的尺寸。詳細地說，尺寸判斷部102基于拍攝部101拍攝得到的圖像數據，來判斷被拍攝體的臉部區域是否大于預先規定的尺寸(后述最小值)。另外，尺寸判斷部102將判斷結果發送至生成部103及臉部認證部104。
[0129]在登錄臉部圖像數據的動作模式中，生成部103基于臉部圖像數據來生成特征數據。生成部103將臉部圖像數據和特征數據相關聯對應地記錄至登錄圖像DB中。典型地，在判斷為被拍攝體的臉部區域大于預先規定的尺寸(后述最小值)的情況下，生成部103將臉部圖像數據和特征數據相關聯對應地記錄至登錄圖像DB中。
[0130]臉部認證部104在注銷狀態(未容許對應用程序的訪問的狀態)下，在人物的臉部靠近顯示器1的拍攝部101時，自動進行臉部認證。另外，在登錄狀態下，臉部認證部104在接受了用戶的操作的情況下，也進行臉部認證。
[0131]具體地說，臉部認證部104基于通過拍攝得到的用戶的圖像數據(稱為“第一圖像數據”)及特征數據，來進行對用戶的認證(下面，還稱為“第一臉部認證”)。詳細地說，臉部認證部104基于表示被拍攝體中包含的臉部的臉部圖像數據和記錄在登錄圖像DB中的特征數據，來進行臉部認證。更詳細地說，臉部認證部104對多個幀數據分別進行臉部認證，從而對用戶進行認證。
[0132]臉部認證部104將認證結果發送至訪問控制部105。另外，在未認證成功的用戶的情況下，臉部認證部104將未認證成功的臉部的圖像數據(下面，還稱為“未登錄圖像數據”)發送至管理部106。
[0133]另外，臉部認證部104在預先指定的時刻，基于通過在登錄狀態下進行拍攝(在容許了對應用程序的訪問的情況下的拍攝)得到的用戶的臉部的圖像數據(還稱為“第二圖像數據”)和特征數據，來進行對用戶的認證(下面，還稱為“第二臉部認證”)。將該認證的結果發送至限制部113。
[0134]更詳細地說，臉部認證部104關注眼部來進行臉部認證。因為在使用顯示器1的場所，除了眼部之外的部分被衣服覆蓋的可能性高。
[0135]在用戶認證成功的情況下，訪問控制部105容許該用戶對應用程序的訪問。詳細地說，訪問控制部105將判斷為臉部區域大于預先規定的尺寸作為條件，容許對應用程序的訪問。
[0136]具體地說，在注銷狀態下用戶通過臉部認證來認證成功的情況下，訪問控制部105將顯示器1的狀態從注銷狀態切換到登錄狀態。詳細地說，當容許對應用程序的訪問時，訪問控制部105以從多個畫面中基于認證成功的用戶的特征數據來將畫面(參照圖3)顯示到顯示屏81 (即顯示部110)上的方式，控制顯示控制部109。
[0137]另外，在從臉部認證部104接收到表示尺寸最大的用戶的信息的情況下，訪問控制部105將與該用戶相對應的畫面顯示到顯示屏81上。在將顯示器1的狀態從注銷狀態切換到登錄狀態的情況下，訪問控制部105向管理部106發送用于表示成為了登錄狀態的信息。
[0138]詳細地說，訪問控制部105將基于多個幀數據中的預先規定的數量以上的幀數據認證為同一用戶作為條件，容許對應用程序的訪問(即，從注銷狀態切換到登錄狀態)。
[0139]輸入部107接受對象的指定及字符串的輸入這樣的各種用戶操作。例如，輸入部107接受用戶畫面上的觸摸操作。此時，輸入部107將觸摸輸入的坐標值發送至接收部108。
[0140]接收部108從輸入部107接收坐標值。接收部108基于所接收的坐標值和顯示在顯示部110上的畫面信息，來判斷所輸入的指示(用戶操作)以及字符串等。接收部108將用于表示該用戶操作的信息發送至管理部106。另外，在接收了作為字符串的ID及密碼時，接收部108將該ID及密碼發送至字符串判斷部111。
[0141]顯示控制部109將畫面顯示到顯示屏81 (即顯示部110)上。例如，顯示控制部109根據用于表示上述操作權限的識別信息，來將不同的所述畫面顯示到所述顯示屏上(參照圖3)。詳細地說，顯示控制部109根據來自各部的指示，在顯示部110上顯示各種畫面等。
[0142]具體地說，顯示控制部109例如將用戶畫面(圖2、圖3等)、用于進行系統設定的畫面(圖7A、圖7B、圖7C)及履歷畫面(圖4)顯示到顯示部110上。另外，顯示控制部109將預先規定的對象圖像重疊顯示到這些畫面上。另外，顯示控制部109將從PLC發送來的各種信息(例如數值、字符串)顯示到顯示部110上。
[0143]管理部106將認證成功的用戶的識別信息和用于表示成為了容許訪問的狀態的履歷相對應地存儲到存儲部115中。具體地說，管理部106將認證成功的用戶的識別信息和用于表示已登錄的履歷(“登錄”)相對應地存儲到存儲部115的履歷DB354中。另外，在已容許對應用程序的訪問的狀態(登錄狀態)下，在進行了用于對用戶畫面所包含的操作按鈕的圖像進行指定的操作的情況下，管理部106將認證成功的用戶的識別信息和與該操作按鈕相對應的操作的履歷(例如，“開始按壓”、“顯示圖表”)相對應地，存儲到履歷DB354中。在將各種履歷存儲到履歷DB354中時，與表示進行了與該履歷相對應的處理或者操作的日期與時刻的日期與時刻信息相對應地進行存儲。
[0144]而且，在從臉部認證部104接收到未登錄圖像數據的情況下，管理部106將該未登錄圖像數據存儲到未登錄人員DB353中。此時，未登錄圖像數據與表示進行拍攝的日期與時刻的日期與時刻信息建立有對應關系。
[0145]更詳細地說，管理部106將由管理人員進行了用于記錄履歷的設定作為條件，將上述各履歷存儲到履歷DB354中。在注銷狀態及登錄狀態中的任意狀態下，管理部106都可以將通過臉部認證來認證成功的用戶的圖像數據存儲到存儲部115中，或者也可以不存儲到存儲部115中。由管理人員選擇采用何種方式。
[0146]通信處理部112進行用于與PLC進行通信的數據處理。在后面敘述限制部113、字符串判斷部111及視線確定部114。
[0147]下面，對于編輯處理及履歷記錄處理，進行更詳細的說明。另外，還對作為顯示器1的處理的初始設定處理和變更檢測進行說明。此外，編輯處理是指，顯示控制部109通過接受訪問控制部105的控制來顯示與認證成功的用戶相對應的用戶畫面的處理(參照圖3)。另外，履歷記錄處理是指，由管理部106將未登錄圖像數據及履歷存儲到存儲部115中的處理。
[0148]另外，下面，為了便于說明，假定規定了操作應用程序的操作權限(使用權限)的范圍不同的三種人(“管理人員”、“維護人員”、“操作人員”)作為顯示器1的用戶的情況來進行說明。此外，管理人員、維護人員、操作人員的上述操作權限的范圍依次變小。
[0149](dl.初始設定處理)
[0150]圖7A、圖7B、圖7C是用于說明用于進行與臉部認證相關的系統設定的畫面的圖。圖7A是表示一般設定畫面511的圖。圖7B是表示臉部認證設定畫面512的圖。圖7C是表示詳細設定畫面513的圖。通過顯示控制部109和顯示部110來實現用于進行這些系統設定的畫面的顯示。
[0151]顯示器1僅對管理人員容許對系統的設定。即，僅能夠由作為管理人員登錄到顯示器1的人，顯示圖7A至圖7C的畫面。
[0152]參照圖7A、圖7B、圖7C，能夠通過選擇畫面上部的3個標簽(tag)中的一個標簽，來顯示圖7A至圖7C的各畫面。在圖7A所示的一般設定畫面511中，能夠進行是否記錄履歷的設定、是否記錄進行臉部認證時的臉部圖像數據的設定、與人物的變更檢測相關的設定以及與未登錄人員檢測相關的設定。
[0153]在圖7B所示的臉部認證設定畫面512中，能夠進行以下處理，即，對需要通過臉部認證來認證的用戶進行用戶登錄的處理、以及刪除該用戶登錄的處理。另外，在臉部認證設定畫面512中，能夠對同一人物登錄多個臉部圖像數據。此外，在登錄了多個臉部圖像數據的情況下，生成多個特征數據。另外，在“角色”的欄中設定管理人員、維護人員以及操作人員中的某一個。
[0154]圖7C所示的詳細設定畫面513中，能夠設定通過進行臉部認證來認可登錄時使用的被拍攝體(人物以及背景)的臉部尺寸的最小值以及最大值。另外，在詳細設定畫面513中，能夠設定通過進行臉部認證來可判斷為本人的匹配度(像本人)的下限值(閾值)。例如，作為該閾值的一個例子，可舉出98%。
[0155]圖8是用于說明保存在登錄圖像DB351中的數據的圖。參照圖8，在數據D1中，相對應地記錄有姓名、職務、數據的更新日、臉部圖像數據及特征數據。作為一個例子，針對“Yamashita Takeshi ”的姓名，相對應地存儲有“管理人員”這樣的職務、“2012/08/16”這樣的更新日、三個臉部圖像數據(“1023KD”、“7544KD”、“9118KD”)及三個特征數據(“1023TD”、“7544TD”、“9118TD”)。此外，各特征數據是根據同欄中記載的臉部圖像數據來生成的數據。例如，根據臉部圖像數據“ 1023KD”來生成特征數據“ 1023TD”。
[0156]能夠最多設定預先規定的數量(例如，分別10個)的臉部圖像數據及特征數據。顯示器1的臉部認證部104也可以在與多個特征數據中的至少一個特征數據之間的匹配度大于所設定的下限值(閾值)時，判斷為認證成功(用戶得到了認證)?；蛘?，臉部認證部104也可以在與上述多個特征數據中的全部特征數據之間的匹配度大于所設定的下限值時，判斷為認證成功(用戶得到了認證)。
[0157]圖9A、圖9B、圖9C是用于說明圖8的臉部圖像數據的圖。詳細地說，圖9A是基于“Yamashita Takeshi”的第一個臉部圖像數據“ 1023KD”的圖像。圖9B是基于“YamashitaTakeshi”的第二個臉部圖像數據“7544KD”的圖像。圖9C是基于“Yamashita Takeshi”的第三個臉部圖像數據“9118KD”的圖像。這樣，登錄不同狀態的多個臉部圖像數據，利用上述臉部圖像數據來進行臉部認證，從而能夠提高顯示器1的認證精度。
[0158](d2.編輯處理)
[0159]如上所述，在顯示器1上顯示與通過臉部認證來認證成功的用戶相對應的畫面。圖10A、圖10B、圖10C為與認證成功的用戶相對應的畫面的例子，表不了與圖3的例子不同的畫面。
[0160]圖10A是表示管理人員的用戶畫面531的圖。S卩，圖10A是通過臉部認證來認證成功的用戶已事先登錄為管理人員的情況下顯示的用戶畫面。圖10B是表示維護人員的用戶畫面532的圖。即，圖10B是通過進行臉部認證來認證成功的用戶已事先登錄為維護人員的情況下顯示的用戶畫面。圖10C是表示操作人員的用戶畫面533的圖。S卩，圖10C是通過臉部認證來認證成功的用戶已事先登錄為操作人員的情況下顯示的用戶畫面。
[0161]參照圖10A，用戶畫面531包括狀態(Status)831、維護菜單832、管理菜單833及用于注銷的對象834。
[0162]參照圖10B，用戶畫面532包括狀態831、維護菜單832、對象834。用戶畫面532與用戶畫面531不同，不包括管理菜單833。
[0163]參照圖10C，用戶畫面533包括狀態831和對象834。用戶畫面533與用戶畫面531不同，不包括管理菜單833和維護菜單832。
[0164]如上所述，顯示器1基于臉部認證的結果，顯示與操作權限相對應的用戶畫面。
[0165]圖11是表示在顯示圖10A、圖10B、圖10C的各用戶畫面531、532、533時所參照的數據D3的圖。參照圖11，在數據D3中，對對象名、坐標信息、表示針對每個職務是否顯示對象圖像的信息建立有對應關系。例如，記述有如下內容，即，對管理人員和維護人員顯示作為三個對象圖像的開始按鈕、停止按鈕及暫停按鈕。并且，記述有對管理人員顯示系統菜單的對象圖像的內容。并且，記述有對所有用戶顯示用于注銷的對象圖像的內容。
[0166]另外，坐標信息是指在將對象圖像顯示到顯示屏81上時利用的信息。利用坐標信息，來規定對象圖像的左上部的坐標、對象圖像的寬度和高度。
[0167](d3.履歷記錄處理)
[0168]圖12是表示由管理部106管理的履歷數據D5的圖。S卩，圖12表示保存在履歷DB354中的履歷數據D5。參照圖12，在履歷數據D5中相對應地記錄有日期與時刻、指令、姓名。在從用戶(例如，管理人員)接受到顯示履歷數據D5的指示時，顯示器1顯示圖4所示的畫面。
[0169]圖13是表示保存在未登錄人員DB353中的數據D7的圖。參照圖13，在數據D7中，相對應地記錄有用戶通過臉部認證來未認證成功的人物的圖像(未登錄人員圖像)和進行拍攝的日期與時刻。
[0170]例如，在操作人員對顯示器1進行了用于確認未登錄人員的輸入的情況下，顯示器1參照數據D7，將未登錄人員的圖像顯示在顯示屏81上。
[0171](d4.變更檢測)
[0172]接著，對于變更檢測進行說明。變更檢測是指，在通過對某人物進行了臉部認證來顯示器1處于登錄狀態的情況下，顯示器1再次通過進行臉部認證來檢測與該人物不同的人物的檢測。
[0173]如上所述，即使在登錄狀態下，臉部認證部104也在預先指定的時刻基于在登錄狀態下進行拍攝得到的臉部的圖像數據和特征數據，來進行臉部認證。
[0174]在通過上述第一臉部認證來認證成功的用戶和通過上述第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制部113限制應用程序的處理的執行。另外，在用戶通過第二臉部認證來未認證成功的情況下，限制部113限制應用程序的處理的執行。具體地說，通過登錄狀態下的臉部認證來得到的認證結果不表示通過注銷狀態下的臉部認證來認證成功的用戶的情況下，或者用戶通過登錄狀態下的臉部認證來未認證成功的情況下，限制部113限制在登錄狀態下認可的預先規定的處理的執行。
[0175]例如，假設在顯示管理人員的用戶畫面531的狀態(圖10A)下，該管理人員之外的人物站在顯示器1前，并對該人物進行了拍攝及認證。此時，限制部113至少限制在登錄狀態下認可的處理的執行。優選地，限制部113不接受對在登錄狀態下表示的對象圖像進行的選擇。
[0176]圖14A、圖14B是表示在由限制部113限制進行處理的情況下顯示的畫面的圖。圖14A是表示帶有警告顯示的畫面的圖。圖14B是表示從登錄狀態轉移到注銷狀態之后的畫面的圖。可將顯示圖14A所示的畫面還是顯示圖14B所示的畫面的信息，預先規定到顯示器1中。管理人員還能夠變更該設定。
[0177]參照圖14A，在限制應用程序的處理的執行的情況下，訪問控制部105以如下方式控制顯示控制部109，該方式是指，以將預先規定的對象圖像，以重疊到在容許訪問的狀態(登錄狀態)下顯示的畫面上的狀態，顯示到顯示屏81 (顯示部110)上的方式。由此，顯示控制部109將通過在圖10A所示的用戶畫面531上重疊表示警告的對象圖像來得到的畫面551，顯示到顯示部110上。
[0178]參照圖14B，訪問控制部105將顯示器1的狀態從登錄狀態切換到注銷狀態。伴隨與此，在限制應用程序的處理的執行的情況下，顯示控制部109取代在容許所述訪問的狀態下顯示的畫面而將未容許該訪問的狀態的畫面顯示到顯示屏81上。具體地說，顯示控制部109將注銷狀態的畫面顯示到顯示部110上。此時，顯示器1執行注銷狀態下的拍攝及臉部認證處理。
[0179]此外，在上述中，舉出在由限制部113限制了處理時將用戶畫面轉移至其它畫面的例子來進行了說明，但是并不限定于此。例如，顯示器1也可以不轉移畫面而僅限制處理。由管理人員指定用于實現這種方式的設定。
[0180]另外，在通過登錄狀態下的臉部認證來得到的認證結果不表示通過注銷狀態下的臉部認證來認證成功的用戶的情況下，也可以執行如下的處理。即，也可以使顯示器1顯示與在登錄狀態下認證成功的用戶的操作權限相對應的用戶畫面。例如，在顯示管理人員的用戶畫面531 (圖10A)的狀態下，由操作人員通過臉部認證來認證成功的情況下，顯示器1也可以顯示操作人員的用戶畫面533(圖10C)。另外，在不同的管理人員通過臉部認證來認證成功的情況下，也可以不限制管理人員的操作權限，而保持用戶畫面531的狀態。
[0181]< E.控制結構>
[0182]圖15是用于說明顯示器1的處理流程的流程圖。具體地說，圖15是表示從未容許對應用程序的訪問的狀態(注銷狀態)經由容許了訪問的狀態(登錄狀態)轉移至未容許訪問的狀態(注銷狀態)的情況的圖。
[0183]參照圖15，在步驟S2中，顯示器1在起動之后開始進行拍攝。在步驟S4中，顯示器1基于通過拍攝得到的被拍攝體的圖像數據，來判斷是否檢測到臉部。在判斷為到臉部的情況(在步驟S4中為“是”)下，顯示器1在步驟S6中進行臉部認證。在判斷為未檢測到臉部的情況(在步驟S4中為“否”)下，顯示器1使處理進入步驟S4。
[0184]在步驟S8中，顯示器1判斷用戶通過臉部認證來是否認證成功。在判斷為用戶認證成功的情況(在步驟S8中為“是”)下，在步驟S10中，顯示器1將顯示器1的狀態從注銷狀態切換到登錄狀態。即，顯示器1容許對應用程序的訪問。在判斷為用戶未認證成功的情況(在步驟S8中為“否”)下，在步驟S36中，顯示器1將圖像數據存儲到未登錄人員DB353 中。
[0185]在步驟S12中，顯示器1顯示與認證成功的用戶相對應的用戶畫面。在步驟S14中，顯示器1將用于表示進行了登錄的履歷，與時刻及通過進行認證來認證成功的用戶的姓名相關聯對應地，記錄至履歷DB354中。S卩，顯示器1將用于表示容許了對應用程序的訪問的履歷，與時刻及通過進行認證來認證成功的用戶的姓名相關聯對應地進行記錄。在步驟S16中，顯示器1判斷在用戶畫面上是否接受到操作。典型地，顯示器1判斷是否選擇了對象圖像。
[0186]在判斷為接受到操作的情況(在步驟S16中為“是”)下，在步驟S18中，顯示器1將該操作的履歷，與進行操作的時刻以及通過進行認證來認證成功的用戶的姓名相對應地，存儲至履歷DB354中。在判斷為未接受到操作的情況(在步驟S16中為“否”)下，顯示器1使處理進入步驟S20。
[0187]在步驟S20中，顯示器1基于通過拍攝得到的被拍攝體的圖像數據，來判斷是否檢測到臉部。在判斷為檢測到臉部的情況(在步驟S20中為“是”)下，在步驟S22中，顯示器1進行臉部認證。在判斷為未檢測到臉部的情況(在步驟S20中為“否”)下，顯示器1使處理進入步驟S20。
[0188]在步驟S24中，顯示器1判斷用戶通過臉部認證來是否認證成功。在判斷為用戶認證成功的情況(在步驟S24中為“是”)下，在步驟S26中，顯示器1判斷認證成功的用戶是否為與在登錄之前的注銷狀態下認證成功的用戶是同一人物。在判斷為用戶未認證成功的情況(在步驟S24中為“否”)下，在步驟S38中，顯示器1將圖像數據存儲到未登錄人員DB353中。作為一個例子，在步驟S40中，顯示器1進行警告顯示(圖14A)。
[0189]在判斷為同一人物的情況(在步驟S26中為“是”)下，在步驟S28中，顯示器1判斷在用戶畫面上是否接受到操作。在判斷為不是同一人物的情況(在步驟S26中為“否”)下，顯示器1使處理進入步驟S40。
[0190]在判斷為接受到操作的情況(在步驟S28中為“是”)下，在步驟S30中，顯示器1將該操作的履歷，與進行了操作的時刻以及通過進行認證來認證成功的用戶的姓名相對應地，存儲到履歷DB354中。在判斷為未接受到操作的情況(在步驟S28中為“否”)下，顯示器1使處理進入步驟S32。
[0191]在步驟S32中，顯示器1判斷是否接受到用于注銷的操作。在判斷為未接受到用于注銷的操作的情況(在步驟S32中為“否”)下，顯示器1使處理進入步驟S20。在判斷為接受到用于注銷的操作的情況(在步驟S32中為“是”)下，在步驟S34中，顯示器1將該操作的履歷、與進行了操作的時刻以及通過進行認證來認證成功的用戶的姓名相對應地，存儲到履歷DB354中。由此，顯示器1再次返回至注銷的狀態，從而結束一系列處理。
[0192]< F.變形例 >
[0193](fl.編輯處理的變形例)
[0194]在上述中，說明了顯示器1顯示與通過進行臉部認證來認證成功的用戶相對應的畫面的結構。具體地說，說明了顯示器1基于認證成功的用戶的操作權限(管理人員的操作權限、維護人員的操作權限、操作人員的操作權限)來顯示畫面的結構。下面，說明基于這樣的操作權限和與認證成功的用戶相關的各種信息來顯示畫面的結構。
[0195]圖16是用于說明取代圖8所示的數據D1而保存在登錄圖像DB351中的數據的圖。參照圖16，在數據D9中，相對應地記錄有姓名、職務、數據的更新日、臉部圖像數據以及特征數據、用于規定顯示方式的數據(年齡數據、性別數據、國籍數據、靈活手數據)。在包括用于規定顯示方式的數據這一點上，數據D9與圖8所示的數據D1存在差異。
[0196]顯示器1基于操作權限和用于規定顯示方式的數據來顯示畫面。例如，在通過進行臉部認證來認證用戶為“Yamashita Takeshi ”的情況下,在顯示管理人員的畫面時，將該畫面中所包含的語種設定為日語。另外，顯示器1將字符的尺寸、畫面的輝度以及畫面的對比度等，調整為與年齡相對應的值。而且，在左利手(左撇子)用的對象圖像(菜單、操作按鈕)的配置方式及右利手(右撇子)用的對象圖像的配置方式中，顯示器1以右撇子用配置方式顯示畫面。
[0197]另外，在通過進行臉部認證來認證用戶為“ 01 i ver ffi lliams ”的情況下，在顯示維護人員的畫面時，將該畫面中所包含的語種設定為英語。另外，將可編程顯示器、字符的尺寸、畫面的輝度以及畫面的對比度等，調整為與年齡相對應的值。而且，顯示器1以右利手(右撇子)用配置方式顯示畫面。另外，顯示器1從維護人員用的多個畫面中顯示為了女性預先準備的維護人員用畫面。
[0198]如上所述，在顯示器1中，針對多個特征數據分別對應有用于規定畫面的顯示方式的信息。顯示器1的顯示控制部109以由與認證成功的用戶的特征數據相對應的信息來規定的顯示方式，將與認證成功的用戶相對應的畫面顯示到顯示部110上。因此，顯示器1能夠顯示對通過進行臉部認證來認證成功的用戶定制的畫面。
[0199]另外，如上所述，上述顯示方式包括語種及字符尺寸中的至少一種。因此，顯示器1能夠利用認為適合于認證成功的用戶的語種及字符尺寸，來顯示畫面。
[0200]而且，用于規定畫面的顯示方式的信息包括年齡、性別及國籍中的至少一個。顯示器1能夠通過利用上述信息，顯示適合于通過進行臉部認證來認證成功的用戶的畫面。
[0201](f2.與視線相關的處理)
[0202]圖17是用于說明檢測用戶的視線方向的結構的圖。參照圖17，在登錄狀態下，顯示器1基于發生了預先規定的事件的情況，顯示與該事件相對應的預先規定的對象891。
[0203]在通過在容許對應用程序的訪問時(登錄狀態)拍攝得到的用戶的圖像數據中包含臉部的圖像數據的情況下，顯示器1的視線確定部114(參照圖6)確定該臉部的視線方向。此時，管理部106將發生了上述預先規定的事件時的視線方向與該事件相關聯對應地存儲至存儲部115的視線DB352中。此外，能夠通過研究所拍攝的圖像數據中的臉部的大小(眼睛的大小)和該臉部中的虹膜(或者瞳孔)的位置，來確定視線方向。
[0204]因此，登錄的管理人員等能夠通過確認視線DB352的數據，來判斷在發生了預先規定的事件時操作人員等在發生事件時在現場工作的人是否正在看顯示器1的畫面。
[0205](f3.多個人的臉部認證處理)
[0206]在上述中，舉例說明了通過進行一次拍攝來拍攝到一個人的情況。下面，說明通過進行一次拍攝來拍攝到多個人的情況的處理。
[0207]圖18是表示利用照相機17拍攝得到的被拍攝體的圖像數據中包含多個用戶的狀態的圖。參照圖18，在圖像的最前方拍攝到了人物910。另外，在人物910的后方依次拍攝到了人物920及人物930。因此，按照人物910、人物920、人物930的順序，臉部區域的尺寸依次變小。
[0208]在從拍攝部101接收到通過進行一次拍攝來拍攝到多個人物的圖像數據的情況下，尺寸判斷部102判斷各人物的臉部區域是否大于預先規定的尺寸。在圖18的情況下，尺寸判斷部102判斷人物910、人物920、人物930的臉部區域是否大于預先規定的尺寸。
[0209]在從尺寸判斷部102接收到通過進行一次拍攝來拍攝到多個人物的圖像數據和上述判斷結果的情況下，臉部認證部104對該多個人物進行臉部認證。此時，臉部認證部104至少將認證成功的用戶中的尺寸最大的用戶的識別信息發送至訪問控制部105。例如，在圖18的情況下，臉部認證部104將人物910的識別信息(典型地，姓名)發送至訪問控制部105。
[0210]在通過拍攝得到的圖像數據中包含多個用戶的情況下，管理部106將該多個用戶中的判斷為臉部區域大于預先規定的尺寸(下限值)的用戶的識別信息，與用于表示容許了對應用程序的訪問的情況(即，登錄的情況)的履歷相對應地，存儲到存儲部115的履歷DB354中。例如，在圖18的情況下，管理部106將人物910的識別信息與用于表示已登錄的情況的履歷相對應地存儲到履歷DB354中。
[0211]另外，管理部106將上述多個用戶中的除了判斷為臉部區域大于預先規定的尺寸的用戶之外的用戶的識別信息，存儲到存儲部115中。例如，在圖18的情況下，管理部106將人物920的用戶信息和人物930的用戶信息存儲到存儲部115中。
[0212]因此，顯示器1的用戶(例如管理人員)能夠通過識別信息，來確定在顯示器1的狀態從注銷狀態切換到登錄狀態時在進行登錄的人物(在圖18的情況下為人物910)的周圍存在哪些人。在圖18的例子中，管理人員能夠確定人物920的姓名和人物930的姓名。
[0213]而且，管理部106將除了判斷為臉部區域大于預先規定的尺寸的用戶之外的用戶中的用戶未認證成功的人的圖像數據，進而存儲到存儲部115中。例如，在圖18的情況下，在由臉部認證部104判斷為人物930是未登錄人員的情況下，管理部106將人物930的圖像數據存儲到存儲部115中。
[0214]因此，顯示器1的用戶(例如管理人員)能夠確認，在顯示器1的狀態從注銷狀態切換到登錄狀態時、位于登錄的人物(在圖18的情況下為人物910)的周圍的未登錄的人物的臉部。
[0215](f4.1D以及密碼的利用)
[0216]接著，說明利用ID以及密碼的結構。在顯示器1中，在比操作人員的操作權限大的管理人員及維護人員的情況下，為了登錄，除了用戶通過臉部認證來認證成功的情況之外，還可以將ID及密碼一致作為條件，來容許對應用程序的訪問(將顯示器1的狀態從注銷狀態切換到登錄狀態)。對該處理如下進行詳細說明。
[0217]在通過臉部認證來認證成功的用戶為具有管理人員或者維護人員的操作權限的人的情況下，接收部108接收作為字符串的ID以及密碼的輸入。另外，字符串判斷部111判斷接收部108接收的ID以及密碼和預先登錄在ID以及密碼DB355中的ID以及密碼(預先規定的字符串)是否一致。而且，將由字符串判斷部111判斷為一致作為條件，訪問控制部105將顯示器1的狀態從注銷狀態切換到登錄狀態。
[0218]根據這樣的結構，與操作權限的大小無關地僅通過進行臉部認證來容許登錄的結構相比，能夠提高安全性。此外，在上述中，舉例說明了向管理人員和維護人員請求輸入ID及密碼的結構，但是也可以僅向管理人員請求輸入ID及密碼。另外，也可以以僅請求輸入ID及密碼中的某一個的方式構成顯示器1。
[0219](f4.不內置照相機的結構)
[0220]在上述中，舉例說明了可編程顯示器內置有照相機的結構，但是并不限定于此。也可以采用可編程顯示器與外置的照相機進行通信的結構。即，也可以采用顯示器1從外置的照相機獲取圖像數據的結構。
[0221](f5.對于操作權限)
[0222]在上述中，說明了管理人員、維護人員、操作人員這三個具有不同的操作權限的人的例子，但是并不限定于此。操作權限的種類(劃分)的數目可以是二個，也可以是四個以上。
[0223](f6.對除了可編程顯示器之外的裝置的應用)
[0224]在上述中，舉例說明了可編程顯示器(顯示器1)。但是，上述各種處理，不僅能夠應用于可編程顯示器，還能夠應用于包含該可編程顯示器的監視器(顯示裝置)。
[0225]應當認為本公開的實施方式是在全部點的例示而非限制。本發明的范圍并不由上述的說明來表示，而是由權利要求書來表示，意在包括在與權利要求書等同的意思和范圍內的全部變更。
【權利要求】
1.一種可編程顯示器，用于控制對應用程序的訪問，其特征在于， 具有: 存儲單元，其存儲用戶的臉部的特征數據； 認證單元，其基于拍攝得到的用戶的第一圖像數據和所述特征數據，來對所述用戶進行第一臉部認證； 訪問控制單元，其在用戶認證成功的情況下，容許所述用戶對所述應用程序的訪問。
2.根據權利要求1所述的可編程顯示器，其特征在于， 所述認證單元，進而基于第二圖像數據和所述特征數據，在預先指定的時刻對所述用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對所述應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據； 還具有限制單元，該限制單元在通過所述第一臉部認證來認證成功的用戶和通過第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制對所述應用程序的處理的執行。
3.根據權利要求1所述的可編程顯示器，其特征在于， 所述認證單元，進而基于第二圖像數據和所述特征數據，在預先指定的時刻對所述用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對所述應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據； 還具有限制單元，該限制單元在用戶通過所述第二臉部認證來未認證成功的情況下，限制對所述應用程序的處理的執行。
4.根據權利要求2或3所述的可編程顯示器，其特征在于， 還具有: 顯示屏， 顯示控制單元，其將畫面顯示到所述顯示屏上； 所述訪問控制單元，在限制對所述處理的執行的情況下，以特定方式控制所述顯示控制單元，上述特定方式是指，將預先規定的對象圖像，以重疊到在容許所述訪問的狀態下顯示的畫面上的狀態，顯示到所述顯示屏上的方式。
5.根據權利要求2或3所述的可編程顯示器，其特征在于， 還具有: 顯示屏， 顯示控制單元，其將畫面顯示到所述顯示屏上； 所述訪問控制單元，在限制對所述處理的執行的情況下，取代在容許所述訪問的狀態下顯示的畫面，而將不容許所述訪問的狀態的畫面，顯示到所述顯示屏上。
6.根據權利要求1至5中任一項所述的可編程顯示器，其特征在于， 還具有第一判斷單元，該第一判斷單元判斷所述第一圖像數據中包含的臉部區域是否大于預先規定的尺寸； 所述訪問控制單元，將判斷為所述臉部區域大于預先規定的尺寸作為條件，容許對所述應用程序的訪問。
7.根據權利要求6所述的可編程顯示器，其特征在于，還具有生成單元，該生成單元基于所述拍攝得到的臉部的圖像數據，來生成用于表示該臉部的特征的特征數據，并將所生成的所述特征數據存儲到所述存儲單元中。
8.根據權利要求1至6中任一項所述的可編程顯示器，其特征在于， 所述存儲單元中存儲有多個所述特征數據和用于確定用戶的預先規定的字符串； 所述多個特征數據中的第一特征數據，與表示對所述應用程序的第一操作權限的第一識別信息相對應關聯； 所述多個特征數據中的第二特征數據，與表示權限比所述第一操作權限更大的第二操作權限的第二識別信息相對應關聯； 所述可編程顯示器還具有: 接收單元，其在通過所述臉部認證來認證成功的用戶是具有所述第二操作權限的用戶的情況下，接收該用戶所輸入的字符串， 第二判斷單元，其判斷所接收的所述字符串與預先規定的所述字符串是否一致；所述訪問控制單元將由所述第二判斷單元判斷為一致作為條件，容許對所述應用程序的訪問。
9.根據權利要求1至8中任一項所述的可編程顯示器，其特征在于， 所述用戶的第一圖像數據由時間上連續的預先規定的數量的幀數據構成； 所述認證單元基于多個所述幀數據中的每個幀數據來進行所述臉部認證， 所述訪問控制單元，將基于多個所述幀數據中的預先規定的數量以上的幀數據認證為同一用戶作為條件，容許對所述應用程序的訪問。
10.一種控制方法，用于控制對在可編程顯示器上動作的應用程序的訪問，其特征在于， 包括: 預先保存表示用戶的臉部的特征的特征數據的步驟； 接收拍攝得到的用戶的第一圖像數據的步驟； 基于所述第一圖像數據和所述特征數據，來對用戶進行第一臉部認證的步驟； 在用戶通過所述臉部認證來認證成功的情況下，容許用戶對應用程序的訪問的步驟。
11.根據權利要求10所述的控制方法，其特征在于， 還具有: 在容許了用戶對所述應用程序的訪問的情況下，拍攝得到用戶的第二圖像數據的步驟； 基于所述特征數據和所述第二圖像數據，來對用戶進行第二臉部認證的步驟； 在通過所述第一臉部認證來認證成功的用戶和通過所述第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制對所述應用程序的處理的執行的步驟。
12.根據權利要求10所述的控制方法，其特征在于， 進而基于第二圖像數據和所述特征數據，在預先指定的時刻對所述用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對所述應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據； 所述控制方法還包括:在通過所述第一臉部認證來認證成功的用戶和通過第二臉部認證來認證成功的用戶為不同的用戶的情況下，限制對所述應用程序的處理的執行的步驟。
13.根據權利要求10所述的控制方法，其特征在于， 進而基于第二圖像數據和所述特征數據，在預先指定的時刻對所述用戶進行第二臉部認證，上述第二圖像數據是指，在容許了對所述應用程序的訪問的情況下拍攝得到的用戶的臉部的圖像數據； 所述控制方法還包括:在用戶通過所述第二臉部認證來未認證成功的情況下，限制對所述應用程序的處理的執行的步驟。
14.根據權利要求11至13中任一項所述的控制方法，其特征在于，還具有:在限制對所述處理的執行的情況下，將預先規定的對象圖像，以重疊到在容許所述訪問的狀態下顯示的畫面上的狀態，顯示到所述顯示屏上的步驟。
15.根據權利要求11至13中任一項所述的控制方法，其特征在于，還具有:在限制對所述處理的執行的情況下，取代在容許所述訪問的狀態下顯示的畫面，而將不容許所述訪問的狀態的畫面，顯示到所述顯示屏上的步驟。
16.根據權利要求11至15中任一項所述的控制方法，其特征在于， 還具有: 判斷所述第一圖像數據中包含的臉部區域是否大于預先規定的尺寸的步驟； 將判斷為所述臉部區域大于預先規定的尺寸作為條件，容許對所述應用程序的訪問的步驟。
17.根據權利要求16所述的控制方法，其特征在于，還具有:基于所述拍攝得到的臉部的圖像數據，來生成用于表示該臉部的特征的特征數據，并將所生成的所述特征數據存儲到所述存儲單元中的步驟。
18.根據權利要求10至17中任一項所述的控制方法，其特征在于， 還具有存儲多個所述特征數據和用于確定用戶的預先規定的字符串的步驟； 所述多個特征數據中的第一特征數據，與表示對所述應用程序的第一操作權限的第一識別信息相對應關聯； 所述多個特征數據中的第二特征數據，與表示權限比所述第一操作權限更大的第二操作權限的第二識別信息相對應關聯； 所述控制方法還包括: 通過所述臉部認證來認證成功的用戶是具有所述第二操作權限的用戶的情況下，接收該用戶所輸入的字符串的步驟， 判斷所接收的所述字符串與預先規定的所述字符串是否一致的步驟， 將判斷為所述字符串彼此一致作為條件，在容許對所述應用程序的訪問和取消容許對所述應用程序的訪問之間進行切換的步驟。
19.根據權利要求10至18中任一項所述的控制方法，其特征在于， 所述用戶的第一圖像數據由時間上連續的預先規定的數量的幀數據構成； 在所述第一臉部認證的步驟中，基于多個所述幀數據中的每個幀數據來進行所述臉部認證； 在容許所述訪問的步驟中，將基于多個所述幀數據中的預先規定的數量以上的幀數據認證為同一用戶作為條件，發行或取消對所述應用程序的訪問權。
20.一種程序，用于控制對在可編程顯示器上動作的應用程序的訪問，該程序的特征在于， 該程序使可編程顯示器的處理器執行以下步驟: 基于拍攝得到的用戶的圖像數據和表示用戶的臉部的特征的特征數據來進行臉部認證的步驟； 在用戶認證成功的情況下，容許所述用戶對所述應用程序的訪問的步驟。
【文檔編號】G06F3/14GK104346122SQ201410362586
【公開日】2015年2月11日 申請日期:2014年7月28日 優先權日:2013年7月29日
【發明者】藤原靖卓, 山下隆義, 川上文雄 申請人:歐姆龍株式會社