本發(fā)明涉及一種具備利用了CNC的機械以及機器人的機器人系統(tǒng)。

背景技術(shù)：

近年來，提出了通過使利用機床等的CNC(計算機數(shù)值控制裝置)的機械與機器人進行協(xié)作來使生產(chǎn)工序自動化的各種系統(tǒng)。這種自動化系統(tǒng)不增加工廠人員就能增加產(chǎn)量，被積極地應用于再設計一部分工序來增加產(chǎn)量時或建設新工廠時等情況。

在這種自動化系統(tǒng)中執(zhí)行的工序中，機器人有時從工廠的PLC(可編程邏輯控制器)的簡易控制盤或利用了CNC的機械顯示器的GUI(圖形用戶界面)中確認狀態(tài)并能夠進行操作。由此，現(xiàn)場作業(yè)人員能夠集中操作利用了CNC的機械例如機床，或能夠在由機械進行的加工中并行地進行其它作業(yè)。

例如在日本特開平6-149329號公報中公開了從機床實施機器人程序編輯、啟動和機器人輕推的技術(shù)。然而在日本特開平6-149329號公報中并沒有特別記載期望什么樣的機械操作畫面。在日本特開2010-277425號公報中公開了一種具備用于管理機床的畫面來作為機器人的示教操作盤的GUI的加工系統(tǒng)。由此，操作員能夠確認機床的狀態(tài)并且能夠從機器人執(zhí)行機床的一部分操作。

對于工廠的作業(yè)人員來說，機器人被分為兩種類型。一種類型的機器人與產(chǎn)品的加工直接相關(guān)。因此，產(chǎn)品的產(chǎn)量和質(zhì)量依賴于機器人的性能和使用方法。另一種類型的機器人僅進行工件的搬送、自動換刀或清洗等生產(chǎn)工序中的輔助作業(yè)。在該情況下，產(chǎn)品的加工由機床等專用機械執(zhí)行。

在前者的應用例中例如存在由機器人進行的機械部件的弧焊或汽車車體工廠中的點焊等。在這些情況下，如果不能按照預期使用機器人，則有可能發(fā)生質(zhì)量問題并大量生產(chǎn)次品。因而，工廠的作業(yè)人員有仔細查看機器人的使用方法的動機。另外，存在作業(yè)人員的管理責任人由于作業(yè)人員熟練操作機器人因而容忍分割工作時間中的時間的傾向。

在后者的情況下，情況有所不同。產(chǎn)品的加工由利用了CNC的機械等執(zhí)行，因此作業(yè)人員需要正確地理解該機械的使用方法并且具有關(guān)于加工本身的基本知識。另外，如果不完全掌握對該機械中能夠執(zhí)行的加工進行輔助的各種功能，則無法在短時間內(nèi)不返工地實施確保了所需充分質(zhì)量的加工。例如在使用加工中心的情況下，作業(yè)人員需要注意用于適當?shù)靥幚砉ぜ闹R、用于輸出NC程序的CAD/CAM、冷卻劑的調(diào)節(jié)、用于固定工件的最佳夾具的選擇、磨損刀具的刀具長度校正等各種事項。

在對利用了如上述CNC的機械進行處理時，存在作業(yè)人員感到機器人在變化小的條件下反復進行相同作業(yè)的傾向。另外，在機器人正常運行期間不與產(chǎn)品的質(zhì)量相關(guān)，因此存在作業(yè)人員的管理責任人也會有類似印象的傾向。

結(jié)果，存在作業(yè)人員或管理責任人認為掌握一般生產(chǎn)業(yè)務所需的一個或兩個過程即足夠而不會熟讀機器人使用說明書的傾向。機器人提供者無法責備該情況。這是由于，如果機器人的管理成本抵消了引入機器人帶來的工廠整體的生產(chǎn)性提高，則失去引入機器人的意義。

只要機器人正常地持續(xù)運行并執(zhí)行一般生產(chǎn)業(yè)務，則即使作業(yè)人員不熟練操作機器人也不會產(chǎn)生問題。但是，在作業(yè)人員或管理責任人為了研究業(yè)務的改進而要重新考慮機器人的作業(yè)內(nèi)容的情況下，即使是小規(guī)模的變更，也要花費大量時間從頁數(shù)繁多的使用說明書中找出相關(guān)聯(lián)的說明處。

另外，作業(yè)人員平時幾乎不會意識到機器人而進行其它作業(yè)，因此在發(fā)生問題導致機器人停止的情況下，將該情況作為意外的事件來受理，從而有時感到心理上的壓抑。并且，機器人的GUI的設計標準與作業(yè)人員通常使用的利用了CNC的機械的GUI不同，因此在不習慣的作業(yè)中產(chǎn)生人為錯誤，有可能導致恢復作業(yè)無法順利地進行(關(guān)于人為錯誤，特別是參照《為誰設計？增補修訂版》、Donald A Norman、新曜社、原著《The Design of Everyday Things Revised and Expanded Edition》、第4章獲知要做什么-制約、發(fā)現(xiàn)可能性、反饋、第五章人為錯誤？不，是設計差)。

提出了很多在任意外觀與操作應答標準之間切換利用了CNC的機械或機器人中的某一個GUI畫面。例如在日本特開平6-168020號公報中公開了對利用了CNC的機械顯示進行切換的技術(shù)。在國際公開第2007/018753號中公開了對HTML(超文本標記語言)文件中的幀和顯示在其內(nèi)部的顯示要素的布局進行變更的技術(shù)。在日本特開平2-051720號公報中公開了在觸摸面板上顯示鍵輸入?yún)^(qū)域時變更鍵布局的方法。

然而，即使能夠利用輔助GUI的構(gòu)建的各種方法或軟件，在由于不同的設計源、不同的目的、不同的用途而進行兩個GUI的設計的情況下，通常兩個GUI的最終標準差異也會很大。因而，完全掌握一個GUI的作業(yè)人員不依賴于使用說明書或有經(jīng)驗人的指導而完全掌握另一個GUI是很困難的。

作為針對這種問題的對策，與日本特開平6-149329號公報所公開的關(guān)聯(lián)技術(shù)一樣，存在從利用了CNC的機械的顯示器的GUI的提供者將用于處理與CNC通信連接的機器人的GUI與用于機械的GUI進行合并而提供的方法。由此，能夠以與處理機械相同的使用容易度來使用機器人。

然而，在該情況下，要在設計利用了CNC的機械的一側(cè)開發(fā)專用GUI，結(jié)果導致機械成本增大。因此，實際上各機械制造商開發(fā)用于操作機器人的畫面并將其提供給顧客是很罕見的。

技術(shù)實現(xiàn)要素：

作為作業(yè)人員感到不易使用機器人的狀況，考慮以下兩種情況。第一，在原機器人的GUI畫面上，未應用通常能夠針對人應用的公知的設計指南，從而不易使用。第二，熟練使用利用了CNC的機械的顯示器的GUI畫面的作業(yè)人員產(chǎn)生由GUI的操作差異引起的確認上的操作失誤。本發(fā)明以應對后者的問題為目的。

根據(jù)本發(fā)明，提供一種機器人系統(tǒng)，具備利用了CNC的機械、經(jīng)由通信網(wǎng)絡與上述CNC連接的機器人控制裝置、以及顯示上述機械的GUI畫面的顯示器，其特征在于，該機器人系統(tǒng)具備：機械屬性值存儲部，其存儲以下組合：用于對上述顯示器的GUI畫面追加機器人的顯示要素的種類、外觀、顯示位置的每個屬性所對應的值的組合以及上述顯示要素的各種類的操作應答標準的每個屬性所對應的值的組合；和機械畫面生成部，其根據(jù)存儲在上述機械屬性值存儲部中的上述每個屬性所對應的值的組合，對上述機械的GUI畫面追加并生成上述機器人的顯示要素，在上述機械屬性值存儲部存儲有上述機器人的上述顯示要素和上述顯示要素的各種類的操作應答標準的每個屬性所對應的值的組合的情況下，上述機械畫面生成部構(gòu)成為生成包括上述機器人的顯示要素在內(nèi)的上述顯示器的GUI畫面，在上述CNC與上述機器人控制裝置處于通信中時，能夠從上述機械執(zhí)行上述機器人的狀態(tài)確認或操作。

在優(yōu)選實施方式中，上述機器人控制裝置具備：機器人屬性值存儲部，其用于將上述機器人的顯示要素和上述顯示要素的各種類的操作應答標準追加到上述顯示器的GUI畫面，上述機器人系統(tǒng)還具備：第一發(fā)送部，其將構(gòu)成上述顯示器的GUI畫面的每個顯示要素的種類、外觀、顯示位置的每個屬性所對應的值的組合以及上述顯示要素的各種類的操作應答標準的每個屬性所對應的值的組合，從上述機械屬性值存儲部發(fā)送到上述機器人控制裝置；第一制作部，上述機器人控制裝置通過對所發(fā)送的上述每個屬性所對應的值的組合進行分析，而使存儲在上述機器人屬性值存儲部中的要追加的上述機器人的每個顯示要素的外觀和操作應答標準的屬性所對應的值與上述顯示器的GUI畫面的每個顯示要素的外觀和操作應答標準的屬性所對應的值一致，該第一制作部制作上述顯示器的GUI畫面的每個顯示要素的外觀和操作應答標準的一致后的上述機器人的每個顯示要素的每個屬性所對應的值的組合；以及第二制作部，其對所發(fā)送的每個屬性的上述顯示位置的屬性值進行分析，來提取上述顯示器的GUI畫面的、至少根據(jù)功能或目的而分離的區(qū)域中每個顯示要素的排列規(guī)則，并應用于存儲在上述機器人屬性值存儲部中而要追加的上述機器人的每個顯示要素中，來制作上述機器人的每個顯示要素的顯示位置的屬性值的組合，上述機械屬性值存儲部構(gòu)成為經(jīng)由上述通信網(wǎng)絡來反映以下組合：制作出的上述顯示器的GUI畫面的每個顯示要素的外觀和操作應答標準的一致的上述機器人的每個顯示要素的每個屬性所對應的值的組合、以及制作出的上述機器人的每個顯示要素的顯示位置的屬性值的組合，上述機械畫面生成部構(gòu)成為根據(jù)上述機械屬性值存儲部的每個屬性值被變更這一情況來再生成上述顯示器的GUI畫面。

在優(yōu)選實施方式中，上述機器人控制裝置具備：機器人屬性值存儲部，其用于將上述機器人的顯示要素和該顯示要素的各種類的操作應答標準追加到上述顯示器的GUI畫面，上述機器人系統(tǒng)還具備：顯示器GUI畫面捕捉處理部，上述機械捕捉上述顯示器的GUI畫面通過該顯示器GUI畫面捕捉處理部來獲取畫面捕捉圖像數(shù)據(jù)；第二發(fā)送部，其將上述畫面捕捉圖像數(shù)據(jù)從上述顯示器GUI畫面捕捉處理部經(jīng)由上述通信網(wǎng)絡發(fā)送到上述機器人控制裝置；第三制作部，上述機器人控制裝置對所發(fā)送的上述畫面捕捉圖像數(shù)據(jù)進行分析，來確定上述顯示器的GUI畫面的每個顯示要素的外觀、顯示位置、種類，并且使存儲在上述機器人屬性值存儲部中的要追加的上述機器人的每個顯示要素的外觀屬性所對應的值與從上述畫面捕捉圖像數(shù)據(jù)中確定出的外觀一致，該第三制作部制作上述顯示器的GUI畫面的每個顯示要素的外觀一致的上述機器人的每個顯示要素的每個屬性所對應的值的組合；以及第四制作部，其對從上述畫面捕捉圖像數(shù)據(jù)確定出的每個顯示要素的位置進行分析，來提取上述顯示器的GUI畫面的、至少根據(jù)功能或目的而分離的區(qū)域中每個顯示要素的排列規(guī)則，并應用于存儲在上述機器人屬性值存儲部中而要追加的上述機器人的每個顯示要素中，制作上述機器人的每個顯示要素的顯示位置的屬性值的組合，上述機械屬性值存儲部構(gòu)成為經(jīng)由上述通信網(wǎng)絡反映以下組合：制作出的上述顯示器的GUI畫面的每個顯示要素的外觀一致的上述機器人的每個顯示要素的每個屬性所對應的值的組合、以及制作出的上述機器人的每個顯示要素的顯示位置的屬性值的組合，上述機械畫面生成部構(gòu)成為根據(jù)上述機械屬性值存儲部的每個屬性值被變更這一情況來再生成上述顯示器的GUI畫面。

在優(yōu)選實施方式中，上述第二發(fā)送部構(gòu)成為將由顯示器GUI畫面捕捉處理部周期性地獲取的畫面捕捉圖像數(shù)據(jù)經(jīng)由上述通信網(wǎng)絡發(fā)送到上述機器人控制裝置，上述第四制作部構(gòu)成為：每次由上述機器人控制裝置重新獲取畫面捕捉圖像數(shù)據(jù)時，與已經(jīng)獲取的過去的圖像數(shù)據(jù)進行比較來進行分析，確定上述顯示器的GUI畫面的操作應答的內(nèi)容，并制作存儲在上述機器人屬性值存儲部中的要追加的上述機器人的顯示要素的各種類的操作應答標準的每個屬性值的組合，上述機械屬性值存儲部構(gòu)成為經(jīng)由上述通信網(wǎng)絡來反映應當追加的制作出的上述機器人的顯示要素的各種類的操作應答標準的每個屬性值的組合。

附圖說明

通過參照與附圖關(guān)聯(lián)的本發(fā)明所例示的實施方式有關(guān)的詳細說明，能夠更加明確這些以及其它本發(fā)明的目的、特征和優(yōu)點。

圖1是表示一個實施方式所涉及的機器人系統(tǒng)的結(jié)構(gòu)例的圖。

圖2是第一實施方式所涉及的機器人系統(tǒng)的功能框圖。

圖3是表示按照第一實施方式執(zhí)行的處理的流程圖。

圖4是表示GUI畫面的第一例的圖。

圖5是表示GUI畫面的第二例的圖。

圖6是表示GUI畫面的第三例的圖。

圖7是第二實施方式所涉及的機器人系統(tǒng)的功能框圖。

圖8是表示按照第二實施方式執(zhí)行的處理的流程圖。

圖9是表示圖8的步驟S206的處理的流程圖。

圖10是表示追加圖標的方式的圖。

圖11是表示追加圖標的方式的圖。

圖12是表示追加圖標的處理的流程圖。

圖13是第三實施方式所涉及的機器人系統(tǒng)的功能框圖。

圖14是表示按照第三實施方式執(zhí)行的處理的流程圖。

圖15是表示圖14的步驟S507的處理的流程圖。

圖16是表示按照第四實施方式執(zhí)行的處理的流程圖。

圖17是表示第一實施方式的變形例所涉及的機器人系統(tǒng)的圖。

圖18是表示第二實施方式的變形例所涉及的機器人系統(tǒng)的圖。

圖19是表示第一實施方式的其它變形例所涉及的機器人系統(tǒng)的圖。

圖20是表示第二實施方式的其它變形例所涉及的機器人系統(tǒng)的圖。

圖21是表示第三實施方式或第四實施方式的變形例所涉及的機器人系統(tǒng)的圖。

圖22是表示第三實施方式或第四實施方式的其它變形例所涉及的機器人系統(tǒng)的圖。

圖23是表示第一實施方式的進一步其它變形例所涉及的機器人系統(tǒng)的圖。

圖24是表示第二實施方式的進一步其它變形例所涉及的機器人系統(tǒng)的圖。

圖25是表示第一實施方式的進一步其它變形例所涉及的機器人系統(tǒng)的圖。

圖26是表示第二實施方式的進一步其它變形例所涉及的機器人系統(tǒng)的圖。

圖27是表示第三實施方式或第四實施方式的進一步其它變形例所涉及的機器人系統(tǒng)的圖。

圖28是表示第三實施方式或第四實施方式的進一步其它變形例所涉及的機器人系統(tǒng)的圖。

具體實施方式

以下，參照附圖說明本發(fā)明的實施方式。適當?shù)刈兏鼒D示的實施方式的結(jié)構(gòu)要素的比例尺。對相同或?qū)慕Y(jié)構(gòu)要素附加相同的參照附圖標記。

圖1示出一個實施方式所涉及的機器人系統(tǒng)的結(jié)構(gòu)例。機器人系統(tǒng)1具備利用了CNC(計算機數(shù)值控制裝置)的機械2、機器人3、以及控制機器人3的機器人控制裝置4。另外，如圖1所示，機械2具備具有GUI畫面51的顯示器5。

在本實施方式所涉及的機器人系統(tǒng)1中，如后文中所述，經(jīng)由對機械2的GUI畫面51進行操作的操作系統(tǒng)，確認機器人3的狀態(tài)或能夠執(zhí)行機器人3的操作。

利用了CNC的機械2并不特殊的限定，但是例如也可以是NC機床、NC銑床、加工中心(MC)、車削加工中心(復合車床、TC)、磨床、磨削中心、滾床、插齒機、磨齒機、齒輪精加工機床、放電成形加工機、線切割放電加工機、激光加工機等機床，或沖壓機、數(shù)值控制轉(zhuǎn)塔沖床、彎板機等鍛壓機械、電動注射成形機等。

機器人3并不特殊限定，但是例如為具有如圖示的6軸的垂直多關(guān)節(jié)型機器人。機器人3構(gòu)成為：能夠響應來自機器人控制裝置4的控制指令，使刀具前端點(TCP)以規(guī)定的姿勢定位于規(guī)定位置。

機器人控制裝置4經(jīng)由公知的通信網(wǎng)絡與機械2連接。機器人控制裝置4為具備如下部分的數(shù)字計算機：執(zhí)行各種運算的CPU、存儲機器人3的控制程序和參數(shù)等信息的存儲器、以及用于與外部裝置連接的接口。

在本實施方式中使用的通信網(wǎng)絡6為在M2M中采用的通信等，即可以是有線或也可以是無線。期望通信網(wǎng)絡6確保通信的實時性。如果包括能夠收發(fā)一般數(shù)據(jù)的通信標準，則通信網(wǎng)絡6例如也可以是屬于現(xiàn)場網(wǎng)絡的通信或?qū)儆谒欧刂凭W(wǎng)絡的通信。

顯示器5的GUI畫面51例如為觸摸面板、液晶監(jiān)視器(LCD)、電子紙、陰極射線管等平面型監(jiān)視器。在機械2與機器人3兩者的顯示要素遵循基于共同模型的UI(用戶接口)自動生成標準的情況下，可以采用使用特殊眼鏡而能夠立體觀察的3D監(jiān)視器、3D全息裝置。

圖2是機器人系統(tǒng)1的功能框圖。機器人系統(tǒng)1具備機械畫面生成部11和機械屬性值存儲部12。

遵照基于屬性定義和值的模型基礎(chǔ)的UI自動生成標準來構(gòu)成機械畫面生成部11。機械畫面生成部11通過對屬性定義和值進行分析，以能夠進行逆向工程的方式定義模型。模型化的原理例如請參照非專利文獻1的4.2.2.3“Multi-targeting by Reverse Engineering”、4.3.1的“Run-time Adaptation:a Three-step Process”或“Model-Based UI XG Final Report”、May 2010。

機械畫面生成部11能夠無編程地切換UI。在本實施方式中針對以下兩種情況進行描述：(1)將所有與機械2的GUI畫面內(nèi)的機械2的狀態(tài)確認和操作有關(guān)的部分以及與機器人3的狀態(tài)確認和操作有關(guān)的部分，按照同一標準屬性定義，生成為每個屬性值的組合的情況；(2)與機械的狀態(tài)確認和操作有關(guān)的部分并不限于基于屬性定義和屬性值的方法，而僅針對與機器人3的狀態(tài)確認和操作有關(guān)的部分，支持模型基礎(chǔ)的UI自動生成標準的情況。

顯示在GUI畫面51中的顯示要素為：如在設計人員研究GUI畫面51的情況下想到的、伴有在GUI畫面51內(nèi)能夠視覺觀察的名稱的辨別對象的種類和其單獨對象。對這些顯示要素并不進行限定，但是其中可以包括圖標、標簽、文本框、標簽、菜單、圖像顯示區(qū)域(image)、表格、網(wǎng)格、復選框、選擇按鈕、分類區(qū)域、餅圖、柱狀圖、線圖、標尺、滾動條等。

在本說明書中使用的“顯示要素的外觀屬性”為與形狀有關(guān)的特征。例如為矩形、三角形、六邊形、圓、正圓等形狀，尺寸、位置、根據(jù)形狀與尺寸與位置決定的有效邊界、邊界以直線和連接點調(diào)整角度并被其它直線包圍的部分，或?qū)χ本€與直線的連接點定義弧而設為圓角的部分等。外觀屬性也可包括陰影效果、有無附帶的文本、文本語言種類、字體種類、尺寸和顯示位置。

在顯示要素為網(wǎng)格的情況下，外觀屬性也可以包含矩陣的定義、行的標題、列的標題的有無、各單元內(nèi)顯示要素種類(文本、復選框、圖像顯示區(qū)域等)。

在本說明書中使用的“顯示要素的操作應答標準”能夠包括有效操作的規(guī)定與限定、針對各種有效操作的應答反饋的種類(動畫、色彩變化、閃爍效果)。作業(yè)人員的機器人3的GUI是否適合于機械2的GUI的實際感覺還與GUI畫面51的反饋標準是否一致有關(guān)。因此，本發(fā)明中的用于指定機器人3的顯示要素屬性的標準也可以包括規(guī)定GUI畫面51的反饋標準的屬性。

在本說明書中使用的“分組區(qū)域(Grouping Region)”相當于“GUI畫面51的、至少根據(jù)功能或目的而分離的區(qū)域”。例如，在分組區(qū)域中有CSS3標準中的框模型或HTML標準中的幀。在HTML中，以矩形區(qū)域單位來分割窗口，進行顯示要素的分組。然而，在利用了CNC的機械2的GUI畫面51中，除了矩形以外，也可以通過六邊形、正圓、橢圓等一般幾何圖形將顯示要素分組。

在通過并非矩形的幾何圖形來進行顯示要素的分組的實際GUI畫面中，為了作業(yè)人員不會誤解GUI畫面，在很多情況下能夠解釋為GUI畫面的設計人員應用視覺感知格式塔原則(Gestalt principles of visual perception)，近來，大量使用一般幾何圖形(六邊形、正圓、橢圓等)來設計并不罕見。因此，在本實施方式中，不將使顯示要素分組的區(qū)域稱為幀或框(box)，而稱為分組區(qū)域。

機械屬性值存儲部12存儲機械屬性值。另外，機械屬性值存儲部12具備機器人3的顯示要素屬性值存儲部121。

如圖2所示，機械2的CNC 20具備通信部21，該通信部21具備機器人操作內(nèi)容發(fā)送部211。另外，機器人控制裝置4具備通信部41，該通信部41具備機器人操作內(nèi)容接收部411。由此，在CNC 20與機器人控制裝置4之間收發(fā)機器人3的操作內(nèi)容。

參照圖3說明一個實施方式所涉及的由機器人系統(tǒng)1執(zhí)行的處理。首先，在步驟S101中，判斷CNC 20與機器人控制裝置4是否在通信中。

在CNC 20與機器人控制裝置4通信中時，進入到步驟S102。在步驟S102中，判斷在機械屬性值存儲部12中是否存儲有機器人3的顯示要素的屬性值。

在步驟S102的判斷結(jié)果是肯定的情況下，進入到步驟S103，機械屬性值存儲部12將與機器人3的顯示要素的種類、外觀、顯示位置、操作應答標準對應的屬性值發(fā)送到機械畫面生成部11。

在步驟S104中，機械畫面生成部11根據(jù)機器人3的顯示要素屬性值組合，追加機器人3的顯示要素來生成GUI畫面51。GUI畫面51包括本來用于機械2的狀態(tài)確認和操作的信息。在此，除此以外，機械畫面生成部11在機械2的GUI畫面51的各分組區(qū)域內(nèi)追加外觀和操作應答標準為共通的機器人3的顯示要素。因而，機械2的作業(yè)人員能夠從機械2的GUI畫面51中操作機器人3。

在CNC 20與機器人控制裝置4未進行通信時(在步驟S101的判斷結(jié)果為否定的情況下)或并未存儲與機器人3的顯示要素相關(guān)聯(lián)的屬性值時(在步驟S102的判斷結(jié)果是否定的情況下)，進入到步驟S105，機械畫面生成部11生成僅對機械2進行狀態(tài)確認和操作的畫面。即，機器人3的顯示要素從GUI畫面51中排除。

并不僅限于顯示器5的GUI畫面51的局部分區(qū)的矩形區(qū)域中追加機器人3的顯示要素。例如也可以在與機械2的導航有關(guān)的顯示區(qū)域中以相同的外觀、操作應答標準的顯示要素來追加切換為用于進行機器人3的狀態(tài)確認或操作的畫面的導航。

圖4示出GUI畫面51的第一例。在圖4的左側(cè)示出僅包括機械2的顯示要素的GUI畫面51，右側(cè)示出包括機械2的顯示要素和機器人3的顯示要素的GUI畫面51。

在顯示器的GUI畫面51的各種切換畫面區(qū)域中，在CNC 20未與機器人3進行通信時，顯示機械2的各種設定和管理畫面等。當與機器人3的通信開始時，各種切換畫面區(qū)域被分配至用于確認機器人3的狀態(tài)等的區(qū)域。

在機械2的圖標的全局導航的區(qū)域中追加用于打開對機器人3進行狀態(tài)確認和操作的畫面的圖標。另外，在文本子菜單區(qū)域中也追加用于打開機器人3的其它畫面的文本的子菜單。

圖5示出GUI畫面51的第二例。與圖4同樣地，在圖5的左側(cè)示出僅包括機械2的顯示要素的GUI畫面51，右側(cè)示出包括機械2的顯示要素和機器人3的顯示要素的GUI畫面51。

在機械2的GUI畫面51中，在圖標的全局導航區(qū)域中，如果與表示滑動的三角形的記號接觸而滑動，則能夠切換所顯示的圖標。機器人3的圖標被追加到全局導航的圖標表格。另外，在上部存在通過網(wǎng)格進行區(qū)域分割而得到的小圖標的狀態(tài)顯示區(qū)域，在該區(qū)域有余地時，也可以使機器人3的警告顯示以相同外觀進行顯示。

圖6示出GUI畫面51的第三例。與上述示例同樣地，在圖6的左側(cè)示出僅包括機械2的顯示要素的GUI畫面51，在右側(cè)示出包括機械2的顯示要素和機器人3的顯示要素的GUI畫面51。

在機械2的GUI畫面51中存在包括圖標的全局導航的顯示區(qū)域，在該顯示區(qū)域中追加機器人3的圖標。如圖6所示，在將機械2的各種目的畫面分割為四個區(qū)域而能夠進行顯示的標準的情況下，例如也可以在其中的兩個區(qū)域中分配用于對機器人3進行狀態(tài)確認和操作的畫面。

根據(jù)本實施方式所涉及的機器人系統(tǒng)1，得到以下優(yōu)點。

對顯示在利用了CNC 20的機械2的顯示器5中的GUI 51進行設計的機械制造商按照每個屬性值的定義預先將通信連接目的地的機器人3的顯示要素的設定保存到機器人3的顯示要素屬性值存儲部121。在此，機器人3的顯示要素被設定為與機械2的顯示要素的外觀和操作應答標準相同。由此，在與機器人3進行通信時，能夠?qū)C器人3進行狀態(tài)確認和操作的GUI顯示在機械2的GUI畫面51中。

結(jié)果是，作業(yè)人員與機械2的制造商、機型無關(guān)地，能夠與該機械2同樣地操作機器人3。由此，即使作業(yè)人員不熟悉機器人3或作業(yè)人員并未讀過機器人3的使用說明書，作業(yè)人員也能夠根據(jù)顯示在機械2的顯示器5中的信息來獲取機器人3的狀態(tài)確認和操作所需的信息。

在處理工業(yè)設備時，在利用GUI畫面上的操作這一情況變得很普遍的當前，實際使用方法也根據(jù)設備不同而不同。根據(jù)本實施方式，作業(yè)人員僅觀察利用了CNC的機械的GUI畫面，就能夠推測與機器人相關(guān)聯(lián)的信息。結(jié)果是，學會機器人的操作所需的時間縮短。在本系統(tǒng)中，機器人控制裝置能夠根據(jù)通信網(wǎng)絡6的數(shù)據(jù)收發(fā)來確定利用了CNC的機械制造商與機型。因而，如果在機械屬性值存儲部12的機器人的顯示要素屬性值存儲部121中預先保存與多個制造商的利用了CNC的機械對應的屬性值組合，則即使在機器人連接于與當前機械2不同的機械的情況下，只要保持有與其不同的機械對應的屬性值組合，就能夠根據(jù)其不同機械的GUI畫面設計來適當?shù)刈芳佑糜趯C器人進行操作和狀態(tài)確認的顯示要素。

在CNC與機器人控制裝置之間的通信被切斷時，機器人的GUI不會顯示在機械的顯示器中。因而，作業(yè)人員能夠根據(jù)機械的GUI畫面來判斷是否能夠與機器人進行協(xié)作。一旦機器人的顯示要素被正常地追加到機械的GUI畫面之后，在機器人的顯示要素消失的情況下，作業(yè)人員能夠推測與機器人的通信由于某種理由而被切斷。在該方式下，作業(yè)人員能夠具有與即插即用的UX(User Experience：用戶體驗)相同的感覺，因此快速變得熟練。

通過委托機器人的操作經(jīng)驗少的作業(yè)人員對切換后的機器人畫面進行協(xié)作，并用通常作為可用性測試(或UX指標(User Experience Metrics)計測)而公知的各種方法來進行試驗，能夠核實實際是否變得使用便捷。或者，也可以使用根據(jù)日本特開2010-102465號公報所公開的作業(yè)人員的操作記錄信息并通過規(guī)定的計算式來估計熟練程度來進行試驗的方法等。

圖7是第一實施方式所涉及的機器人系統(tǒng)1的功能框圖。在本實施方式中，機械屬性值存儲部12具備用于存儲機械2的顯示要素屬性值的機械屬性值存儲部122以及用于存儲機器人3的顯示要素屬性值的機器人屬性值存儲部121。

CNC 20的通信部21具備：機器人操作內(nèi)容發(fā)送部211、用于發(fā)送機械2的顯示要素屬性值的屬性值發(fā)送部212、以及用于接收機器人3的顯示要素屬性值的屬性值接收部213。

機器人控制裝置4的通信部41具備：機器人操作內(nèi)容接收部411、用于接收機械2的顯示要素屬性值的屬性值接收部412、用于發(fā)送機器人3的顯示要素屬性值的屬性值發(fā)送部413、機器人屬性值存儲部42、用于對機械2的顯示要素屬性值進行分析的屬性值分析部43、以及用于決定機器人3的顯示要素屬性值的屬性值決定部44。

在本實施方式中，由機械屬性值存儲部12的屬性值存儲部122存儲有用于對機械2進行狀態(tài)確認和操作的屬性值。對于此，在機械屬性值存儲部12中并未存儲用于對機器人3進行狀態(tài)確認和操作的屬性值。生成用于對機器人3進行狀態(tài)確認和操作的畫面信息的屬性值被存儲在機器人控制裝置4的機器人屬性值存儲部42中。

參照圖8說明在本實施方式所涉及的機器人系統(tǒng)1中執(zhí)行的處理。步驟S201～S205的處理與參照圖3說明的步驟S101～S105的處理相同。然而，在本實施方式中，在步驟S202的判斷結(jié)果是否定的情況下，執(zhí)行步驟S206、S207的處理。

在步驟S206中，機器人控制裝置4決定機器人3的顯示要素屬性值組合。在后文中說明步驟S206的詳細處理。在步驟S207中，機器人控制裝置4將機器人3的顯示要素屬性值組合發(fā)送到機械屬性值存儲部12。

接著，參照圖9說明圖8的步驟S206的處理。在機械屬性值存儲部12中存儲有機械2的顯示要素屬性定義和屬性值組合。該信息僅能夠讀取而并不能變更。因此，將該信息發(fā)送到機器人控制裝置4，通過機器人控制裝置4分析該信息。

在步驟S301中，將構(gòu)成顯示器5的GUI畫面51的屬性定義和屬性值組合從機械屬性值存儲部12發(fā)送到機器人控制裝置4。

在步驟S302中，判斷機械2的GUI畫面標準的所有屬性定義和屬性值是否被公開。即，判斷機械2的顯示要素的種類、外觀、顯示位置、操作應答標準等屬性值組合是否被全部公開。

在所有屬性定義和屬性值組合被公開的情況下(在步驟S302的判斷結(jié)果是肯定的情況下)，進入到步驟S303，根據(jù)屬性定義和屬性值組合，確定每個顯示要素的外觀、顯示位置、種類、操作應答標準。

在步驟S304中，搜索相當于機械2的操作的全局導航的圖標菜單、文本菜單。決定機器人3的顯示要素屬性與值的組合，使得以作為搜索結(jié)果而被發(fā)現(xiàn)的形式追加機器人3的狀態(tài)確認、面向操作的面向?qū)Ш降膱D標和菜單。

在步驟S305中，搜索所有機械2的分組區(qū)域和畫面轉(zhuǎn)變的關(guān)系并確定。在步驟S306中，確定每個分組區(qū)域的顯示要素的排列規(guī)則。

在步驟S307中，按照所確定的排列規(guī)則，決定機器人3的顯示要素屬性定義和屬性值的組合，使得再次排列在機器人3用各種畫面上預先準備的每個顯示要素的排列。在后文中說明決定布局的算法。

另一方面，在步驟S302中，在所有屬性定義和屬性值組合并未公開的情況下(在判斷結(jié)果是否定的情況下)，即僅公開了用于決定為追加機器人3的顯示要素所需的最小限度的屬性和屬性值的、機械2的顯示要素屬性值的組合的情況下，進入到步驟S308。在步驟S308中，可追加的分組區(qū)域與顯示要素的種類由公開屬性限定，因此搜索并確定可變更和追加的屬性定義和屬性值。

在步驟S309中，從作為搜索結(jié)果而發(fā)現(xiàn)的部分中確定相當于全局導航、菜單的機械的分組區(qū)域，并追加所需的機器人的顯示要素，由此進行指定。

接著，自由地追加機器人3的顯示要素并確定良好的區(qū)域的尺寸和位置，顯示要素的排列規(guī)則僅按照所公開的標準，其余設為現(xiàn)有值的狀態(tài)，從而完成布局處理。將變更的機器人3的顯示要素屬性值的組合從機器人控制裝置4存儲到機械屬性值存儲部12。利用其結(jié)果，通過機械畫面生成部11來更新顯示器5的GUI畫面51。

在從用于處理機械2的畫面切換為用于處理機器人3的畫面時，期望能夠從處理機械2時的區(qū)域中自然地推測要視覺觀察的區(qū)域和要操作的區(qū)域是否與處理機械2時的區(qū)域一致，以便作業(yè)人員不會引發(fā)人為錯誤接管型滑動或模式錯誤滑動(參照《為誰設計？增補修訂版》、Donald A Norman、新曜社、原著《The Design of Everyday Things Revised and Expanded Edition》、第四章獲知要做什么-制約、發(fā)現(xiàn)可能性、反饋、第五章人為錯誤？不，是設計差)。

為了該目的，排列成機器人3的各種顯示要素接近顯示器5的GUI畫面51的相同種類的顯示要素。接著，舉出用于指定布局的示例，但是也可以在不會引起人為錯誤的范圍內(nèi)定義其它決定布局的規(guī)則來生成布局。

參照圖10和圖11說明追加圖標的處理。在機械屬性值存儲部12中存儲有用于對機械2進行狀態(tài)確認和操作的屬性定義和屬性值。但是，并未存儲用于對機器人3進行狀態(tài)確認和操作的屬性定義和屬性值。

另一方面，在機器人控制裝置4的機器人屬性值存儲部42中存儲有要添加于機械2的GUI畫面51的、用于對機器人3進行狀態(tài)確認和操作的現(xiàn)有GUI的屬性定義和定義值。參照圖11，示出追加給顯示器5的GUI畫面51以適合于機械2用設計的機器人的圖標。圖標的追加處理按照圖12示出的步驟S401～S411來執(zhí)行。

根據(jù)本實施方式所涉及的機器人系統(tǒng)1，通過對機械畫面生成部11中與生成有關(guān)的屬性定義和定義值的組合進行逆向工程，將用于使機器人3的顯示要素適合于機械2的畫面的分析自動化。由此，能夠使機器人3的顯示要素的追加處理自動化。

因而，機械2的制造商不需要在機械屬性值存儲部12中預先指定根據(jù)機器人3的制造商或機型不同而不同的值的組合。通過該機器人系統(tǒng)1使處理自動化，因此能夠消減GUI畫面的設計費用。另外，即使在將機器人3與不同于機械2的機械進行連接的情況下，只要該不同的機械具有與機械2相同的結(jié)構(gòu)，也能自動地決定用于該不同的機械的機器人3的操作和用于狀態(tài)確認的顯示要素。而且，在使機器人3返回至與機械2的連接的情況下，已經(jīng)存在適合于機械屬性值存儲部12的機器人的顯示要素屬性值存儲部121的機器人的顯示要素屬性值的組合，在機械的GUI畫面上順利地追加機器人的顯示要素。新連接于機器人3的機械在每次連接時使該機器人3分析機械的GUI畫面，自動地決定適合于機器人3的顯示要素的追加標準。由此，如果多個制造商的機械具有與本實施方式的機械2相同的結(jié)構(gòu)，則不需要由設計師分析這些多個制造商的各GUI畫面，機器人3能夠適當?shù)貨Q定用于對機器人3進行操作、狀態(tài)確認的顯示要素的追加標準。

圖13是第三實施方式所涉及的機器人系統(tǒng)1的功能框圖。根據(jù)本實施方式，代替生成用于對機械2進行狀態(tài)確認和操作的畫面的屬性值，機器人控制裝置4對顯示器5的GUI畫面51的畫面捕捉數(shù)據(jù)進行分析。本實施方式在無法從機械屬性值存儲部12讀取與機械2相關(guān)聯(lián)的屬性值時特別有效。

根據(jù)本實施方式，機器人系統(tǒng)1還具備顯示器GUI畫面捕捉處理部13。另外，CNC 20還具備顯示器5的GUI畫面51的圖像捕捉數(shù)據(jù)發(fā)送部214。機器人控制裝置4還具備顯示器5的GUI畫面51的圖像捕捉數(shù)據(jù)接收部414以及顯示器5的GUI畫面51的圖像捕捉數(shù)據(jù)分析部45。

圖14是表示本實施方式所涉及的通過機器人系統(tǒng)1執(zhí)行的處理的流程圖。機器人系統(tǒng)1按照步驟S501～S509對GUI畫面51的畫面捕捉數(shù)據(jù)進行分析。圖15示出的步驟S601～S608為更詳細地示出步驟S507的處理的流程圖。

畫面更新周期在利用了CNC的機械2和機器人3兩者中，最慢也為15fps(幀/秒鐘)，例如為60fps或30fps。在畫面更新周期在機械2與機器人3之間不同的情況下，期望機器人3的畫面更新周期與機械2的畫面更新周期相同或更小。

從機械2的GUI畫面51獲取的靜止圖像數(shù)據(jù)或動畫數(shù)據(jù)用于辨別GUI畫面51的每個顯示要素。例如使用在GUI畫面51的運行中畫面捕捉到的類似于位圖(bit-map)數(shù)據(jù)的圖像文件。公知的文件圖像形式存在“bmp”、“GIF”、“png”、“jpeg”等。

另外，公知的方法也可以使用《Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata》、Oct.15-19,2011、UIST’11所公開的對計算機畫面進行自動分析的軟件“Sikuli”。

對PC等工作站的GUI畫面進行分析的技術(shù)為公知的，對利用了CNC的機械的GUI畫面進行分析的算法能夠使用類似于公知技術(shù)的算法。

對利用了CNC的機械的GUI畫面進行自動分析的算法包括以下第一工序和第二工序。

第一工序：機器人控制裝置4根據(jù)獲取到的顯示器5的GUI畫面51的圖像捕捉數(shù)據(jù)來確定機械2的顯示要素。

第二工序：機器人控制裝置4不限于能夠確定所有屬性值，因此以使機器人3的顯示要素模仿判明的機械2的各種顯示要素的外觀并再現(xiàn)排列規(guī)則的方式，決定與顯示位置有關(guān)的屬性值。

此外，在對顯示器5的GUI畫面51追加機器人3的顯示要素時，在模仿不充分的情況下，作業(yè)人員能夠進行操作使得將畫面捕捉數(shù)據(jù)反復發(fā)送到機器人控制裝置4來進行分析。例如該操作在完成追加機器人3的顯示要素的時間點使顯示器5的GUI畫面51顯示消息框，能夠通過作業(yè)人員回答來執(zhí)行是否承認機器人3的GUI追加的完成。

接著，說明顯示要素的種類確定方法。

與分析通常的照片圖像有所不同，能夠通過構(gòu)建以現(xiàn)有GUI畫面的設計傾向為前提的算法來高精度地執(zhí)行GUI畫面的圖像數(shù)據(jù)的分析。這是由于，工業(yè)設備的GUI畫面的設計在很多情況下應用設計人員所指的同形設計(Skeuomorphic Design)。如果從“《為誰設計？增補修訂版》、Donald A Norman、新曜社、原著《The Design of Everyday Things Revised and Expanded Edition》、第四章獲知要做什么-制約、發(fā)現(xiàn)可能性、反饋、第五章人為錯誤？不，是設計差”的220頁中摘錄，則“同形設計是指例如即使舊的、熟悉的想法已經(jīng)無法起到功能性作用也使該想法與新技術(shù)結(jié)合(To incorporate old,familiar ideas into new technologies,even though they no longer play a functional role)”。“用于克服針對新想法的恐懼的一個方法是使其模仿于原想法來制作。這具有使從原想法向新想法的轉(zhuǎn)變簡單這種優(yōu)點。舒適且學習變得容易。不需要替換當前的概念模型，只要修改即可。(One way of overcoming the fear of the new is to make it look like the old.In fact,it has its benefits in easing the transition from the old to the new.It gives comfort and makes learning easier.Existing conceptual models need only be modified rather than replaced)”。

說明在每個利用了CNC的機械和機器人中GUI畫面的設計人員所設想的設計的方向性。GUI畫面的設計傾向于在信息處理設備的個人計算機、工作站的領(lǐng)域中與份額大的確定設計源的GUI畫面設計相類似。作為GUI畫面的設計，雖然包括用于ATM的儲蓄處理的設計、發(fā)電站等機械設備的管理用設計、安保服務公司所提供的監(jiān)控和警報用GUI畫面的設計等，但是很少采用與這些相類似的設計。

這是由于，無論是利用了CNC的機械的使用者還是機器人的使用者，可以假設為他們被雇用或創(chuàng)業(yè)而從事這種業(yè)務，但是假設在此以前具有家庭用個人計算機、培訓機構(gòu)中訓練的個人計算機等中使用GUI畫面的經(jīng)驗。

然而，在新興國家的培訓機構(gòu)或家庭中，個人計算機的普及率仍然低，在新興國家即使確保制造工廠的人員，也有時很難找到具有個人計算機使用經(jīng)驗的人。因此，如今在GUI畫面的設計中不應忽視智能手機。智能手機首先在發(fā)達國家普及，但是在新興國家也快速地普及。因而，作為制造工廠的作業(yè)人員而新錄用的人員在很多情況下即使不會操作個人計算機也可期望熟練使用智能手機。因此，在重新設計GUI畫面的情況下，期望考慮智能手機的GUI畫面的設計準則。

存在個人計算機或智能手機等假設為制造工廠的新雇用人員積累使用經(jīng)驗并認為妥當?shù)默F(xiàn)有設備，具有這些的GUI畫面的設計。而且，在忽視這種GUI畫面設計的方向性的情況下，設計人員想到了使用產(chǎn)品的作業(yè)人員到完全掌握設備為止的熟練時間變長或有可能無法完全掌握所有有用的功能。

因而，以下所示的算法是重視通過圖像處理對以往的個人計算機或智能手機的畫面進行自動分析的情況下的效率的順序，而這對于利用了CNC的機械、對機器人的GUI畫面進行自動分析的目的也是有用的。

首先，說明對一個GUI畫面的圖像數(shù)據(jù)進行分析的算法。在該圖像數(shù)據(jù)的分析中利用現(xiàn)有的圖像處理技術(shù)和光學字符識別(Optical Character Recognition，以下稱為“OCR”)技術(shù)。其中，在由屬性定義和屬性值指定GUI畫面的樣式下，在字符顯示和其畫面內(nèi)的顯示位置以及與字符有關(guān)的字體、尺寸、相對于水平線的字符繪制的角度、拱形狀地配置曲線狀字符等字符的繪制特征全部被指定的情況下，將其信息利用于分析，而以下需要通過OCR讀取圖像數(shù)據(jù)內(nèi)的字符，即使字符本身命中率并非100％，字符區(qū)域的檢測也假設為100％來進行解釋。

(字符區(qū)域的分析算法)

通常，OCR確定字符區(qū)域并識別其內(nèi)部單獨字符。通過OCR處理得到多個字符區(qū)域的位置。由于即不識別手寫字符也不識別由相機得到的實拍圖像，因此識別成功率高到可視為100％。當單獨地評價字符時有時含錯誤檢測，但是字符區(qū)域的識別幾乎不會失敗。作為依據(jù)，具有以低質(zhì)量文檔圖像為對象的附帶條件的高分辨率方式的技術(shù)進展(參照“使用附帶條件的高分辨率和字符線寬判斷的惡化文檔圖像的二值化法”、池田修二郎、吉田大海、飯國洋二、2014電子信息通信學會綜合大會演講論文集)、基于神經(jīng)網(wǎng)絡技術(shù)的分析性能提高等識別率提高的進展。

另外，在本發(fā)明中，使用即使在字符顏色為淡色且背景色為濃色的情況下或字符顏色為濃色且背景色為淡色的情況下也能夠進行檢測的OCR。原理上，針對圖像數(shù)據(jù)利用關(guān)于飽和度(Saturation)添加高通濾波器時能夠與字符顏色與背景色的濃淡關(guān)系無關(guān)地檢測邊緣這一情況。如果檢測到邊緣，則只要以針對飽和度的中央值反轉(zhuǎn)的方式對所有像素變更顯示顏色等，在任意情況下，均能夠設為字符顏色為濃色且背景色為單色而進行字符檢測處理。

GUI畫面的顯示圖標的區(qū)域背景當然是相對于單色或?qū)紊珜嵤╆幱暗牟糠帜軌驒z測字符的背景，但即使背景為實拍圖像或特殊的外觀圖像，通過將字符設為白色字符等使得GUI畫面的使用者能夠讀取，也能夠檢測字符。在該情況下，即使單獨字符的命中率降低，也能夠正確地檢測字符區(qū)域。

接著，說明從通過OCR檢測出的字符區(qū)域中獲取背景信息的算法。

(1-1)從原圖像數(shù)據(jù)中僅剪輯字符區(qū)域。

(1-2)將字符區(qū)域的圖像變換為256灰度的灰度等級。

(1-3)得到與每個灰度的濃淡色對應的圖像內(nèi)像素數(shù)的合計值的分布。

(1-4)分布內(nèi)關(guān)注最大灰度的濃淡色。

如果背景為單色或?qū)紊珜嵤╆幱暗牟糠郑瑒t最大灰度的濃淡色為背景色的像素反映的部分的可能性大。在背景為實拍圖像或特殊的外觀圖像的情況下，最大灰度的濃淡色為字符顏色的像素反映的部分或背景色的像素反映的部分中的一個。

將該灰度的濃淡色設為A。在此，A還不定。

(1-5)從最大灰度的濃淡色中提取±5左右灰度的濃淡色的像素。將其稱為“A附近像素”。而且，針對字符區(qū)域的整個像素數(shù)，計算A附近像素數(shù)的合計數(shù)的比例。如果其比例為20％至40％左右，則A為字符顏色的可能性大。如果比例為60％至80％左右，則A為背景色的可能性大。

在此所指的百分比的值根據(jù)語言不同而大不同。如果是印歐語系的表音字符，則構(gòu)成字符區(qū)域內(nèi)字符的像素數(shù)的存在比例傾向于小，相反中文繁體字表意字符等傾向于高。關(guān)于這一點，在使用本發(fā)明前，需要預先確定檢測對象的利用了CNC的機械的GUI畫面的顯示語言的種類。

將字符顏色不設為單色的理由在于，通常在繪制字體時對背景進行抗鋸齒處理，由此在很多情況下感到比人的視覺更平滑。

(1-6)在從首先從字符區(qū)域內(nèi)整個像素得到的、像素相對于濃淡色的灰度的合計數(shù)最大的灰度A分離±30左右以上的灰度中存在與背景色或字符顏色對應的像素的可能性大。除了A附近的灰度以外，接著成為最大的灰度的濃淡色設為B。通過A附近灰度像素的整個面積的比例，在前級A作為背景色這種概率變高的情況下，執(zhí)行下一過程。

將B附近的±5左右灰度像素稱為“B附近像素”。計算B附近像素數(shù)的合計數(shù)相對于字符區(qū)域的整個像素數(shù)的比例。如果其比例與A的比例的合計值在90％以上，則A被確定為背景色且B被確定為字符顏色。在中文繁體字等的情況下，用于字符表現(xiàn)的像素數(shù)與用于背景色的像素數(shù)的各存在比例有時接近一半一半。

在這種情況下，針對B附近像素與A附近像素的比例的兩者，分別計算從原圖像數(shù)據(jù)中得到的像素數(shù)的存在比例而并非計算字符區(qū)域。此時，確定為字符顏色的顏色附近的像素數(shù)必須少于確定為背景色的顏色附近的像素數(shù)。利用該情況，能夠確定字符顏色與背景色。

(1-7)如果A附近灰度的像素數(shù)與B附近灰度的像素數(shù)的合計比例相對于字符區(qū)域的整個像素數(shù)為20％～50％左右，則在背景中分配實拍圖像或特殊外觀圖像的可能性大。

(1-8)在該情況下，從字符區(qū)域的整個像素中剪輯與A附近灰度對應的像素，將其余的像素設為C區(qū)域。針對C區(qū)域，將色調(diào)分解為256灰度，得到相對于灰度的C區(qū)域的像素數(shù)合計數(shù)分布。另外，針對C區(qū)域，將亮度分解為256灰度，得到相對于灰度的C區(qū)域的像素數(shù)的錯誤系數(shù)分布。在此，評價每個分布的最大的灰度的±5區(qū)域的像素數(shù)合計數(shù)是否為C區(qū)域的合計像素數(shù)的90％以上。

如果該評價針對亮度和灰度兩者均真實，則C區(qū)域為單色背景或視覺上接近單色的印象背景，否則能夠判斷為在背景中分配實拍圖像或特殊外觀圖像。由此能夠判斷為A為字符顏色。

以上，說明了字符區(qū)域的判斷方法。實際上，利用格式塔法則(Gestalt principles of visual perception)并使用微妙的陰影效果，產(chǎn)生使作業(yè)人員識別特殊外觀的藝術(shù)效果。另外，根據(jù)上述方法，還假設在產(chǎn)生該藝術(shù)效果的區(qū)域內(nèi)側(cè)檢測出的幾個字符區(qū)域的背景有時被判斷為單色或?qū)紊珜嵤╆幱暗谋尘啊Ｈ欢撉闆r不會成為作為本發(fā)明的目的的將機器人的GUI畫面與機械的GUI畫面匹配的阻礙因素。

接著，說明用于使圖案與背景分離的圖案尺寸與布局位置的確定算法。

在判斷顯示要素的種類時圖案處理成為問題。圖案為顯示公司標志等特殊外觀的區(qū)域還是圖標還是照片或線圖、餅圖或標尺成為問題。

說明確定圖案的算法。

在此，在確定圖案尺寸和布局位置時，設為容納這些的分組區(qū)域為現(xiàn)有區(qū)域。當考慮在分組區(qū)域內(nèi)使背景與圖案分離的算法時，作為前提的事實如下。

(2-1)在分組區(qū)域內(nèi)的可操作對象為圖案的情況下，圖案由背景包圍。GUI設計人員考慮在作業(yè)人員視覺觀察圖案時關(guān)注圖案來進行識別。因而，傾向于背景面積在分組區(qū)域內(nèi)小于圖案，使得清楚地關(guān)注圖案。

(2-2)在圖案也可以不被識別為可操作對象的情況下，上述想法不會成立，有時確定分組區(qū)域的整個區(qū)域成為特殊外觀圖案。如果通過以下檢測背景的算法無法使背景與圖案分離，則可以判斷為在此不存在作業(yè)人員可操作的顯示要素。

(2-3)作為操作對象的圖標可以限定成收納在正方形、正多邊形、正圓來決定圖案。對于并非正方形、正多邊形、正圓的圖案普通作業(yè)人員看一眼而不理解為圖標，因此工業(yè)設備的GUI設計人員通常不設計縱長區(qū)域的圖標或橫長區(qū)域的圖標。

(2-4)圖標除了單色和存在對該顏色附加的陰影的背景以外，有時將實拍圖像或特殊外觀圖像作為背景。這是同形設計的圖標存在于背景圖像上的情況。在該情況下，作為圖標名稱的字符顯示被以白色字符來繪制等，被繪制在從背景圖像分離的區(qū)域。在此，即使在實拍圖像或特殊外觀圖像背景的情況下，也通過直到前一過程的原圖像數(shù)據(jù)整體的OCR處理，得到字符區(qū)域的背景信息，根據(jù)該信息繼續(xù)進行分析。

(2-5)關(guān)于圖標圖案的意義，僅在通過動畫來分析GUI畫面時，僅作為變化的記錄而保持為數(shù)據(jù)，不進行更多的分析。

作為第一例，說明背景是否為單色或確定為對單色實施陰影的背景的情況。作為第二例，說明通常背景為實拍圖像或者特殊外觀圖像的情況。

第一例的算法如下。

(3-1)對確定過的背景色和同一性質(zhì)的分組區(qū)域進行確定。在此，主要假設刀具圖標菜單、實施同形設計的圖標、扁平設計的圖標以及其它柱形狀的標尺、餅圖的標尺的布局位置的檢測。

(3-2)首先，假設為存在刀具圖標菜單而進行圖像處理。如果在此能夠檢測則為刀具圖標菜單，在此能夠確定圖案尺寸與布局位置，結(jié)束處理。如果不能確定，則過渡到用于確定下一候選的階段。刀具圖標菜單傳統(tǒng)地在16×16像素的矩形區(qū)域內(nèi)將使背景色浮起的可立體觀察的顏色配置于矩形邊界，圖案即可以線描也可以同形設計，但是其背景色為單色為特征。另外，在存在多個圖標時，具有在畫面的橫方向上水平地以等間隔排列或在縱方向上垂直地以等間隔排列這種特征。還有時大于16×16像素的正方形、長方形，但是也能夠檢測該正方形、長方形。

因而，首先從分組區(qū)域中提取與背景色一致的像素。進行將其余的區(qū)域設為黑色的二值化處理。接著，動態(tài)地制作表示矩形形狀的四角的90度角的四種模型，進行圖案匹配。如果四角模型中即使命中一個，則將其一個水平線或垂直線的長度拉伸一個像素量并且對拉伸的部分進行原四角模型圖案匹配。

從表示該四角的模型和動態(tài)地生成的四角模型中使用拉伸一邊的長度的新模型，由此確定刀具圖標菜單的每個圖標區(qū)域邊界框的尺寸。該尺寸也可以是16×16，即使更大的長方形也能夠確定。

如果確定圖標框的模型尺寸，則通過圖案匹配來核實這些模型尺寸是否向水平方向以等間隔排列或是否向垂直方向以等間隔排列。如果在此匹配則作為刀具圖標菜單的可能性大。

接著，確認在通過圖案匹配確定的框內(nèi)至少繪制一些圖案。

只限定于從原分組區(qū)域確定的圖標的框內(nèi)，檢測是否存在類似圖標的圖案。在此，框內(nèi)得到針對色調(diào)(Hue)、飽和度(Saturation)、亮度(Value)的分布，但是并不在整個面積中統(tǒng)一地進行得到分布的過程，分割為存在圖案的可能性大的區(qū)域，分別得到分布。這是由于，越接近框中央則存在用于圖案的像素的可能性越高，越接近框邊界則該像素被背景色所占的可能性越高。因此，通過僅由從圖標框邊界僅進入一個像素內(nèi)側(cè)的四邊形的邊構(gòu)成的區(qū)域在開端的分布獲取區(qū)域內(nèi)取得分布，除了使用于背景色和框的顏色以外對像素合計數(shù)進行計測。而且，將這些分布除以構(gòu)成該區(qū)域的像素數(shù)。

而且，關(guān)于下一分布，還在僅由僅進入一個像素內(nèi)側(cè)的四邊形的邊構(gòu)成的區(qū)域內(nèi)取得分布，進行相同處理，最后在框中央的一點或線中結(jié)束處理。

此時，開端的分布為零或接近零并隨著接近最后框中央的分布而求得1或接近1的值。通過確認比最初分布更接近中央的分布非連續(xù)且大的傾向來確定為圖標。

接著，說明用于判斷同形設計的圖標還是扁平設計的圖標的算法。能夠通過該算法來自動地確定刀具圖標菜單的存在與存在位置。另外，如果即使在使用六邊形等特殊輪廓形狀的圖標的情況下也通過二值化處理來取出框，則能夠通過相同的處理進行自動分析。

(3-3)在此，假設為存在扁平設計的圖標而進行圖像處理。但是，在該圖像處理中，無法判斷是否為表示設備狀態(tài)的圖標或由用戶進行操作而畫面響應的圖標。

為了判斷該情況，需要分析動畫數(shù)據(jù)而檢測響應的樣子。但是，為了對用于模仿的設計傾向進行計測并補充，能夠?qū)Ρ馄皆O計的圖標尺寸與其它顯示要素之間的相對位置關(guān)系進行計測即可。

作為扁平設計的圖標特征，針對單色的背景色通過飽和度或亮度明顯不同的單色或?qū)υ搯紊┘雨幱暗呐渖珌砝L制的圖案，通常以收納在正方形或正圓中的方式進行繪制。

狀態(tài)顯示用扁平設計的圖標并不限定于排列，能夠假設為操作用部分進行排列。在圖標間距離近的情況下，背景色還有時通過飽和度或亮度不同的顏色劃分。另外，還在很多情況下字符顏色與圖案的顏色完全相同或非常接近。

根據(jù)該特征進行連續(xù)的圖像處理，由此設計師不會視覺觀察圖標存在位置而能夠自動進行檢測。

例如存在以下方法。針對確定位置的像素，定義賦予獨特的特征量的函數(shù)，制作如在此越高則越是圖標的中心的部分。針對分組區(qū)域內(nèi)的整個區(qū)域評價該情況。于是，該評價值作為像素位置的高度而得到，因此縮小到存在類似圖標的圖的區(qū)域，實施其函數(shù)處理，由此能夠?qū)Χ鄠€圖標的中心位置與這些之間的間隔進行計測。這些越是等間隔則作為扁平設計的圖標的可能性越高。

該函數(shù)的定義方法如下。定義多個區(qū)域以在其像素中心繪制輪。設為期望輪的尺寸為圖標的尺寸。針對每個區(qū)域，除了背景色的像素以外，制作飽和度的分布，除以區(qū)域內(nèi)包含的整個像素數(shù)。在中心區(qū)域和僅繪制輪的數(shù)量的區(qū)域中將這些值相加。于是，在圖標中心計算該函數(shù)的情況下成為最大的值，當從該中心稍偏離時成為稍小的值，當僅存在背景的區(qū)域的中心的像素執(zhí)行函數(shù)時成為零。

定義對如上述的特征量進行運算的函數(shù)，一個一個地評價能夠期待存在的區(qū)域的像素，由此即使不解釋圖標的圖案也能夠正確地計測圖標的中心點與尺寸。

第二例的算法如下。

(4-1)無法將背景色確定為單色，可知是實拍圖像或特殊外觀圖像，因此，在此不嘗試檢測刀具盒圖標、扁平設計的圖標。在這種情況下，檢查是否存在同形設計的圖標。

(4-2)將分組區(qū)域分割為等間隔的正方形格子，在格子區(qū)域內(nèi)指定正圓的區(qū)域。將該區(qū)域稱為“格子正圓區(qū)域”。不將矩形設為判斷用數(shù)據(jù)是由于，在圖案為六邊形、圓弧、圓而并非四邊形的情況下提高其分析精度。

期望使每個格子的一邊長度在通過OCR對GUI畫面的整體圖像數(shù)據(jù)進行分析時與最小尺寸字符所占的矩形的一邊長度一致。這是由于，GUI畫面在作業(yè)人員以20cm～40cm的距離凝視的情況下傾向于使用小字符。但是，在作業(yè)人員進行其它并行作業(yè)的同時進行作業(yè)上的選擇的情況下、僅假設確認狀態(tài)的情況下，傾向于使用大字符使得使畫面容納在視野中的程度能夠確認GUI的布局。

還有時僅具有表示圖標、標尺、狀態(tài)的顯示顏色而不具有字符信息。在該情況下，決定為5mm左右，根據(jù)GUI畫面的實際尺寸和像素數(shù)來確定相當于對應的格子正圓區(qū)域的直徑的像素數(shù)。

(4-3)而且，針對所有格子正圓區(qū)域，關(guān)于色調(diào)、飽和度、亮度，得到相對于256灰度的像素的合計分布。而且，在判斷為該分布類似的部分在整體格子中為30～50％左右的情況下，該部分為背景圖案的可能性大，除此以外的格子正圓區(qū)域為任意的圖案，因此通常分布不類似。因此，在該區(qū)域中存在同形設計的圖標的可能性大。

通過目前的處理，能夠估計大致圖標位置范圍，但是還無法確定。因此，針對該分組區(qū)域，除了有可能存在圖標的像素以外應用形態(tài)分量分析(MCA：morphological component analysis)，使每個圖標被覆蓋的像素區(qū)域的原背景圖案恢復。在“Simultaneous cartoon and texture image inpainting using morphological component analysis(MCA)”,M.Elad、J.-L.、Starck,P.Querre、D.L.Donoho、Applied and Computational Harmonic Analysis、August 2005中詳細說明了該算法。

而且，將移除的像素與恢復的像素相互進行比較，移除能夠判斷為色調(diào)、飽和度、亮度分別接近的像素，由此能夠從移除的像素中排除原背景，從而能夠使同形設計的圖標浮起。這樣能夠確定圖標尺寸和中心位置。

換言之，將圖標周圍背景作為框區(qū)域而處理，將相當于框的圖案弄清楚，由此確定同形設計的圖標中心位置。

(4-4)另外，之后，通過模型匹配檢查存在文本框、表格框等。

通過設為上述結(jié)構(gòu)，能夠自動分析利用了CNC的機械的GUI畫面的圖標外觀的設計傾向。不需要圖標本身的意義分析。

(算法解釋)

此外，在前一節(jié)為止說明的“字符區(qū)域的分析算法”處通過OCR處理可知字體的典型種類與尺寸。

(5-1)確定背景。在畫面整個區(qū)域中以作為背景未指定實拍圖像和圖案的圖像的情況為前提來進行分析。

(5-2)將圖像變換為灰度等級而分割為256灰度。對與每個灰度的濃淡色對應的圖像內(nèi)像素的合計值進行計測。由此，得到與每個灰度對應的濃淡色在圖像數(shù)據(jù)內(nèi)含多少的分布。在該分布中與合計值最高的灰度的濃淡色對應的像素成為背景的可能性大。將該濃淡色設為D。為了縮小該值，從其中合計值最高的灰度的濃淡色中確定針對±20左右灰度的濃淡色的像素位置。將該濃淡色稱為“D附近的濃淡色”。設為±20左右是由于，在很多情況下使用對背景附加陰影效果的灰度級，并檢測該灰度級。

而且，生成從處理前的圖像數(shù)據(jù)僅提取成為其對象的像素的二值化圖像。該圖像能夠分為外側(cè)與內(nèi)側(cè)，在內(nèi)側(cè)具有柱狀圖、餅圖等表示指示器的幾何形狀等各種UI。

在二值化圖像的外側(cè)邊界形狀為單純的矩形、圓角的四邊形、柱形狀的情況下，D為背景色的可能性大。因此，進行覆蓋二值化圖像的外側(cè)的圖案匹配的圖像處理。將匹配的模型圖像作為矩形、圓角的四邊形，在其形狀與畫面的水平線平行的條件下，計測是否與二值化圖像的外側(cè)邊界一致。即使不完全一致也相當于80％以上的比例即可。

(5-3)對原圖像數(shù)據(jù)整體進行OCR處理。而且，檢測出的所有字符區(qū)域未與二值化圖像的邊界重疊，在二值化圖像的內(nèi)側(cè)存在一個以上時，決定為D為背景色。

根據(jù)原圖像數(shù)據(jù)獲取與D對應的像素的RGB值，由此得到背景色的RGB值。

(5-4)假設為背景色并非一個顏色，而搜索其余的三個顏色的基本背景色。設為三個顏色是由于，如果通過該搜索找不到任何顏色，則以背景色為一個顏色為前提而進入到下一步驟。

(5-5)在大畫面的GUI中，針對淡色的背景，除了濃色的字符以外，包含針對濃色的背景包含淡色的字符的區(qū)域的情況并不罕見。對檢測出的所有字符區(qū)域?qū)嵤┥鲜鲎址麉^(qū)域的背景信息的分析方法。

在此，目前確定為一個或兩個的背景色以外的背景色保持所有該背景色。

(5-6)在通過目前的方法得不到的情況下，即使字符顏色與背景色的濃淡關(guān)系相對于背景色D反轉(zhuǎn)的其它背景色存在于原圖像數(shù)據(jù)，有可能殘留有不成為OCR的檢測對象的標志等圖的顯示區(qū)域，而并非GUI畫面的操作區(qū)域。

例如在很多情況下感到特殊質(zhì)感的背景的表面挖寫的標志形成特殊外觀，有可能在OCR中無法作為字符而檢測到。在該情況下，從比相對于原圖像數(shù)據(jù)的灰度等級變換圖像的各灰度的像素數(shù)的合計值的分布成為最大數(shù)的灰度中搜索處于±20左右范圍外側(cè)的、像素的合計值高的灰度。將發(fā)現(xiàn)的灰度的濃淡色稱為F。F能夠判斷為從一般的GUI操作區(qū)域分離的、實施特殊外觀的區(qū)域的背景。

需要預先決定判斷F的閾值，使得以除了合計值低的灰度以外合計值一舉地變高的差變得低灰度的合計值的三倍以上的情況為目的等變得適當。

(5-7)通過目前的分析，盡管找到從字符區(qū)域中提取的單色的背景色，當從原圖像數(shù)據(jù)整個區(qū)域中計算該背景色的存在比例時，作為背景色，有時其存在比例小。在這種情況下，將實拍圖像指定為接近畫面整個區(qū)域的面積程度的情況、實施特殊外觀的特殊圖像被指定的可能性大。

在利用了CNC的機械的GUI畫面上不存在用于操作的顯示要素的狀態(tài)，通常能夠假設為不存在，因此通過使用假設在設定于畫面整個區(qū)域的圖像內(nèi)側(cè)存在作業(yè)人員的操作區(qū)域即矩形、橢圓、圓等操作區(qū)域的搜索算法，能夠分析針對畫面整體縮窄為局部區(qū)域的操作用區(qū)域。

(5-8)第一縮窄的操作用區(qū)域能夠假設為存在能夠通過OCR檢測的字符。這基于利用了CNC的機械為機械操作用的業(yè)務用。

(5-9)通過前一過程為止進行的、針對原圖像數(shù)據(jù)整個區(qū)域的OCR處理以及字符區(qū)域的背景信息的分析的實施來確定背景色的候選。該背景色擴大的區(qū)域為作業(yè)人員的操作用區(qū)域的可能性大。

(5-10)限定于從這些背景色得到的濃淡色和接近該濃淡色的±20灰度左右的濃淡色，從原圖像數(shù)據(jù)整體中得到二值化圖像。對該二值化圖像實施使用矩形、圓角矩形等內(nèi)側(cè)旋挖的模型的圖案匹配，確定操作用區(qū)域。

如果匹配為80％以上的區(qū)域，則從區(qū)域的外側(cè)實施實拍圖像或特殊圖像的部分中排除作為噪聲而出現(xiàn)的部分，從而能夠確定區(qū)域的形狀。并且確認在實施匹配的區(qū)域的內(nèi)側(cè)存在通過OCR檢測出的字符區(qū)域這一情況，確定操作用區(qū)域，并且確定背景色。

(5-11)確定分組區(qū)域。

分組區(qū)域是指在用于操作工業(yè)設備的GUI畫面的情況下使表示設備的運行狀態(tài)的區(qū)域、操作對象區(qū)域分離并且使公司標志的顯示區(qū)域分離的區(qū)域。該情況通過從原圖像中提取作為背景色而檢測的區(qū)域來能夠確定。

(5-12)分組區(qū)域存在與背景色不同顏色的矩形形狀或由普通幾何圖形的邊界分隔的情況以及完全不存在上述情況的情況。在完全沒有相當于邊界的顏色的情況下，通過相同種類的顯示要素的集合區(qū)域之間或與其它背景色之間的邊界通過任意地分割通過顯示要素的位置關(guān)系來分割分組區(qū)域的邊界。

在存在相當于邊界的顏色的情況下，針對飽和度(Value)使用高通濾波器或針對色調(diào)(Hue)使用高通濾波器由此檢測邊緣，其邊緣為直線且進行接近背景區(qū)域整體的寬度、長度的圖案匹配處理并進行檢測。能夠?qū)z測位置的像素位置確定為分組區(qū)域的邊界。

(5-13)確定始終顯示的菜單、圖標菜單或全局導航。

(5-14)菜單的確定以存在字符標簽這一情況為前提。菜單這一情況存在以下以往的設計圖案，因此準備能夠按這些每個設計圖案檢測的算法。

在存在字符標簽的情況下，通過對前一過程為止的原圖像數(shù)據(jù)整個區(qū)域進行的OCR處理和每個字符區(qū)域的分析，存在字符標簽的存在位置的候選和其背景色的信息。

確定即不僅是標簽、也不是文本框也不是其它顯示要素而是菜單這一情況，能夠通過是否在分組區(qū)域的邊界附近以縱列或橫列來平行地排列。

僅一個圖像數(shù)據(jù)是極限。在存在動畫數(shù)據(jù)的情況下，使用對菜單畫面進行操作時的畫面應答后的圖像數(shù)據(jù)，計測畫面變化，由此保持成為菜單這種判斷的可靠證據(jù)的信息。只要通過畫面變化的自動分析獲取不到并非菜單這種判斷的可靠證據(jù)，則不能推翻菜單這種判斷。相反地在即使得到菜單這種判斷也無法獲取基于作業(yè)人員的操作的畫面變化的情況下，保持保留是否為菜單或標簽的可能性的形式的信息。

(5-15)僅為字符，但是指定了確定的背景色的圖案。字符區(qū)域以縱或橫地平行地排列，通過高通濾波器來檢測上下或左右的端以濃顏色的邊界色、表示邊界的柱等分隔這一情況并進行確認，從而確定菜單。

(5-16)通過按下設備鍵槽的指定鍵在附近顯示區(qū)域內(nèi)覆蓋顯示的圖案。僅通過一個圖像無法判斷該圖案。準備未顯示菜單的圖像和顯示的圖像的兩個圖像，求得其差分并通過OCR進行檢測。

(5-17)在圖標菜單、帶標簽的圖標的情況下，能夠通過前一節(jié)的“用于使圖案與背景分離的圖案尺寸和布局位置的確定算法”中說明的方法來確定。

(5-18)確定文本輸入?yún)^(qū)域、標簽。這在很多情況下文本輸入?yún)^(qū)域的背景色為白色，并非這樣而色調(diào)存在差異，也在很多情況下接近背景色的飽和度。如果以該情況為前提來進行圖案匹配則能夠確定位置。

(5-19)關(guān)于標簽，在通過OCR確定的字符區(qū)域中，除了存在于目前的過程中發(fā)現(xiàn)的顯示要素的內(nèi)側(cè)的部分以外的所有字符區(qū)域被判斷為標簽。

(5-20)其余的不清楚的區(qū)域被判斷為特殊外觀圖像。但是，柱狀圖、標尺、餅圖的候選通過圖案匹配檢測出。狀態(tài)顯示用的柱狀圖、標尺、餅圖在動畫數(shù)據(jù)中有時顯示狀態(tài)隨著時間而變化，如果檢測出該情況則進行分析。特別是，僅通過一個圖像數(shù)據(jù)無法確定三維形狀的顯示區(qū)域。能夠通過對包括該顯示區(qū)域且其顯示內(nèi)容發(fā)生變化的狀態(tài)的一個以上的圖像數(shù)據(jù)進行圖像處理來確定。

在上述算法中，能夠通過現(xiàn)有圖像處理技術(shù)能夠連續(xù)地自動執(zhí)行，能夠分析顯示要素的種類與布局。從一個圖像數(shù)據(jù)中存在種類不定的顯示要素，分析動畫數(shù)據(jù)并切出由顯示要素的操作應答引起的畫面的變化并進行比較而進行分析，由此能夠補充不定的信息并確定顯示要素的種類。

在上述方法中，僅依靠圖像數(shù)據(jù)、動畫數(shù)據(jù)，無法自動地以100％的精度來確定所有顯示要素，但是估計80％以上的精度。能夠進一步分析確定的顯示要素并對確定的概率進行數(shù)值判斷。通過指定被判斷為確定錯誤的閾值，作為模仿基準的顯示要素的確定率接近100％。

(針對每個顯示要素的差異檢測方法)

在此所指的差異并非是單獨圖標等單獨的外觀而除了外觀以外的外觀尺寸、使用顏色、陰影繪制效果等。關(guān)于機器人畫面的每個顯示要素，將種類一致的部分在整個細節(jié)部分中，以與利用了CNC的機械的GUI畫面的表現(xiàn)一致的方式?jīng)Q定與GUI畫面的每個屬性對應的值。

利用了CNC的機械的GUI畫面的顯示要素的種類與尺寸與顯示位置的數(shù)據(jù)已經(jīng)一致，由此與第二實施方式相關(guān)聯(lián)地實施上述決定布局的算法。

但是，在機器人一側(cè)必須與單獨機械的機型對應的方式準備圖標與字體。例如在圖標的情況下，在機器人一側(cè)準備與同形設計對應的機型以及與扁平設計對應的機型。

(根據(jù)視覺感知格式塔原則來生成具有一貫性的畫面的方法)

作為確認心理學的成果的格式塔法則(Gestalt principles of visual perception)中能夠應用于GUI設計的部分如“UI設計的心理學理解難易度和使用難易度的法則第二版”、Jeff Johnson、壓印、原著“Designing with the Mind in Mind,Second Edition”、與視覺確認有關(guān)的“格式塔法則(Gestalt principles of visual perception)”，第34頁至第49頁為止，存在以下情況。

(a)接近(Proximity)：接近的部分看起來屬于同一組。

(b)類似(Similarity)：相似的部分之間視作同一組。

(c)連續(xù)(Continuity)：傾向于并非未連續(xù)的多個部分而掌握為連續(xù)的形狀。

(d)關(guān)閉(Closure)：關(guān)閉打開的形狀。

(e)對稱性(Symmetry)：傾向于將復雜的部分簡化而解釋。

(f)圖形和表面(Figure/Ground)：大腦將視場分離為前景與背景。

(g)共同命運(Common Fate)：感知同時移動的對象是否形成組或相關(guān)聯(lián)。

有幾個用于將這些應用于模仿的實施方法。

(使用格式塔法則的顯示要素的種類確定方法)

(背景的檢測方法的擴展)

關(guān)于在前一節(jié)中說明的背景的檢測，能夠通過從格式塔法則(Gestalt principles of visual perception)導出的算法來提高檢測精度。

說明使用圖形和表面(Figure/Ground)的法則的背景的檢測方法。該方法在對背景未指定照片圖像的情況下有效地起作用。

在確定顏色相對大的區(qū)域的內(nèi)部存在相對窄的區(qū)域的情況下，人較強傾向于將窄區(qū)域一側(cè)解釋為圖并將覆蓋該圖的大區(qū)域解釋為表面，設計師較強傾向于按照上述情況。特別是，工業(yè)設備的操作用GUI能夠假設為為了防止由作業(yè)人員引起的錯誤操作而必須遵循。

這意味著從檢測扁平設計的圖標的算法相反地能夠制作用于確定背景色的算法。分組區(qū)域的檢測方法的擴展和接近(Proximity)法則和類似(Similarity)法則在設計人員已知和不知時實際地應用。

標簽與文本框的位置關(guān)系在很多情況下與水平線平行地排列配置或與垂直線的左側(cè)或右側(cè)中的一個的位置對齊，標簽配置于上面并在其正下方配置文本框。即，在進行用于檢測前一節(jié)為止的類似于文本框的部分的圖案匹配之后，在其附近，在排列位置上存在字符區(qū)域時，該字符區(qū)域為標簽，該標簽意味著確定為說明文本框而大致不會脫離。實際上，通過堆疊其它UI要素的布局規(guī)則與不會矛盾的佐證來最終能夠確定為標簽與文本框。

在設計師要應用格式塔法則(Gestalt principles of visual perception)時，與為了考慮新設計相比，在很多情況下利用為用于檢查想到的設計是否被誤解的指南。設計師要注意的檢查全部是不可能的，但是能夠通過機器人3使其一部分自動化。

構(gòu)成應用連續(xù)(Continuity)法則、關(guān)閉(Closure)法則的算法而能夠通過圖像處理來自動檢查用于通過本發(fā)明自動追加的機器人3的操作、狀態(tài)確認的顯示要素是否被作業(yè)人員誤解。例如檢查被追加的圖標與周圍圖像特征相比通過與連續(xù)法則對應的判斷處理而連續(xù)地被看作其它特征的可能性高的情況并且通過與關(guān)閉法則對應的判斷處理被解釋為其它意義的情況等。被判斷的部分被切換為作為不判斷的代替的顯示要素，能夠避免容易被作業(yè)人員誤解的顯示要素的自動追加。

在此，判斷處理也可以是由機器人3的開發(fā)源即開發(fā)人想出的，但是也可以是通過機械學習或多層神經(jīng)網(wǎng)絡技術(shù)導出的判斷處理。例如在應用多層神經(jīng)網(wǎng)絡的情況下，存在在中間層的學習規(guī)則中組入平緩地確定與連續(xù)(Continuity)法則、關(guān)閉(Closure)法則對應的學習方向性的運算的方法。將從對人的網(wǎng)站使用便捷度測試得到的是否被誤解的統(tǒng)計數(shù)據(jù)設為輸入輸出，進行“監(jiān)督式學習”。機器人3執(zhí)行在此得到的算法的判斷處理。

應用該判斷處理，在能夠評價為排列地存在同形設計的圖標時，能夠作為一個分組區(qū)域候選而檢測覆蓋該圖標的矩形區(qū)域。

根據(jù)本實施方式，得到以下優(yōu)點。

機械制造商不提供與每個公司的機器人的使用的顯示要素對應的屬性值的組合，并且在利用了CNC的機械的GUI畫面的特征根據(jù)屬性定義和它們的值的形式無法獲取的通常的情況下，設計人員不對機械的GUI畫面的圖像數(shù)據(jù)和動畫數(shù)據(jù)進行視覺觀察并分析，通過按照適當順序來實施圖像處理而自動進行分析，減少使機器人的GUI畫面符合的費用。

在機器人3連接于與機械2不同的機械的情況下，也只要該不同機械具有與機械2相同的結(jié)構(gòu)，通過該不同的機械的GUI畫面用于對機器人3進行操作、狀態(tài)確認的顯示要素按照與上述說明相同的順序來自動進行追加。這樣機器人3針對多個制造商的機械的GUI畫面的每個設計，不需要設計師的介入而能夠自動地進行應對。

但是，如在“Associating the Visual Representation of User Interfaces with their Internal Structures and Metadata”、Oct.15-19,2011、UIST’11中也記載那樣，來自圖像捕捉數(shù)據(jù)的顯示要素的分析成功率并非100％。對未能分析的屬性值采用現(xiàn)有值。

接著，說明第四實施方式所涉及的機器人系統(tǒng)1。本實施方式所涉及的機器人系統(tǒng)1具有與圖13示出的第三實施方式相同的結(jié)構(gòu)。機器人系統(tǒng)1構(gòu)成為，顯示器GUI畫面捕捉處理部周期性地捕捉畫面而機器人控制裝置4隨時分析圖像捕捉數(shù)據(jù)。

在本實施方式中，“通信網(wǎng)絡”確保實時性使得能夠高速地傳送捕捉圖像。

圖16是表示本實施方式所涉及的在機器人系統(tǒng)1中執(zhí)行的處理的流程圖。根據(jù)本實施方式，在短時間間隔來能夠獲取捕捉圖像的數(shù)據(jù)。

分析一個圖像捕捉數(shù)據(jù)的工序與第三實施方式同樣地執(zhí)行。從在不同時刻獲取到的多個畫面的數(shù)據(jù)中提取有變化的部分，由此確定GUI畫面51內(nèi)的操作應答標準。

另外，關(guān)于根據(jù)一個圖像捕捉數(shù)據(jù)無法確定的種類的顯示要素，通過對畫面變化的上下文進行分析，能夠驗證確定的屬性值的有效性。在通過驗證在確定的處理中發(fā)現(xiàn)錯誤的情況下，能夠進行修正使得更正錯誤。

根據(jù)本實施方式，在短周期內(nèi)繼續(xù)捕捉圖像，能夠?qū)︼@示器5的GUI畫面51的變化進行計測，因此能夠檢測顯示器5的顯示要素的操作應答標準。關(guān)于在一個GUI畫面51的分析中判斷為無法確定的顯示器5的GUI畫面51的分組區(qū)域，也有時通過進行作業(yè)人員的操作的上下文分析，能夠確定顯示要素的種類。并且，能夠根據(jù)新辨別的分析結(jié)果來改進顯示器5的GUI畫面51中的機器人3的顯示要素的顯示。

圖17～圖28示出各種變形例所涉及的機器人系統(tǒng)1。

圖17示出第一實施方式的變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11和機械屬性值存儲部12被內(nèi)置于CNC 20。在該情況下，顯示器5例如具備觸摸面板或液晶畫面和機械式鍵槽的組合。

圖18示出第二實施方式的變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11和機械屬性值存儲部12被內(nèi)置于CNC 20。

圖19示出第一實施方式的其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11和機械屬性值存儲部12被內(nèi)置于顯示器5。在顯示器5中內(nèi)置有在觸摸面板或液晶畫面和機械式鍵槽的組合等HCI(Human-Computer Interaction)部分以外生成畫面或用于控制該生成的OS(Operating System)存儲器、大容量存儲盤(HDD(hard disk drive)、SSD(solid state disk)等)、顯卡以及畫面控制軟件等。在該變形例中，CNC 20與GUI畫面51的生成不相關(guān)。

圖20示出第二實施方式的其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11和機械屬性值存儲部12被內(nèi)置于顯示器5。

圖21示出第三實施方式或第四實施方式的變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11、顯示器GUI畫面捕捉處理部13以及機械屬性值存儲部12被內(nèi)置于CNC 20。

圖22示出第三實施方式或第四實施方式的其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11、顯示器GUI畫面捕捉處理部13以及機械屬性值存儲部12被內(nèi)置于顯示器5。

圖23示出第一實施方式的進一步其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11被內(nèi)置于CNC 20。機械屬性值存儲部12被設置于云服務器。CNC 20經(jīng)由云通信網(wǎng)絡71與云服務器7連接。機器人3的顯示要素屬性值被從云服務器7發(fā)送到CNC 20的機械畫面生成部11。在CNC 20與機器人控制裝置4之間的通信被切斷時，機器人3的顯示要素不會顯示在GUI畫面51中。

圖24示出第二實施方式的進一步其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11被內(nèi)置于CNC。機械屬性值存儲部12被設置于云服務器。CNC 20經(jīng)由云通信網(wǎng)絡71與云服務器7連接。

圖25示出第一實施方式的進一步其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11被內(nèi)置于顯示器5。機械屬性值存儲部12被設置于云服務器7。顯示器5經(jīng)由云通信網(wǎng)絡71與云服務器7連接。在本變形例中，CNC 20與GUI畫面51的生成不相關(guān)。機器人3的顯示要素屬性值被從云服務器7發(fā)送到顯示器5的機械畫面生成部11。在CNC 20與機器人控制裝置4之間的通信被切斷時，機器人3的顯示要素不會顯示在GUI畫面51中。

圖26示出第二實施方式的進一步其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11被內(nèi)置于顯示器5。機械屬性值存儲部12被設置于云服務器7。

根據(jù)有效使用云服務器7的變形例，在CNC 20與機器人控制裝置4之間的通信開始時，機械2的顯示要素屬性定義和機器人3的機型信息被發(fā)送到云服務器7。云服務器7將對應的機器人3的GUI的屬性值發(fā)送到顯示器5并生成GUI畫面51。這樣，通過將與機械2的GUI畫面51的設計和機器人3的機型對應的數(shù)據(jù)存儲到云服務器7，在通信全部建立之后，能夠迅速地從機械2執(zhí)行機器人3的狀態(tài)確認和操作。

圖27示出第三實施方式或第四實施方式的進一步其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11和顯示器GUI畫面捕捉處理部13被設置于CNC 20。機械屬性值存儲部12被設置于云服務器7。CNC 20經(jīng)由云通信網(wǎng)絡71與云服務器7連接。

圖28示出第三實施方式或第四實施方式的進一步其它變形例所涉及的機器人系統(tǒng)1。在本變形例中，機械畫面生成部11和顯示器GUI畫面捕捉處理部13被設置于顯示器5。機械屬性值存儲部12被設置于云服務器7。顯示器5經(jīng)由云通信網(wǎng)絡71與云服務器7連接。

根據(jù)本發(fā)明所涉及的機器人系統(tǒng)，能夠起到以下效果。

(1)關(guān)于機器人的GUI畫面的外觀和操作，利用了CNC的機械的GUI畫面具有一貫性，因此作業(yè)人員在機器人的操作中不容易產(chǎn)生人為錯誤。另外，作業(yè)人員容易學習機器人的操作，從而能夠容易地變得熟練。

(2)在針對機器人不具有足夠知識的機械作業(yè)人員面對必須使用機器人的狀況的情況下，也能夠根據(jù)與利用了CNC的機械有關(guān)的知識和經(jīng)驗來推測機器人的操作。特別是，與機器人安全有關(guān)的信息的顯示方法適合于在利用了CNC的機械中使用的GUI設計標準，而并非是由機器人提供者規(guī)定的GUI標準。因而，能夠避免作業(yè)人員接近不懂使用方法的機器人的危險行為，能夠訊速地確認機器人的狀態(tài)。

(3)利用了CNC的機械具有按照用于自動生成GUI畫面的屬性定義和基于屬性值的形式的模型來自動生成GUI的功能。因而，如果指定適合于每個屬性的值，則能夠適當?shù)厍袚Q機械的GUI畫面。由此，能夠消減利用了CNC的機械的成本。

(4)根據(jù)利用了CNC的機械的顯示器的GUI畫面的標準求出每個屬性值。GUI畫面的標準能夠從機械提供者得到或如果使用實機來核實則能夠獲取所需的數(shù)據(jù)。機器人提供者能夠預先準備適合于從各種開發(fā)源提供的利用了CNC的機械的GUI畫面。

(5)將利用了CNC的機械的顯示器的GUI畫面的畫面捕捉數(shù)據(jù)取入于機器人控制裝置，由此將機械的顯示器的GUI畫面進行自動分析并能夠求出每個屬性值。在該情況下，在機械提供者與機器人提供者之間不需要對GUI畫面的標準進行信息交換或機器人系統(tǒng)的使用者不需要核實機械的GUI畫面的標準。如果利用了CNC的機械與機器人能夠正常地開始進行通信，則自動地求出每個屬性值。因此，作業(yè)人員能夠從利用了CNC的機械順利地操作機器人。

以上，說明了本發(fā)明的各種實施方式，但是認為本領(lǐng)域技術(shù)人員還能夠通過其它實施方式來實現(xiàn)本發(fā)明所意圖的作用效果。特別是，在不脫離本發(fā)明的范圍內(nèi)能夠刪除或替換上述實施方式的結(jié)構(gòu)要素或進一步附加公知的手段。另外，通過任意地組合在本說明書中明確或示意地公開的多個實施方式的特征來能夠?qū)嵤┍景l(fā)明，對于本領(lǐng)域技術(shù)人員來說是顯而易見的。

根據(jù)本發(fā)明所涉及的機器人系統(tǒng)，機器人用GUI畫面的外觀和操作與利用了CNC的機械的GUI畫面具有一貫性。因而，能夠防止提高機器人的操作的作業(yè)人員引起人為錯誤，并且能夠輔助作業(yè)人員學會機器人的操作。