具備多個應用的數據處理裝置及方法
【專利摘要】具備多個應用的數據處理裝置及方法。僅通過從對在應用的執行中能夠受理的多種指示信息(命令)進行了表現的各標識(標記)的排列中由用戶指定任意的標識，就能夠執行分配給該標識的動作。通過解析文本攝像機(3)對紙片(7)的攝影圖像，由此識別由用戶指示的紙片(7)上的標記(8)(步驟S37)，通過根據該標記(8)來參照標記表(Y)(步驟S38)，由此讀出與該標記(8)對應的命令(步驟S38)，并且對當前執行中的應用指示執行與該命令相應的動作(步驟S39)。
【專利說明】具備多個應用的數據處理裝置及方法
【技術領域】
[0001]本發明涉及具備多個應用的數據處理裝置及方法。
【背景技術】
[0002]以往，在對個人計算機等數據處理裝置輸入命令(指示信息)的情況下，作為簡化該命令輸入的技術，存在作為命令輸入介質而使用紙片的技術，即用攝像機攝影用戶用指尖等指定紙片上所印刷的多個標識(標記)的任一個的情況，并對其攝影圖像進行解析，由此判別哪個標識被指示，并輸入分配給該標識的命令的技術(日本特開2012-14606號公報)。
[0003]但是，上述的專利文獻的技術是對用戶在紙介質小冊子(紙片)上指定的標記進行識別，并使與該標記對應的信息內容顯示在地面上的引導系統，當由于將標記與信息內容建立對應而能夠顯示的內容數增加時，紙介質上的標記數也變多，作為整體變得煩雜,反而存在損害操作性的危險性。

【發明內容】

[0004]本發明的課題在于，僅通過用戶從對在應用的執行中能夠受理的多種指示信息進行了表現的各標識的排列中指定任意的標識，就能夠執行分配給該標識的動作。
[0005]本發明具備下述構成。
[0006]本發明一個技術方案為一種數據處理裝置，具備多個應用，其特征在于，具備:
[0007]標識存儲機構，按每個應用將在該應用的執行中能夠受理的多種指示信息與表現了該各指示信息的多種標識建立對應而進行存儲管理；
[0008]判別機構，判別從排列輸出與當前執行中的應用能夠受理的多種指示信息對應的各標識的輸出介質內通過用戶操作而任意地指定的標識；
[0009]選擇機構，根據由上述判別機構判別的標識來參照上述標識存儲機構，由此選擇與該標識對應的指示信息；以及
[0010]控制機構，進行用于使當前執行中的應用進行按照由上述選擇機構選擇的指示信息的動作的控制。
[0011]本發明另一個技術方案為一種數據處理裝置，具備多個應用，其特征在于，具備:
[0012]取得機構，取得在應用的執行中能夠受理的多種指示信息；
[0013]生成機構，按由上述取得機構取得的多種指示信息的每種，生成表現了各指示信息的多種標識；
[0014]標識存儲機構，將由上述取得機構取得的多種指示信息與由上述生成機構生成的多種標識建立對應而進行存儲管理；以及
[0015]輸出機構，對由上述生成機構生成的多種標識進行排列輸出。
[0016]本發明另一個技術方案為一種數據處理方法，是具備多個應用的數據處理裝置中的方法，包括:[0017]存儲管理步驟，按每個應用將在該應用的執行中能夠受理的多種指示信息與表現了該各指示信息的多種標識建立對應而進行存儲管理；
[0018]判別步驟，判別從排列輸出與當前執行中的應用能夠受理的多種指示信息對應的各標識的輸出介質內通過用戶操作而任意地指定的標識；
[0019]選擇步驟，根據由上述判別步驟判別的標識來參照上述存儲管理步驟中的存儲內容，由此選擇與該標識對應的指示信息；以及
[0020]控制步驟，進行用于使當前執行中的應用進行按照由上述選擇步驟所選擇的指示信息的動作的控制。
[0021]本發明另一個技術方案為一種數據處理方法，是具備多個應用的數據處理裝置中的方法，包括:
[0022]取得步驟，取得在應用的執行中能夠受理的多種指示信息；
[0023]生成步驟，按由上述取得步驟取得的多種指示信息的每種，生成表現了各指示信息的多種標識；
[0024]存儲管理步驟，將由上述取得步驟取得的多種指示信息與由上述生成步驟生成的多種標識建立對應而進行存儲管理；以及
[0025]排列輸出步驟，對由上述生成步驟生成的多種標識進行排列輸出。
[0026]發明效果
[0027]根據本發明，僅通過用戶從對在應用的執行中能夠受理的多種指示信息進行了表現的各標識的排列中指定任意的標識，就能夠執行分配給該標識的動作，能夠期待操作性的進一步提聞。
【專利附圖】

【附圖說明】
[0028]圖1是表示視頻會議系統(通信系統)的框圖。
[0029]圖2是用于說明構成視頻會議系統的數據處理裝置I側的文本攝像機3的圖。
[0030]圖3是用于說明作為命令輸入介質的紙片7的圖。
[0031]圖4是用于說明標記識別方法的圖。
[0032]圖5是表示帶內置攝像機的數據處理裝置I的基本構成的框圖。
[0033]圖6是用于說明在應用執行中所顯示的畫面的配置文件X的圖。
[0034]圖7是用于說明標記表Y的內容的圖。
[0035]圖8是例示了應用畫面的圖。
[0036]圖9是用于說明片管理表Z的圖。
[0037]圖10是用于說明數據處理裝置I的動作的流程圖。
[0038]圖11是接在圖10的動作之后的流程圖。
[0039]圖12是接在圖11的動作之后的流程圖。
[0040]圖13是用于說明本實施方式的變形例的圖。
【具體實施方式】
[0041]以下，參照圖1?圖12來說明實施方式。
[0042]圖1是表示視頻會議系統(通信系統)的框圖。[0043]視頻會議系統是遠程的會議參加者(發言者)彼此能夠在自己的終端畫面上看到對方的面部圖像(例如動畫)、資料圖像的同時、與對方進行聲音通話的通信系統。該視頻會議系統是作為帶內置攝像機的數據處理裝置1，例如經由公用通信網(因特網、無線通信網)2連接有臺式、筆記本式的個人計算機、平板終端等便攜式終端裝置，能夠在各數據處理裝置I之間進行高速雙向通信的遠程會議系統。
[0044]在數據處理裝置I上，有線連接或無線連接有對會議用的資料等進行攝影的文本攝像機3、將麥克風與頭戴式聽筒一體化了的耳機4、以及印刷裝置5。在這種情況下，會議參加者(發言者)S1、S2、S3、…的全體成員或其中幾個人，除了數據處理裝置1、耳機4以外，還具備文本攝像機3和印刷裝置5。另外，在圖示的例中，例示在發言者S1、S2側具備文本攝像機3、印刷裝置5的情況，此外，使發言者S1、S2、S3、…中的一人(發言者S2)為主持人(協調者)。
[0045]數據處理裝置I將從自己的內置攝像機(在圖1中省略圖示)取得的自己的面部圖像數據、從文本攝像機3取得的資料圖像數據、從耳機4取得的自己的聲音數據進行壓縮處理，而向其他各數據處理裝置I發送，此外，當從其他數據處理裝置I接收取得遠程會議對方的面部圖像數據、資料圖像數據、對方的聲音數據時，將該圖像數據、聲音數據進行解壓處理而顯示在自己的終端畫面上、向耳機4進行聲音輸出、或將資料圖像數據向印刷裝置5發送而進行印刷輸出。
[0046]圖2是用于說明在數據處理裝置I側有線連接或無線連接的文本攝像機3的圖。
[0047]文本攝像機3為對載放在桌面等上的會議用的資料6等從其上方(大致正上方)進行攝影的臺式的數字攝像機，雖然省略圖示，但來自攝影透鏡的被攝體像在攝像元件(CXD、CMOS等)上成 像，由此能夠高精細地攝影靜止圖像、動態圖像。
[0048]此外，文本攝像機3除了作為攝影會議用的資料6的攝像機起作用以外，還作為對載放在其攝影范圍內的命令輸入用的紙片7進行攝影的攝像機起作用。另外，文本攝像機3構成為，除了包含攝影透鏡、攝像元件的圖像數據生成部以外，還具有包含中央運算處理裝置、圖像處理裝置等的圖像數據處理部，但也可以在數據處理裝置I側具備該圖像數據處理部。
[0049]紙片7是按每個應用(例如會議)排列印刷有對該應用能夠受理的多種指示信息(命令)進行了表現的各標識(標記)8的紙片，按每個應用(例如會議)從印刷裝置5印刷發行紙片7。
[0050]在作為該會議用而將最佳的紙片7載放在文本攝像機3的攝影范圍內的狀態下，當用戶(會議參加者)進行用指尖等指出紙片7上的所期望的標識(標記)8的指出操作時，文本攝像機3對該用戶指出標記8的情況進行攝影。數據處理裝置I從文本攝像機3取得其攝影圖像，并解析該攝影圖像，由此判別用戶指定了哪個標記8，而輸入分配給該標記8的命令。
[0051]另外，指出操作可以使指尖接觸或接近標記8，只要能夠識別用戶指定了哪個標記8，則與其接近程度無關。如此，紙片7在使向標記8的指出操作與數據處理裝置I側的動作(與標記8的種類相應的動作)連動時被使用。
[0052]圖3是用于說明紙片7的圖。
[0053]紙片7為排列印刷有多種標記8的帶狀的紙片，在圖示的例中，例示了將矩形的標記8排列印刷成2X4的矩陣狀的情況。在紙片7的上部右端側，與片名“會議(I) ”一起印刷有表示了片識別信息(片ID)的條形碼信息9。
[0054]各標記8上的字符串寫明了能夠輸入的命令名，例如，在圖中，從上段左側的標記8起印刷有“資料(I) ”、“資料(2) ”、“發言者(SI) ”、“發言者(S2) ”的字符串(命令名)，此夕卜，從下段左側的標記8起印刷有“發言者(S3) ”、“發言”、“贊成”、“印刷”的字符串(命令名)。
[0055]此處，“資料⑴”、“資料⑵”的標記8，是在要求該資料數據的發送時用戶指定的標記。“發言者(si)”、“發言者(S2)”、“發言者(S3)”的標記8，是在要求發言者的影像(面部圖像)的發送時用戶指定的標記。“發言”的標記8是在自己發言時對主持人要求協調時用戶指定的標記。
[0056]“贊成”的標記8，是在對方的發言內容較好的情況下等、傳達贊同該發言者的情況時用戶指定的標記。如此，印刷在紙片7上的各種標記8和與該標記8的種類相應的動作一對一地建立有關聯。另外，紙片7上的各種標記8按每個應用而不同，按每個應用而與不同的動作建立有關聯。
[0057]圖4是用于說明在利用紙片7而用戶進行指出所期望的標記8的指出操作的情況下、其標記識別方法的圖。
[0058]當由文本攝像機3攝影用戶指出紙片7上的標記8的情況時，數據處理裝置I根據其攝影圖像而如下地判別(識別)指示了哪個標記8。S卩，紙片7上的矩形標記8的整體由其紅色的矩形框(紅色框)構成。文本攝像機3通過濾色器功能而僅攝影紅色。
[0059]數據處理裝置I從由文本攝像機3取得的攝影圖像中提取與標記8的矩形框最接近的尺寸的紅色框圖像。在圖示的例中，例示出提取了資料⑴和資料⑵的標記8的紅色框圖像的情況，從該紅色框圖像中確定由于用戶的指出而紅色框具有欠缺(被手指遮斷)的部分的紅色框圖像，將該紅色框圖像識別為由用戶指出的標記8。
[0060]另外，在圖示的例中，是資料⑴和資料⑵的標記8中、資料⑵的標記8被識別為用戶通過指出操作而指定的標記8的情況。由此，能夠獲取資料(2)而使其顯示在自己的終端畫面上。
[0061]圖5是表示帶內置攝像機的數據處理裝置(例如筆記本式的個人計算機)I的基本構成的框圖。
[0062]成為數據處理裝置I的核心的CPUll是通過來自電源部12的電力供給而動作，根據存儲部13內的各種程序來控制該數據處理裝置I的整體動作的中央運算處理裝置。存儲部13存儲各種程序、信息，除了存放有用于根據圖10?圖12所示的動作步驟來實現本實施方式的程序、各種應用等的程序區域13a以外，還具有存儲該數據處理裝置I所需要的各種數據的數據區域13b和臨時存儲用的工作區域13c，在數據區域13b中存儲有后述的配置文件X、標記表Y、片管理表Z等。
[0063]通信部14在電子郵件功能、因特網連接功能等動作時，與寬帶的公用通信網連接(例如光通信連接)。鍵操作部15具備按鈕式的各種鍵，輸入數據、命令。指示器(鼠標)16選擇指定畫面上的圖標、按鈕而輸入數據、命令。
[0064]此處，在本實施方式中，作為輸入當前執行中的應用能夠受理的命令的機構，并不限定于如上述那樣利用了紙片7的命令輸入，還能夠通過利用鼠標16來指示指定顯示畫面上的圖標、按鈕而輸入同樣的命令、或通過鍵操作部15的鍵操作而輸入同樣的命令。
[0065]顯示部17為具有縱橫比不同的畫面的高精細液晶顯示器或有機EL(ElectroLuminescence:電致發光)顯示器，顯示作業畫面等。內置攝像機18為對其對面的用戶(會議參加者)進行攝影的數字攝像機，雖然省略圖示，但能夠通過使來自攝影透鏡的被攝體像在攝像元件(<XD、CM0S等)上成像而高精細地攝影靜止圖像、動態圖像。外部連接部19具有USB (Universal Serial Bus)連接器,能夠連接攝影會議用的資料等的文本攝像機3、耳機4、印刷裝置5等。
[0066]圖6是用于說明在應用執行中顯示的畫面的配置文件X的圖。
[0067]配置文件X為應用畫面的布局用，為設定有在應用的執行時顯示的畫面上將圖標配置在哪里、或以怎樣的大小來配置等的畫面布局的構成的文件。這種配置文件X按照每個應用的畫面來設置，在一個應用中使用多個畫面的情況下，與畫面數對應地設置多個配置文件X。
[0068]如此，在一個應用中設置有多個配置文件X的情況下，按每個配置文件X來準備有紙片7。即，紙片7如上述那樣按每個應用來準備，但進一步，在一個應用中設置有多個配置文件X的情況下，按每個配置文件X來準備。
[0069]圖示的例為，作為各種應用A、B、C的畫面布局用，而設置有“配置文件⑴會議
(I)”、“配置文件⑵會議(2)”、“配置文件(3)會議(3)”的情況。在該“配置文件⑴會議(I)”中設定有內部表(U)、內部表(12)，在“配置文件(2)會議(2)”中設定有內部表
(21)、內部表(22)、內部表(23)，在“配置文件(3)會議(3)”中設定有內部表(31)、內部表
(32)。
[0070]圖7是用于具體地表示設置在配置文件X內的內部表的設定內容，并且說明根據該內部表的設定內容而自動生成的標記表Y的內容的圖。
[0071]圖示的例為，作為配置文件X的內部表，表示“配置文件(I)會議(I)”的內部表
(II)、內部表(12)，內部表(11)具有“命令”、“鼠標指示畫面坐標位置”、“鍵”的各項目。“命令”表示在應用畫面上顯示的圖標、并且表示分配給該圖標的命令，圖示的例子表示設定有“發言”、“贊成”、“印刷”、…的情況。
[0072]“鼠標指示畫面坐標位置”表示通過鼠標操作而選擇圖標的情況下的圖標(“發言”、“贊成”、“印刷”、…)的坐標位置。圖8是表示應用畫面上的圖標的顯示例的圖。其例示的狀態為，在圖示的應用畫面中配置顯示有多人的對方的面部圖像，并且作為各種資料而配置顯示資料(I)、資料(2)，進一步在應用畫面上的規定位置，顯示有多個圖標。
[0073]“鼠標指示畫面坐標位置”表示該應用畫面上的圖標的顯示坐標位置。“鍵”表示代替鼠標操作中的圖標選擇的鍵操作，與圖標“發言”、“贊成”、“印刷”對應地分配設定有“F1”、“F2”、“F3”、…的各鍵。
[0074]內部表(12)具有“命令”、“鼠標指示畫面坐標位置”、“鍵”的各項目，在“命令”中設定有“資料⑴”、“資料⑵”、“資料⑶”、“發信者(SI) ”、“發信者(S2) ”、“發信者(S3) ”、…。根據這種內部表(11)、內部表(12)的設定內容而自動生成標記表Y。
[0075]標記表Y是將使在應用的執行中能夠受理的多種命令與表現了該各命令的多種標記8建立了對應的紙片7按每個應用進行存儲管理的信息片，具有“命令”、“標記”的各項目。此外，在標記表Y中存儲有識別各紙片7的每個的片ID。[0076]在圖示的例中，在與內部表(11)對應的標記表Y中，作為與“發言”、“贊成”、“印刷”、…的“命令”對應的“標記”，而設定有“M1”、“M2”、“M3”、…，在與內部表(12)對應的標記表Y中，作為與“資料⑴”、“資料⑵”、“資料⑶”、“發言者(SI) ”、“發言者(S2) ”、“發言者(S3) ” 的“命令”對應的“標記”，而設定有“Μ11”、“Μ12”、“Μ13”、“Μ14”、“Μ15”、“Μ16”。進一步，在標記表Y中，作為對其進行識別的“片ID”而設定有“ ID1”。
[0077]圖9是用于說明片管理表Z的圖。
[0078]片管理表Z是每當自動生成標記表Y時、就存儲管理與標記表Y有關的信息的表，具有“配置文件ID”、“內部表1D”、“片ID”的各項目。
[0079]如此，片管理表Z將使各紙片7的各個與應用的各個建立對應的片ID作為鏈接信息而存儲管理，圖示的例子為設定有如下的片管理表Z的情況:“配置文件ID”被設定“應用A(會議(1))”、“內部表1D”被設定“(11)”、“片ID”被設定“ID1”，此外，“配置文件ID”被設定“應用A(會議(I)) ”、“內部表1D”被設定“ (12) ”、“片ID”被設定“ID2”，進一步“配置文件ID”被設定“應用A (會議⑵)”、“內部表1D”被設定“(21)，，、“片ID”被設定“ ID3”。
[0080]接著，參照圖10~圖12所示的流程圖來說明本實施方式的數據處理操作I的動作概念。此處，這些流程圖所記述的各功能，以可讀取的程序代碼的形式存放，按照該程序代碼的動作被逐次執行。此外，還能夠逐次執行按照經由網絡等傳輸介質傳輸來的上述程序代碼的動作。
[0081]即，除了記錄介質以外，還能夠利用經由傳輸介質從外部供給的程序/數據來執行本實施方式特有的動作。另外，圖10~圖12是表示數據處理裝置I的整體動作中本實施方式的特征部分的動作概要的流程圖，在從該圖10~圖12的流程退出時，返回整體動作的主流程(省略圖示)。
[0082]圖10~圖12是用于說明根據起動對象的應用的選擇而開始執行的數據處理裝置I的動作(本實施方式的特征性動作)的流程圖。
`[0083]首先，數據處理裝置I的CPU11，在使通過用戶操作等而選擇指定的應用起動(圖10的步驟SI)之后，使其默認畫面在顯示部17上布局顯示(步驟S2)，并且根據默認畫面的顯示內容對其配置文件X的內部表進行默認設定(步驟S3)。在該狀態下，調查是否通過用戶操作而指示了畫面構成的變更設定(步驟S4)。
[0084]此處，在用戶將選擇的應用的畫面布局例如設定為會議(I)用的情況下，在召開該會議之前，為了將該畫面布局適宜地變更設定為會議(I)用而指示畫面構成的變更設定。
[0085]此時，在通過用戶操作而指示了畫面構成的變更設定時(步驟S4中“是”)，進行圖標、按鈕的追加、刪除等根據用戶操作來任意地變更畫面布局的處理(步驟S5)。由此，當變更畫面布局時，調查是否通過用戶操作而指示了將該變更后的畫面布局登記為配置文件父(步驟36)。
[0086]此時，如果沒有該登記指示(步驟S6中“否”)，則返回上述的步驟S4，但如果有該登記指示(步驟S6中“是”)，則進行提取應用畫面上的圖標、按鈕(步驟S7)、并且基于提取的圖標、按鈕來設定內部表的處理(步驟S8)。在這種情況下，按每個提取的圖標、按鈕來取得分配給圖標、按鈕的命令，從而除了對“命令”、“鼠標指示畫面坐標位置”的各項目進行設定以外，還對將與特定的圖標、按鈕對應地分配給該圖標、按鈕的命令進行輸入的“鍵”項目進行設定。
[0087]接著，調查是否通過用戶操作而指示了畫面構成的變更設定的結束(步驟S9)，在指示變更設定的結束之前(步驟S9中“否”)，返回上述的步驟S4，以下，反復進行上述的動作(步驟S4?S9)，但在指示了變更設定的結束時(步驟S9中“是”)，存儲包括如上述那樣設定的內部表的配置文件X，并且生成其配置文件ID而附加到配置文件X (步驟S10)。
[0088]接著，調查是否通過用戶操作而指示了標記表(信息片)Y的制作(步驟311)，如果沒有該制作指示(步驟Sll中“否”)，則圖10?圖12的流程結束。
[0089]此外，如果有標記表Y的制作指示(步驟Sll中“是”)，則生成與在上述的步驟S7中提取的各圖標對應的標記8 (步驟S12),并基于該標記8來自動生成標記表Y (步驟S13)。在這種情況下，按每個提取的圖標、按鈕，自動生成使分配給該圖標、按鈕的命令與如上述那樣生成的標記8建立了對應的標記表Y。
[0090]此后，生成片ID并存儲到標記表Y中(步驟S14)。由此，當生成標記表Y時，作為與該片有關的信息而生成具有“配置文件ID”、“內部表ID'“片ID”的各項目的記錄并追加登記到片管理表Z (步驟S15)。
[0091]此后，將“片ID”變換為條形碼信息9，與該條形碼信息9 一起將標記表Y內的各“標記”從外部連接部19向印刷裝置5發送而印刷輸出(步驟S16)。在這種情況下，在印刷裝置5側，根據規定的印刷形式使其將條形碼信息印刷到規定的位置，并且依次排列印刷標記表Y的“標記”。例如，排列印刷“標記Ml”、“標記M2”，但在這種情況下，在“標記Ml”中作為命令名而印刷“發言”，在“標記M2”中作為命令名而印刷“贊成”。
[0092]由此，自動發行紙片7，但該紙片7按每個應用(進一步按在應用執行中顯示的每個畫面(配置文件X))來生成。即，在存在多個在應用執行中顯示的畫面的情況下，按每個該應用畫面來取得圖標、按鈕(命令)，根據按多個畫面的每個而取得的各圖標、按鈕來生成多種標記，按多個畫面的每個來生成標記表Y，并且按多個畫面的每個印刷發行紙片7。當這種印刷結束時，圖10?圖12的流程結束。
[0093]另一方面，如果沒有指示畫面構成的變更設定(步驟S4中“否”)，則轉移至圖11的流程，調查是否通過用戶操作而指示了配置文件X的讀出(步驟S17)。此處，用戶在會議的召開時，通過用戶操作來指示預先作為會議用而設定的配置文件X的讀出。
[0094]此時，在指示了配置文件X的讀出時(步驟S17中“是”)，參照片管理表Z，而顯示各配置文件X的一覽(步驟S18)。而且，當通過用戶操作而從該一覽畫面中選擇指定任意的配置文件X時(步驟S19)，參照片管理表Z，而從該選擇指定的配置文件X中讀出內部表(步驟S20)，使顯示部17顯示與該內部表的設定內容相應的應用畫面(步驟S21)。
[0095]如此，在顯示有所期望的會議用的應用畫面的狀態下，取得來自文本攝像機3的攝影圖像(步驟S22)，并通過解析該攝影圖像來調查是否通過用戶的指出操作而指定了紙片7上的任一個標記8 (步驟S23)。此處，如果沒有通過指出操作而指定標記8 (步驟S23中“否”)，則調查是否進行了鍵操作或鼠標操作的任一個(步驟S24)，如果鍵操作或鼠標操作均未進行(步驟S24中“否”)，則返回上述的步驟S22。
[0096]此時，在檢測到鍵操作或鼠標操作時(步驟S24中“是”)，根據哪個鍵被操作、或哪個圖標、按鈕的位置被鼠標操作，來從內部表中讀出與該操作鍵建立了對應的命令或與鼠標操作了的位置(圖標、按鈕)的各個建立了對應的命令(步驟S25)，并對當前執行中的應用指示執行與該命令相應的動作(步驟S26)。
[0097]調查通過這種應用的動作執行是否需要向其他內部表轉移(步驟S27)，在不需要向其他內部表轉移時(步驟S27中“否”)，返回上述的步驟S22而成為操作等待狀態，而在需要向其他內部表轉移時(步驟S27中“是”)，在將該其他內部表指定為讀出對象(步驟S28)之后，返回上述的步驟S20，讀出該內部表的設定內容，以下反復進行上述的動作。
[0098]此外，通過解析來自文本攝像機3的攝影圖像而通過指出操作指定了紙片7上的任一個標記8時(步驟S23中“是”)，轉移至圖12的流程，通過解析攝影圖像而讀入紙片7上的條形碼信息并變換為片ID (步驟S29)。
[0099]此后，從片管理表Z讀出與當前執行中的配置文件X的內部表建立了對應的“片ID”，并使其與從紙片7讀入的片ID進行比較，調查兩者是否一致(步驟S30)。S卩，調查放置在文本攝像機3之前的紙片7是否為與當前執行中的應用畫面對應的紙片7。
[0100]此時，在檢測到兩者不一致時(步驟S30中“否”)，由于不是與當前執行中的應用畫面對應的紙片7，因此參照預先任意地設定的優先標志(省略圖示)，調查是否使從紙片7讀入的片ID比從片管理表Z讀出的片ID優先(步驟S31)。
[0101]S卩，調查是否使放置在文本攝像機3之前的紙片7比當前執行中的應用畫面優先，在設定為不優先時(步驟S30中“否”)，即，在使從片管理表Z讀出的片ID優先的情況下，在顯示了要求更換紙片7的消息(步驟S36)之后，返回圖11的步驟S22。
[0102]此外，在使從紙片7讀入的片ID優先的情況下(步驟S31中“是”)，根據該片ID來參照片管理表Z，讀出與其建立了對應的配置文件X(步驟S32)，并調查其是否與當前執行中的應用相同(步驟S33)。S卩，雖然片ID不一致，但調查應用是否相同，如果為相同的應用(步驟S33中“是”)，例如在從紙片7讀入的片ID為“ID1”、從片管理表Z讀出的片ID為“ ID2”的情況下，由于應用同為“A”，因此轉移至下一步驟S34，從其配置文件X中讀出內部表并使其布局顯示(步驟S35)。
[0103]此外，如果兩者的應用不相同(步驟S33中“否”)，則在使與從紙片7讀入的片ID對應的應用起動(步驟S34)之后，從其配置文件X中讀出內部表并布局顯示(步驟S35)。
[0104]此外，在從紙片7讀入的片ID與從片管理表Z讀出的片ID —致的情況下(步驟S30中“是”)，通過解析文本攝像機3對紙片7的攝影圖像來識別由用戶指示的紙片7上的標記8 (步驟S37),并根據該標記8來參照標記表Y(步驟S38),而讀出與該標記8對應的命令(步驟S38)，并且對當前執行中的應用指示執行與該命令相應的動作(步驟S39)。此后，轉移至圖11的步驟S27。
[0105]如以上那樣，本實施方式中，數據處理裝置I為，當在排列印刷有與當前執行中的應用能夠受理的多種指示信息(命令)對應的各標識(標記)8的紙片7上，用戶指出任意的標記8時,判別該標記8,并且根據該標記8來參照標記表Y,由此選擇與該標記8對應的命令，并使當前執行中的應用進行按照該命令的動作，因此能夠將紙片7上的各標記8的排列作為應用單位，對于用戶來說，僅通過從數量少的標記排列中指出所期望的標記8，就能夠執行分配給該標記8的動作，能夠期待操作性的進一步提高。
[0106]S卩，應用執行中(會議中)的畫面整體，如圖8所示那樣煩雜且難以看清，需要在正確的位置進行操作，對于不習慣操作的用戶，操作性較差，但由于僅通過在應用單位的紙片7上指出任意的標記8的指出操作即可，因此能夠期待操作性的提高，能夠專注于會議。[0107]CPUll根據從紙片7取得的條形碼信息(片ID)來參照片管理表Z，由此確定與該片ID對應的應用，在該應用為當前執行中的情況下，判別用戶在紙片7上指定的任意的標記8，因此能夠根據紙片7來確定應用，并且在該應用為當前執行中的情況下，能夠使使用了紙片7的標記指定有效，能夠維持紙片7與應用的對應關系。
[0108]在根據紙片7而確定的應用不為當前執行中的情況下，通過消息顯示來報知該內容，因此對于用戶來說，通過進行紙片7的更換，能夠維持紙片7與應用的對應關系。
[0109]在根據紙片7而確定的應用不為當前執行中的情況下，使該應用起動，因此對于用戶來說，不進行特別的操作就能維持紙片7與應用的對應關系。
[0110]作為輸入當前執行中的應用能夠受理的命令的機構，并不限定于利用了紙片7的命令輸入，還能夠通過利用鼠標16來指示指定顯示畫面上的圖標而輸入命令，因此對于習慣操作的用戶來說，能夠選擇輸入機構，使用性能變好。
[0111]作為輸入當前執行中的應用能夠受理的命令的機構，并不限定于利用了紙片7的命令輸入，還能夠通過鍵操作來輸入命令，因此對于習慣操作的用戶來說，能夠選擇輸入機構，使用性能變好。
[0112]標記表Y按一個應用內的每個配置文件X使該應用執行了該配置文件X時能夠受理的多種命令與表現了該各命令的多種標記8建立對應而存儲管理，因此能夠使在應用的執行時所顯示的畫面布局的構成與多種標記8建立對應。
[0113]取得在應用的執行中能夠受理的多種命令，而生成表現該各命令的標記8并存儲到標記表Y中，因此能夠進行標記表Y的自動生成。
[0114]在由文本攝像機3攝影了用戶在紙片7上指定了任意的標記8的狀態時，數據處理裝置I通過解析其攝影圖像來判別指定了哪個標記8，因此對于用戶來說，僅通過指出標記8的方向就能夠進行應用處理。
[0115]取得在應用的執行中能夠受理的多種命令，并且生成表現了各命令的多種標記8，使該多種命令與多種標記建立對應而存儲到標記表Y中，并且將生成的多種標記排列輸出，因此對于用戶來說，僅通過在自動生成的紙片7上指出任意的標記8，就能夠執行分配給該標記8的動作，能夠期待操作性的進一步提高。
[0116]在應用的執行中能夠受理的多種命令，還能夠成為分配給通過鼠標16的操作而能夠指示指定的顯示畫面上的各圖標、按鈕的命令，因此作為輸入當前執行中的應用能夠受理的命令的機構，并不限定于利用了紙片7的命令輸入，還能夠利用鼠標16進行命令輸入，對于習慣操作的用戶來說，能夠選擇輸入機構，能夠期待使用性能的進一步提高。
[0117]在應用的執行中能夠受理的多種命令，還能夠成為分配給鍵操作部15上的各鍵的命令，因此作為輸入當前執行中的應用能夠受理的命令的機構，并不限定于利用了紙片7的命令輸入，還能夠進行基于鍵操作的命令輸入，對于習慣操作的用戶來說，能夠選擇輸入機構，能夠期待使用性能的進一步提高。
[0118]按在應用執行中所顯示的多個畫面(配置文件X)的每個來取得能夠受理的多種命令，根據按多個畫面而取得的各命令來生成多種標記，按多個畫面的每個使多種命令與多種標記建立對應而存儲到標記表Y中，并且按多個畫面的每個來排列輸出生成的多種標記，因此能夠按在應用執行中所顯示的多個畫面的每個來自動生成紙片7。
[0119]另外，在上述的實施方式中，在利用紙片7而用戶進行了指出所期望的標記8的指出操作的情況下，作為其標記識別方法，如圖4所示，從各標記8中確定由于指出而紅色框具有欠缺(被手指遮斷)的部分的紅色框圖像，將該紅色框圖像識別為由用戶指出的標記8，但在存在多個一部分欠缺了的紅色框圖像那樣的情況下，也可以如下那樣從該多個紅色框圖像中選擇其中一個。
[0120]例如，如圖13所示，在紙片7上按照3行X4列而排列印刷有標記8的情況下，由于指出而成為多個標記8 (圖中被涂黑的標記部分)、即在圖示的例中從上方第二行左起第三列的標記8和第三行第三列及第四列的標記8的一部分欠缺(被手指遮斷)的狀態。
[0121]在這種情況下，也可以為，確定一部分欠缺了的多個標記8中、例如最上側的標記
8、在圖示的例中為第二行第三列的標記8，將該標記8識別為由用戶指出的標記8。另外，也可以為，根據指出的方向，將最左側的標記8或最右側的標記8識別為被指出的標記8。
[0122]在上述的實施方式中，印刷發行排列印刷有多種標記8的紙片7，但也可以在顯示部17上排列顯示多種標記8。如果如此排列顯示多種標記8，則不需要印刷裝置5。
[0123]在上述的實施方式中，由文本攝像機3攝影用戶指出紙片7上的標記8的狀態，但也可以為，設置在顯示面板上配置有觸摸面板的觸摸顯示部(省略圖示)，在使該觸摸顯示部排列顯示有多種標記8的狀態下，在用戶觸摸了任意的標記顯示位置時，識別所觸摸的標記。如果如此排列顯示多種標記8，則不需要印刷裝置5及文本攝像機等攝像裝置。
[0124]在上述的實施方式中，作為表現了命令的多種標識而表示了標記8，但不限定于標記，也可以為字符串、記號等。此外，例如也可以為，在標識的數量較少那樣的情況下，將上下左右的位置、區域作為多種標識。
[0125]此外，在上述的實施方式中，例示了適用于視頻會議系統的情況，但也可以為視頻會議以外的通信系統，并且不限定于系統，也可以為數據處理裝置單體。進一步，作為數據處理裝置，也可以為臺式、筆記本式的個人計算機、平板終端等便攜式終端裝置，還可以為智能電話等便攜式電話機、電子游戲機、音樂播放器、數碼像機。
[0126]此外，上述的實施方式中示出的“裝置”、“部”，也可以按功能分離為多個殼體，而不限定于單個殼體。此外，上述的流程圖所記述的各步驟，并不限定于時間序列的處理，也可以并列地處理或個別獨立地處理多個步驟。
[0127]以上，對本發明的實施方式進行了說明，但本發明并非限定于此，而是包括專利請求范圍所記載的發明和與其等同的范圍。
【權利要求】
1.一種數據處理裝置，具備多個應用，其特征在于，具備: 標識存儲機構，按每個應用將在該應用的執行中能夠受理的多種指示信息與表現了該各指示信息的多種標識建立對應而進行存儲管理； 判別機構，判別從排列輸出與當前執行中的應用能夠受理的多種指示信息對應的各標識的輸出介質內通過用戶操作而任意地指定的標識； 選擇機構，根據由上述判別機構判別的標識來參照上述標識存儲機構，由此選擇與該標識對應的指示信息；以及 控制機構，進行用于使當前執行中的應用進行按照由上述選擇機構選擇的指示信息的動作的控制。
2.如權利要求1所述的數據處理裝置，其特征在于， 上述標識存儲機構為，按每個應用來存儲管理將在應用的執行中能夠受理的多種指示信息與表現了該各指示信息的多種標識建立對應的信息片，并且存儲管理將上述信息片的各個與應用的各個建立對應的鏈接信息， 上述數據處理裝置進一步具備: 取得機構，從排列輸出上述多種標識并且輸出上述鏈接信息的輸出介質內取得該鏈接/[目息;以及 確定機構，根據由上述取得機構取得的鏈接信息來參照上述標識存儲機構，由此確定與該鏈接信息建立對應的應用， 上述判別機構為，在由上述確定機構確定的應用為當前執行中的情況下，判別從上述輸出介質內通過用戶操作而任意地指定的標識。
3.如權利要求2所述的數據處理裝置，其特征在于， 進一步具備報知機構，該報知機構為，在由上述確定機構確定的應用不為當前執行中的情況下，報知該內容。
4.如權利要求2所述的數據處理裝置，其特征在于， 進一步具備起動機構，該起動機構為，在由上述確定機構確定的應用不為當前執行中的情況下，使該應用起動。
5.如權利要求1所述的數據處理裝置，其特征在于， 具備指示輸入機構，該指示輸入機構為，通過指示指定在顯示畫面上顯示的圖標或按鈕，來輸入上述當前執行中的應用能夠受理的指示信息， 上述控制機構為，根據由上述指示輸入機構輸入的指示信息、由上述選擇機構選擇的指示信息的任一個，進行用于使當前執行中的應用進行按照該指示信息的動作的控制。
6.如權利要求1所述的數據處理裝置，其特征在于， 具備鍵輸入機構，該鍵輸入機構為，通過鍵操作來輸入上述當前執行中的應用能夠受理的指示信息， 上述控制 機構為，根據由上述鍵輸入機構輸入的指示信息、由上述選擇機構選擇的指示信息的任一個，進行用于使當前執行中的應用進行按照該指示信息的動作的控制。
7.如權利要求1所述的數據處理裝置，其特征在于， 上述標識存儲機構為，按一個應用內的每個配置文件，將在由該應用執行了該配置文件時能夠受理的多種指示信息與表現了該各指示信息的多種標識建立對應而進行存儲管理。
8.如權利要求1所述的數據處理裝置，其特征在于， 進一步具備標識生成機構，該標識生成機構為，取得在應用的執行中能夠受理的多種指示信息而生成表現該各指示信息的標識， 上述標識存儲機構為，將所取得的上述各指示信息與所生成的上述各標識建立對應而進行存儲管理。
9.如權利要求1所述的數據處理裝置，其特征在于， 上述判別機構為，通過解析由攝像機構攝影從排列印刷有上述各標識的紙介質或排列顯示有上述各標識的顯示介質內通過用戶操作而指定任意的標識的狀態而得到的圖像，由此判別指定了哪個標識。
10.如權利要求1所述的數據處理裝置，其特征在于， 上述判別機構為，根據通過用戶操作而在排列顯示有上述各標識的觸摸顯示部上所觸摸的位置，來判別指定了哪個標識。
11.一種數據處理裝置，具備多個應用，其特征在于，具備: 取得機構，取得在應用的執行中能夠受理的多種指示信息； 生成機構，按由上述取得機構取得的多種指示信息的每種，生成表現了各指示信息的多種標識； 標識存儲機構，將由上述取得機構取得的多種指示信息與由上述生成機構生成的多種標識建立對應而進行存儲管理；以及 輸出機構，對由上述生成機構生成的多種標識進行排列輸出。
12.如權利要求11所述的數據處理裝置，其特征在于， 在應用的執行中能夠受理的多種指示信息，是分配給能夠通過指示輸入機構進行指示指定的顯示畫面上的各圖標或各按鈕的指示信息。
13.如權利要求11所述的數據處理裝置，其特征在于， 在應用的執行中能夠受理的多種指示信息，是分配給鍵輸入機構上的各鍵的指定信肩、O
14.如權利要求11所述的數據處理裝置，其特征在于， 上述取得機構為，按在上述應用執行中所顯示的多個畫面的每個，取得能夠受理的多種指示信息， 上述生成機構為，按在上述應用執行中所顯示的多個畫面的每個，根據由上述取得機構取得的各指示信息來生成多種標識， 上述標識存儲機構為，按在上述應用執行中所顯示的多個畫面的每個，將由上述取得機構取得的多種指示信息與由上述生成機構生成的多種標識建立對應而進行存儲管理， 上述輸出機構為，按在上述應用執行中所顯示的多個畫面的每個，對由上述生成機構生成的多種標識進行排列輸出。
15.如權利要求11所述的數據處理裝置，其特征在于， 上述輸出機構為，將由上述生成機構生成的多種標識在紙介質上進行排列印刷、或在顯示介質上進行排列顯示。
16.一種數據處理方法，是具備多個應用的數據處理裝置中的方法，包括:存儲管理步驟，按每個應用將在該應用的執行中能夠受理的多種指示信息與表現了該各指示信息的多種標識建立對應而進行存儲管理； 判別步驟，判別從排列輸出與當前執行中的應用能夠受理的多種指示信息對應的各標識的輸出介質內通過用戶操作而任意地指定的標識； 選擇步驟，根據由上述判別步驟判別的標識來參照上述存儲管理步驟中的存儲內容，由此選擇與該標識對應的指示信息；以及 控制步驟，進行用于使當前執行中的應用進行按照由上述選擇步驟所選擇的指示信息的動作的控制。
17.一種數據處理方法，是具備多個應用的數據處理裝置中的方法，包括: 取得步驟，取得在應用的執行中能夠受理的多種指示信息； 生成步驟，按由上述取得步驟取得的多種指示信息的每種，生成表現了各指示信息的多種標識； 存儲管理步驟，將由上述取得步驟取得的多種指示信息與由上述生成步驟生成的多種標識建立對應而進行存儲管理；以及 排列輸出步驟，對由`上述生成步驟生成的多種標i只進行排列輸出。
【文檔編號】G06F3/01GK103631376SQ201310367570
【公開日】2014年3月12日 申請日期:2013年8月21日 優先權日:2012年8月24日
【發明者】長谷川浩一, 金村俊明 申請人:卡西歐電子工業株式會社, 卡西歐計算機株式會社