專利名稱：顯示控制裝置、顯示控制方法和程序的制作方法
技術領域：
本公開涉及ー種顯示控制裝置、顯示控制方法和程序。
背景技術：
近年來，由于先進的圖像識別 技術，有可能識別包含在來自成像裝置的輸入圖像中的真實對象(例如，諸如廣告牌和建筑物的対象)的位置或姿態。作為該對象識別的應用例子，已知ー種增強現實(AR)應用。根據AR應用，與真實對象關聯的虛擬對象(例如廣告信息、導航信息或用于游戲的信息)可以疊加在包含在真實空間圖像中的真實對象上。例如日本專利申請2010-238098號公開了 AR應用。

發明內容
如果用戶以具有成像功能的移動終端使用AR應用，用戶可以通過瀏覽添加到真實對象的虛擬對象來獲得有用信息。然而，如果用戶瀏覽包含區域(例如與時間關聯的區域)的真實對象，沒有虛擬對象被添加到該區域，因而對用戶來說掌握要注意的區域變得困難且降低了便利性。考慮到以上內容，本公開提出一種能夠改進針對用戶的便利性的新穎且改進的顯示控制裝置、顯示控制方法和程序。根據本公開實施例，提供ー種包括顯示控制單元的顯示控制裝置，該顯示控制單元將虛擬顯示添加到包含與時間關聯的區域的真實對象。顯示控制単元可以將虛擬顯示添加到該區域。根據本公開實施例，提供ー種顯示控制方法，包括將虛擬顯示添加到包含與時間關聯的區域的真實對象的區域。根據本公開的實施例，提供ー種程序，該程序使計算機用作顯示控制裝置，該顯示控制裝置包括將虛擬顯示添加到包含與時間關聯的區域的真實對象的顯示控制単元。顯示控制單元可以將虛擬顯示添加到該區域。如上所述，根據本公開實施例中的顯示控制裝置、顯示控制方法和程序，提高了用戶的便利性。


圖I是示出根據本公開實施例的AR系統的配置的說明圖；圖2是示出移動終端的硬件配置的說明圖；圖3是示出移動終端的配置的功能框圖；圖4是示出區域信息的例子的說明圖；圖5是示出配置信息的例子的說明圖；圖6是示出識別真實對象的位置和姿態的方法的例子的說明圖；圖7是示出虛擬對象的顯示例子的說明圖8是示出虛擬對象的顯示的另一例子的說明圖；圖9是示出通過對虛擬對象的用戶操作顯示的操作屏幕的例子的說明圖；圖10是示出通過對虛擬對象的用戶操作顯示的操作屏幕的另一例子的說明圖；圖11是示出通過用戶操作顯示的操作屏幕的例子的說明圖；圖12是示出通過用戶操作顯示的操作屏幕的另ー個例子的說明圖；圖13是示出在對真實對象進行成像之前進行的操作的序列圖；以及圖14是示出對真實對象進行成像之后的操作的序列圖。
具體實施方式

下文中，將參考附圖詳細描述本公開的優選實施例。注意，在該說明書和附圖中，具有基本上相同功能和結構的結構元素標以相同的附圖標記，且省略對這些結構元素的重復說明。此外，在本說明書和附圖中，可通過在相同附圖標記之后標以不同的字母來區分具有基本上相同功能和結構的多個結構元素。然而，如果不是特別需要區分具有基本上相同功能和結構的多個結構元素中的每個，僅附以相同的附圖標記。在一個實施例中，提供ー種顯示控制裝置，包括顯示控制単元，其將虛擬顯示添加到包含與時間關聯的區域的真實對象，其中，顯示控制單元將虛擬顯示添加到區域。在另ー個實施例中，提供ー種顯示控制方法，包括將虛擬顯示添加到包含與時間關聯的區域的真實對象的區域。在另ー個實施例中，ー種程序，其使計算機用作這樣的顯示控制裝置，顯示控制裝置包括顯示控制単元，其將虛擬顯示添加到包含與時間關聯的區域的真實對象，其中，顯示控制單元將虛擬顯示添加到區域。將按照下示項目的順序來描述“具體實施方式
”I. AR系統的概覽2.實施例的描述3.總結〈I. AR系統的概覽〉首先，以下參考圖I描述根據本公開實施例的AR系統的基本配置。圖I是示出根據本公開實施例的AR系統的配置的說明圖。如圖I所示，根據本公開實施例的AR系統包含記錄裝置10和移動終端20。移動終端20捕獲真實空間圖像，并可將與真實空間圖像中包含的真實對象相對應的虛擬對象(下文中也稱為“虛擬顯示”)添加到真實對象。可以在顯示器26中顯示虛擬對象。真實對象可以是真實空間圖像或真實空間自身。如果例如真實對象是圖I所示的節目表40，則移動終端20可以通過對包含節目表40的真實空間進行成像來將與節目表40相對應的虛擬對象添加到真實對象。虛擬對象可以顯示在顯示器26中。用戶可以通過從視覺上識別這種虛擬對象來掌握從真實空間不可得的信息。移動終端20還可以根據用戶操作控制處理的執行。可以由移動終端20或從移動終端20接收命令的裝置(例如記錄裝置10)執行根據用戶操作的處理。如果例如執行指示應該預約節目的記錄的用戶操作，則移動終端20可以控制節目的記錄預約。當執行指示應預約節目的記錄的用戶操作吋，移動終端20將執行節目的記錄預約的命令發送到記錄裝置10，且接收到該命令的記錄裝置10可以執行節目的記錄預約。當例如通過記錄裝置10回放記錄的節目吋，顯示裝置50可以顯示回放的節目。順便說，對于本公開的實施例，顯示裝置50不是必需的裝置。在圖I中示出了智能電話作為移動終端20的例子，但移動終端20不限于智能電話。例如，移動終端20可以是個人數字助理(PDA)、移動電話、移動音樂播放裝置、移動視頻處理裝置或移動游戲機。此外，移動終端20僅是顯示控制裝置的例子，且顯示控制裝置可以是設置在網絡側上的服務器。在圖I中，示出節目表40作為真實對象的例子，然而真實對象不限于節目表40。例如，真實對象可以是像節目表40 —祥的包含與時間關聯的區域的表(例如日歷或日程表)。
順便說，上面的AR應用可以將虛擬對象添加到真實對象。然而，即使在真實對象中包含與時間關聯的區域，也難以將虛擬對象添加到該區域。如果虛擬對象被添加到與時間關聯的區域，會増加用戶便利性。如果例如虛擬對象被添加到節目表40的節目欄，則對用戶來說變得更加容易標識應注意的節目。因此，關注以上情況導致產生本公開的實施例。根據本公開的實施例，可以提高針對用戶的移動終端20的便利性。將參考圖2描述移動終端20的硬件配置，且然后將詳細說明本公開的實施例。(移動終端的硬件配置)圖2是示出移動終端20的硬件配置的說明圖。如圖2所示，移動終端20包括中央處理單元(CPU) 201、只讀存儲器(ROM) 202、隨機存取存儲器(RAM) 203、輸入裝置208、輸出裝置210、存儲裝置211、驅動器212、成像裝置213和通信裝置215。CPU 201用作算木處理單元和控制裝置，井根據各種程序控制移動終端20的整體操作。CPU 201還可以是微處理器。ROM 202存儲由CPU 201使用的程序和操作參數。RAM203臨時存儲CPU 201的執行使用的程序和在其執行期間適當變化的參數。這些元件通過由CPU總線等構成的主機總線互相連接。輸入裝置208包括用戶輸入信息使用的輸入單元，諸如鼠標、鍵盤、觸摸板、按鈕、麥克風、開關和控制桿，以及基于用戶輸入生成輸入信號并將輸入信號輸出到CPU 201的輸入控制電路。移動終端20的用戶可以將各種數據輸入到移動終端20，或通過操作輸入単元208指示移動終端20執行處理操作。輸出裝置210包括例如顯示裝置，諸如液晶顯示器(IXD)裝置、有機發光二極管(OLED)裝置和燈。此外，輸出裝置210包括聲音輸出裝置，諸如揚聲器和耳機。例如，顯示裝置顯示被捕獲圖像或生成的圖像。另ー方面，聲音輸出裝置將聲音數據等轉換為聲音并輸出聲音。存儲裝置211是作為根據本實施例的移動終端20的存儲單元的例子配置的用于數據存儲的裝置。存儲裝置211可以包含存儲介質、在存儲介質中記錄數據的記錄裝置、從存儲介質讀取數據的讀取裝置或刪除存儲介質中記錄的數據的刪除裝置。存儲裝置211存儲CPU 201執行的程序和各種數據。驅動器212是用于存儲介質的讀/寫器，且其從內部或外部裝附到移動終端20。驅動器212讀取存儲在諸如插入式磁盤、光盤、磁光盤和半導體存儲器的可移除存儲介質24中的信息，并將該信息輸出到RAM 203。驅動器212還可以將數據寫入可移除存儲介質24中。成像裝置213包括成像光學系統，諸如匯聚光的拍攝鏡頭、縮放鏡頭和諸如電荷耦合器件(CCD)和互補金屬氧化物半導體(CMOS)的信號轉換元件。成像光學系統匯聚從被攝對象發射的光，以在信號轉換單元中形成被攝對象圖像，且信號轉換元件將形成的被攝對象圖像轉換成電圖像信號。通信裝置215例如是要連接到網絡的通信設備等配置的網絡接ロ。通信裝置215可以是無線局域網(LAN)兼容的通信裝置，長期演進(LTE)兼容的通信裝置，或通過線路進行通信的有線通信裝置。通信裝置215可以例如經由網絡與記錄裝置10進行通信。網絡是從連接到網絡的裝置傳輸的信息的有線或無線傳輸路徑。網絡可以包括例 如公共網絡，諸如因特網、電話網絡、衛星通信網絡或各種局域網(LAN)或廣域網(WAN)(包括以太網(注冊商標))。網絡還可以包括租用線路網絡，諸如因特網協議-虛擬私人網絡(IP-VPN)。<2.實施例的描述〉在以上，已參考圖I和圖2描述了根據本公開實施例的AR系統的基本配置。以下將參考圖3至圖14詳細描述根據本公開的實施例。(移動終端的配置)圖3是示出根據本實施例的移動終端20的配置的功能框圖。如圖3所示，根據本實施例的移動終端20包括顯示器26、觸摸板27、成像裝置213、識別字典接收單元220、識別字典存儲單元222、狀態信息接收單元224和區域信息接收單元226。根據本實施例的移動終端20還包括配置信息生成単元228、配置信息存儲單元230、識別單元232、區域確定單元234、顯示控制単元236、操作檢測單元240、執行控制単元244和命令發送單元248。顯示器26是由IXD、OLED等構成的顯示模塊。顯示器26根據顯示控制單元236的控制顯示各種屏幕。例如，顯示器26可以顯示添加到真實對象的虛擬對象。如果真實對象是真實空間圖像(真實空間靜止圖像或真實空間運動圖像)，則也可以顯示真實空間圖像。真實空間圖像可以是當前成像的空間的圖像或過去成像的真實空間的圖像。圖3示出了顯示器26被實施為移動終端20的一部分的例子，然而可以與移動終端20分離地配置顯示器26。顯示器26還可以是安裝在用戶頭部的頭部安裝顯示器(HMD)。觸摸板27可以層壓在顯示器26中或設置在遠離顯示器26的地方。觸摸板27可以檢測諸如用戶手指和觸摸筆的操作體的鄰近或接觸。將觸摸板27檢測的操作體的鄰近或接觸作為用戶操作通知給操作檢測單元240。順便說，觸摸板27可以包含其它操作部件，諸如移動終端20的鍵盤和按鈕。成像裝置213包括成像光學系統和信號轉換元件，并通過對真實空間成像來獲取被捕獲圖像(運動圖像或靜止圖像)。成像裝置213可以分離地包括運動圖像捕獲部件和靜止圖像捕獲部件。識別字典接收單元220從識別字典服務器70接收用于識別真實對象的識別字典。識別字典接收單元220經由網絡從例如識別字典服務器70接收識別字典。此處使用的網絡可以是與記錄裝置10連接到的網絡相同的網絡或不同的網絡。更具體地，用于標識每個真實對象的標識信息和每個真實對象的特征量數據在識別字典中關聯。特征量數據可以是例如根據SIFT方法或隨機蕨方法(Random Ferns method)基于真實對象的學習圖像確定的一組特征量。識別字典存儲單元222存儲識別字典。識別字典存儲單元222可以存儲例如由識別字典接收單元220接收的識別字典。然而,存儲在識別字典存儲單元222中的識別字典不限于由識別字典接收單元220接收的識別字典。例如，識別字典存儲單元222可以存儲從存儲介質讀取的識別字典。狀態信息接收單元224從記錄裝置10接收狀態信息。狀態信息是指示節目的狀態的信息且由例如節目的記錄預約狀態(例如被預約、被記錄、未預約等)指示。記錄裝置10包括狀態信息存儲單元110、狀態信息發送單元120、命令接收單元130和命令執行單元140。狀態信息存儲單元110存儲狀態信息，且狀態信息發送單元120經由網絡將存儲在狀態信息存儲單元110中的狀態信息發送到移動終端20。稍后描述命令接收單元130和命令執行單元140。 區域信息接收單元226從區域信息服務器80接收區域信息。區域信息接收單元226例如經由網絡從區域信息服務器80接收區域信息。此處使用的網絡可以是與記錄裝置10連接到的網絡相同的網絡或不同的網絡。此處使用的網絡還可以是與識別字典服務器70連接到的網絡相同的網絡或不同的網絡。將參考圖4描述區域信息的例子。圖4是示出區域信息的例子的說明圖。區域信息是指示真實對象中包含的區域的位置和尺寸的信息。當例如作為參考設置了真實對象的規定點的位置時，可以通過區域的規定點的位置表示該區域的位置。在圖4所示的例子中，真實對象的左上角被設為真實對象的規定點，然而真實對象的規定點不需要是真實對象的左上角。同樣在圖4所示的例子中，區域的左上角被設為區域的規定點，然而區域的規定點不需要是區域的左上角。此外在圖4所示的例子中，真實對象的規定點的位置被表示為(O. 0)，區域的規定點的位置被表示為(XL Y1)，且區域的尺寸被表示為(W1，H1)，然而表示的形式不受具體限制。例如，這些值(X1，Y1，W1，H1)可以以絕對單位(例如與真實對象的實際尺寸相同的單位)來表示或以相對單位(例如當真實對象的水平尺寸或垂直尺寸被設為I時的相對值)來表示。配置信息生成單元228基于由狀態信息接收單元224接收的狀態信息和由區域信息接收單元226接收的區域信息生成配置信息。將參考圖5描述配置信息的例子。圖5是示出區域信息的例子的說明圖。例如，如果在由狀態信息接收單元224接收的狀態信息和由區域信息接收單元226接收的區域信息之間存在相關聯的信息，則配置信息生成単元228可以通過使關聯信息相關聯來生成配置信息。如果例如節目信息(例如節目的廣播小時和節目的頻道)被加到由狀態信息接收單元224接收的狀態信息，且節目信息被加到由區域信息接收單元226接收的區域信息，則將相同的節目信息被添加到的狀態信息和區域信息確定為相關聯，且通過使該狀態信息和區域信息相關聯來生成配置信息。如圖5所示，除了節目的廣播小時和節目的頻道之外，節目信息可以包含節目標題。除了節目信息之外，可以使用諸如G碼的標識節目的信息。將返回圖3繼續描述。配置信息存儲單元230存儲配置信息。例如，配置信息存儲單元230可以存儲由配置信息生成単元228生成的配置信息。然而，存儲在配置信息存儲單元230中的配置信息不限于由配置信息生成単元228生成的配置信息。例如，配置信息存儲單元230可以存儲從存儲介質讀取的配置信息。作為替代，配置信息存儲單元230還可以存儲從預定服務器接收的配置信息。識別單元232識別由成像裝置213捕獲的真實空間圖像中包含的真實對象，以及真實對象的真實空間圖像中的位置和姿態。例如，識別單元232通過針對識別字典存儲單元222中包含的每個真實對象的特征量檢查從真實空間圖像中確定的特征量來識別真實空間圖像中包含的真實對象。更具體地，識別單元232根據特征量確定方法(諸如SIFT方法或隨機蕨方法)確定真實空間圖像中的真實對象的特征量，并針對識別字典存儲單元222中包含的每個真實對象的特征量檢查確定的特征量。然后，識別単元232識別與真實空間圖像中的真實對象的特征量最匹配的特征量相關聯的真實對象的標識信息，以及真實空間圖像中的位置和姿態。

順便說，真實對象的識別不限于這種例子。例如，識別單元232可以通過識別諸如人工標記(例如條形碼或QR碼)的已知圖形或符號或標記或與真實對象相關聯的自然標記來間接地識別真實對象。識別單元232還可以識別諸如已知圖形或符號或人工標記或自然標記的真實對象來從真實空間圖像中真實對象的尺寸和形狀估計真實對象的位置和姿態。以上描述了通過圖像處理識別真實空間圖像中包含的真實對象的位置和姿態的例子，然而識別真實對象的位置和姿態的方法不限于圖像處理。例如，可以基于對成像裝置213所指向的方向和移動終端20的當前位置的檢測結果來估計真實空間圖像中包含的真實對象以及真實空間圖像中的真實對象的位置和姿態。可替代地，識別單元232可以根據針孔相機模型識別真實對象的位置和姿態。針孔相機模型與OpenGL的透視方法(透視圖)的投影變換相同，且由透視方法產生的觀察點模型CG可以與針孔相機模型相同。圖6是示出識別真實對象的位置和姿態的方法的例子的說明圖和示出特別地根據針孔相機模型識別真實對象的位置和姿態的方法的圖。以下將描述根據針孔相機模型識別真實對象的位置和姿態的方法。在針孔相機模型中，可以通過以下等式(I)計算圖像幀中特征點的位置[數學式I]Ani = AM_ H,(M _ Cw) ……⑴公式(I)是示出被捕獲圖像平面中包含的對象的點(m)的被捕獲圖像平面中的像素位置(即通過照相機坐標系表示的位置)和世界坐標系中的對象的三維位置(M)之間的對應關系的公式。被捕獲圖像平面中的像素位置由照相機坐標系來表示。照相機坐標系是通過將照相機(成像裝置213)的焦點設為原點C將被捕獲圖像平面表示為Xc、Yc的ニ維平面且將深度表示為Zc的坐標系，且原點C依據照相機的移動而移動。另ー方面，對象的三維位置(M)由具有原點O的三個軸XYZ形成的世界坐標系來表示，原點O不依據照相機的移動而移動。示出對象在這些不同的坐標系中的位置的對應關系的公式被限定為上面的針孔相機模型。公式中包含的每個值的含義λ :歸ー化參數
A:照相機內部參數Cw :照相機位置Rw :照相機旋轉矩陣此外，如圖6中所示，[數學式2]
權利要求
1.ー種顯示控制裝置，包括 顯示控制単元，其將虛擬顯示添加到包含與時間關聯的區域的真實對象， 其中，所述顯示控制單元將所述虛擬顯示添加到所述區域。
2.根據權利要求I所述的顯示控制裝置，其中， 所述真實對象是包含與播放小時和頻道相關聯的多個區域的節目表。
3.根據權利要求2所述的顯示控制裝置，其中， 所述顯示控制單元將根據關于節目存儲的信息的虛擬顯示添加到與所述節目相對應 的所述區域。
4.根據權利要求3所述的顯示控制裝置，其中， 當關于所述節目存儲的信息指示所述節目已被記錄時，所述顯示控制單元添加用于控制已記錄節目的回放的所述虛擬顯示。
5.根據權利要求3所述的顯示控制裝置，其中， 當關于所述節目存儲的信息指示所述節目已被記錄時，所述顯示控制單元添加用于控制已記錄節目的刪除的所述虛擬顯示。
6.根據權利要求3所述的顯示控制裝置，其中， 當關于所述節目存儲的信息指示所述節目未預約時，所述顯示控制單元添加用于控制所述節目的記錄預約的所述虛擬對象。
7.根據權利要求3所述的顯示控制裝置，其中， 當關于所述節目存儲的信息指示所述節目被預約時，所述顯示控制單元添加用于控制所述節目的取消預約的所述虛擬顯示。
8.根據權利要求I所述的顯示控制裝置，還包括 操作檢測單元，其檢測對所述虛擬顯示的用戶操作；以及 執行控制単元，其根據所述用戶操作控制處理的執行。
9.根據權利要求8所述的顯示控制裝置，其中， 所述執行控制單元還包括在由所述操作檢測單元檢測到對所述虛擬顯示的用戶操作時，控制與所述虛擬顯示相對應的處理的執行。
10.根據權利要求I所述的顯示控制裝置，還包括 識別單元，其從所述真實對象的被捕獲圖像中識別所述真實對象；以及 區域確定單元，其確定所述被捕獲圖像中的所述區域。
11.根據權利要求10所述的顯示控制裝置，其中， 所述識別単元通過針對預先設置的識別字典中包含的每個真實對象的特征量檢查從被捕獲圖像中確定的特征量來識別所述真實對象。
12.—種顯示控制方法，包括將虛擬顯示添加到包含與時間關聯的區域的真實對象的區域。
13.ー種程序，使計算機用作這樣的顯示控制裝置，所述顯示控制裝置包括 顯示控制単元，其將虛擬顯示添加到包含與時間關聯的區域的真實對象， 其中，所述顯示控制單元將所述虛擬顯示添加到所述區域。
全文摘要
提供一種顯示控制裝置、顯示控制方法和程序。該顯示控制裝置包括將虛擬顯示添加到包含與時間關聯的區域的真實對象的顯示控制單元。顯示控制單元可以將虛擬顯示添加到該區域。
文檔編號G06F3/0481GK102866825SQ201210200329
公開日2013年1月9日 申請日期2012年6月14日 優先權日2011年6月21日
發明者多井堅一郎 申請人:索尼公司