增強視頻的裝置和方法【專利摘要】一種生成在視頻圖像中捕捉的書的狀態的內部一致模型的方法，包括：獲得視頻圖像中關于書的對應的多個方面的狀態的多個證據；將質量分數與每個證據相關聯；生成書的狀態的初始模型，其中書的狀態被書的物理屬性和至少最高分數的證據約束；以及響應于其分數滿足相應的預定第一閾值的一個或多個連續的證據順序地約束模型。【專利說明】增強視頻的裝置和方法【
技術領域：
】[0001]本發明涉及一種增強視頻的裝置和方法。【
背景技術：
】[0002]已知一種增強現實系統，其使用耦接到計算機的攝像機以捕捉視頻圖像，檢測捕捉的視頻圖像的特征，然后響應于檢測到的特征，生成以某種方式增強捕捉的視頻圖像的圖形覆蓋物以便疊加在捕捉的視頻圖像上。[0003]參考圖1，在典型的增強現實應用中，在將由攝像機捕捉的場景中包括已知大小的所謂的受托標記(fiduciarymarker)800,以便提供可易于檢測的特征。[0004]受托標記通常是高對比度(例如，黑和白)且不對稱的圖案，以便即使在相對較差的圖像捕捉條件下(例如，在低分辨率圖像捕捉、和較差的光照等的情況下)提供用于圖案識別的范圍。這種識別通常提供對捕捉的視頻圖像內的受托標記的位置(X和y軸位置)和旋轉(通過標記的不對稱性)的估計。[0005]可選地，此外可以通過將捕捉的圖像中受托標記的大小與受托標記的已知大小(例如，距離I米時其像素大小)進行比較來估計受托標記到攝像機的距離(其Z軸位置)。類似地，可選地，可以通過將捕捉的圖像中受托標記的縱橫比與受托標記的已知縱橫比進行比較，和/或使用例如檢測捕捉的視頻圖像中受托標記的透視收縮(其中長方形看起來是梯形)或其他失真的其他技術估計受托標記的傾斜度(即其在z方向上對x-y平面的偏移)。[0006]生成的圖形覆蓋物通常包括可以隨后在受托標記上疊加的虛擬圖形元素，其中受托標記的估計位置、旋轉距離和傾斜度被用于將虛擬圖形元素修改為適用。[0007]然后向顯示器輸出增強的圖像。[0008]這個過程的主觀效果是輸出的視頻圖像包括代替受托標記的圖形元素(例如怪物或者城堡)，其通常復制受托標記的估計位置、旋轉、距離和傾斜度。[0009]可替換地，受托標記可以以其他方式使用。例如，圖形對象可以相對于受托標記放置而不是覆蓋其上，或者受托標記可以被用于使娛樂系統或者其他計算機識別場景的選擇對象或區域；例如，在桌子上放置受托標記可以使得娛樂系統識別出該桌子(例如，通過識別在受托標記附近發現的顏色容差內的連續顏色區域)，此后可以移除該受托標記。[0010]然而，將理解在這種增強現實系統中，使得用戶共同認為圖形覆蓋物是捕捉的場景的一部分的用戶的暫停的懷疑至少部分依賴于圖形覆蓋物與場景的某些現實世界方面匹配或交互的可靠性。這種可靠性通常依賴于對場景內受托標記的位置和朝向的估計。[0011]因此，期望減少不能可靠地進行這種估計的場合。【
發明內容】[0012]本發明試圖減輕或緩解上述問題。[0013]在第一方面中，根據權利要求1提供生成視頻圖像中捕捉的書的狀態的內部一致模型的方法。[0014]在另一方面中，根據權利要求7提供生成增強現實圖像的方法。[0015]在另一方面中，根據權利要求9提供生成視頻圖像中捕捉的書的狀態的內部一致模型的娛樂設備。[0016]在另一方面中，根據權利要求15提供增強現實系統。【專利附圖】【附圖說明】[0017]在所附權利要求中定義本發明的進一步的各個方面和特征。現在將通過參考附圖的示例描述本發明的實施例，其中:[0018]圖1是受托標記的示意圖。[0019]圖2A是根據本發明的實施例的書的示意圖。[0020]圖2B是根據本發明的實施例的增強視頻圖像的示意圖。[0021]圖3是根據本發明的實施例的娛樂設備書的示意圖。[0022]圖4是根據本發明的實施例的書的示意圖。[0023]圖5是根據本發明的實施例的估計書的翻轉頁的角度的方法的流程圖。[0024]圖6是根據本發明的實施例的書的雙頁面展開的示意圖。[0025]圖7A和B是根據本發明的買施例的書的示意圖。[0026]圖8A和B是根據本發明的實施例的書的示意圖。[0027]圖9是根據本發明的實施例的書的示意圖。[0028]圖10是根據本發明的實施例的生成書的狀態的內部一致模型的方法的流程圖。【具體實施方式】[0029]公開一種增強視頻的裝置和方法。在下面的描述中，呈現許多特定細節以便提供對本發明實施例的透徹理解。然而，將顯而易見的是對本領域技術人員不需要采用這些特定細節來實施本發明。相反地，在適當情況下為了清楚的目的省略對本領域技術人員已知的特定細節。[0030]現在參考圖2A和2B，如圖2A所示，在本發明的實施例中書1000具有多個硬質、可翻轉的頁(所謂的“硬紙板書”)，并且在每個頁面1001、1002上包括受托標記1011、1012。頁將被理解為書的單個可翻轉紙張或紙板，并通常在每一側上包括一頁面。通過示例的方式，圖2A和2B示出頁面I和2(分別被標記為1001和1002)。可選地，書的正面封面和/或背面封面的內側也可以用作頁面并包括受托標記。因此在這個示例中，頁面I實際上可以是封面的內側。類似地，可選地，正面封面和/或背面封面的外側可以包括受托標記。此夕卜，可選地，每一頁面在外側邊沿處使用高對比標記1020作為邊沿以有助于檢測頁面的范圍。[0031]耦接到攝像機的娛樂設備可以捕捉書的圖像并使用已知技術來檢測每個可見頁面上的受托標記，從而定位書的這些頁面。根據該信息，則如圖2B中所示，娛樂設備可以使用與可見頁面上的受托標記1011、1012的方位(placement)、比例和朝向對應的虛擬圖形元素1111、1112來增強捕捉的書的視頻圖像，并輸出增強的視頻圖像用于顯示。以這種方式，書的顯示版本變成頁面顯得逼真的“神奇的”立體書。[0032]將理解試圖以上述方式將視頻圖像內捕捉的書完全替換為增強的版本的AR應用可以收集關于當前視頻幀中書的許多方面的狀態的信息，以便在輸出圖像中實現書的可信替代。[0033]圖3示意性地示出適當的娛樂設備的整體系統構架，所述娛樂設備已知為可以在適當的軟件指令下實現這種AR應用的Sony?Playstation3?娛樂設備或者PS3?。如下詳述，PS3包括系統單元10，包括攝像機的各種外圍設備可連接到該系統單元10。[0034]系統單元10包括:單元處理器100;Rambus?動態隨機存取存儲器(XDRAM)單元500;具有專用視頻隨機存取存儲器(VRAM)單元250的現實合成圖形單元200；以及I/O橋700。[0035]系統單元10還包括可以通過I/O橋700接入的，用于從盤440讀取的BluRay?DiskBD-ROM?光盤讀取器430和可移除插槽式硬盤驅動器(HDD)400。可選地，系統單元還包括類似地通過I/O橋700接入的,用于讀取壓縮閃存卡、MemoryStick?存儲卡等的存儲卡讀取器450。[0036]I/O橋700還連接到四個通用串行總線(USB)2.0端口710;千兆比特以太網端口720;IEEE802.llb/g無線網絡(W1-Fi)端口730;以及可以支持多達七個藍牙連接的Bluetooth?無線鏈路端口740。[0037]在操作中，1/0橋700處理所有無線、USB和以太網數據，包括來自一個或多個游戲控制器751的數據。例如，當用戶玩游戲時，1/0橋700通過藍牙鏈路從游戲控制器751接收數據并將其引導到相應地更新游戲的當前狀態的單元處理器100。[0038]除游戲控制器751之外，無線、USB和以太網端口還提供用于其他外圍設備的連接，例如:遙控器752;鍵盤753;鼠標754;例如SonyPlaystationPortable?娛樂設備的便攜式娛樂設備755;以及麥克風耳機757。從而這種外圍設備原則上可以無線連接到系統單元10;例如便攜式娛樂設備755可以通過W1-Fi專用連接通信，而麥克風耳機757可以通過藍牙鏈路通信。[0039]具體地，這些連接使得例如EyeToy?攝像機756的攝像機(或者立體攝像機，未示出)能夠耦接到PS3，以便捕捉書的視頻圖像(或者立體視頻圖像對)。[0040]提供這些接口意味著Playstation3設備也可以潛在地兼容其他外圍設備，例如數字錄影機(DVR)、機頂盒、數字相機、便攜媒體播放器、IP語音電話、移動電話、打印機和掃描儀。[0041]此外，傳統存儲卡讀取器410可以通過USB端口710連接到系統單元，使得可以讀取Playstation?或者Playstation2?'設備使用的類型的存儲卡420。[0042]在本實施例中，游戲控制器751可操作為通過藍牙鏈路與系統單元10無線通信。然而，游戲控制器751可以替代地連接到USB端口，從而也提供對游戲控制器751的電池充電的電源。除了一個或多個模擬操縱桿和傳統控制按鈕之外，對應于每個軸中的平移和旋轉，游戲控制器對6個自由度的運動是敏感的。因此除了或替代傳統按鈕或操縱桿命令，游戲控制器的用戶的手勢和運動可以被轉換為對游戲的輸入。可選地，其他無線地使能地外圍設備，例如便攜式娛樂設備755或PlaystationMove(RTM)758，可以用作控制器。在便攜式娛樂設備的情況下，在設備的顯示屏上提供附加的游戲或控制信息(例如，控制指令或者生命數量)。在PlaystationMove的情況下,可以通過內部運動傳感器和通過PlaystationMove設備上光的視頻監視兩者來提供控制信息。也可以使用其他替代或輔助控制設備，例如跳舞毯(未示出)、光槍(未示出)、方向盤和踏板(未示出)或者定制控制器，例如用于快速響應測試游戲的單個或若干個大的按鈕(也未示出)。[0043]遙控器752也可操作為通過藍牙鏈路與系統單元10無線通信。遙控器752包括適用于BluRayDiskBD-ROM讀取器430的操作和適用于盤內容導航的控件。[0044]BluRayDiskBD-ROM讀取器430可操作為讀取除了傳統的預錄和可錄⑶之外與Playstation和Playstation〗設備兼容的⑶-ROM,和所謂的超級音頻⑶。讀取器430也可操作為讀取除了傳統的預錄和可錄DVD之外與Playstation〗和Playstation3設備兼容的DVD-ROM。讀取器430進一步可操作為讀取與Playstation3設備兼容的BD-R0M，以及傳統的預錄和可錄藍光盤。[0045]系統單元10可操作為通過音頻和視頻連接器向顯示器和聲音輸出設備300提供通過現實合成圖形單元200由Playstation3設備生成或解碼的音頻或視頻,顯示器和聲音輸出設備300是例如具有顯不器305和一個或多個揚聲器310的監視器或電視機。音頻連接器210可以包括傳統模擬和數字輸出，而視頻連接器220可以不同地包括分量視頻、S-視頻、復合視頻和一個或多個高清晰度多媒體接口(HDMI)輸出。因此，視頻輸出可以是以例如PAL或NTSC格式、或以720p、1080i或1080p高清晰度格式。[0046]由單元處理器100執行音頻處理(生成、解碼等)。Playstation3設備的操作系統支持Dolby?5.1環繞聲、Dolby?'影院環繞(DTS)，以及從Blu-Ray?盤解碼7.1環繞聲。[0047]在本實施例中，攝像機756包括單個電荷耦接器件(CXD)、LED指示器和基于硬件的實時數據壓縮和編碼裝置，使得壓縮的視頻數據可以以例如基于圖像內的MPEG(運動圖像專家組)標準的適當格式傳輸用于由系統單元10解碼。攝像機LED指示器被布置為響應于來自系統單元10的適當控制數據發光，例如以表示不良的照明條件。攝像機756的實施例通過USB、藍牙或者W1-Fi通信端口不同地連接到系統單元10。攝像機的實施例可以包括一個或多個相關聯的麥克風，并且還能夠傳輸音頻數據。在攝像機的實施例中，CCD可以具有適用于高清晰度視頻捕捉的分辨率。在攝像機的實施例中，其是立體的。在使用中，例如可以在游戲內合并被攝像機捕捉的圖像，或者將被攝像機捕捉的圖像解釋為游戲控制輸入。通常，為了通過系統單元10的通信端口中的一個與例如攝像機或遙控器的外圍設備發生成功的數據通信，應當提供適當的軟件，例如設備驅動器。設備驅動技術是公知的并且在這里不會詳細描述，除了本領域技術人員將意識到在所述本實施例中可能需要設備驅動器或類似的軟件接口。[0048]制造時提供的軟件包括系統固件和Playstation3設備的操作系統(OS)。在操作中，OS提供使得用戶能夠從各種功能中選擇的用戶界面，所述功能包括玩游戲、聽音樂、看照片或者看視頻。界面采取所謂的十字媒體條(XMB)的形式，其中功能類別水平布置。用戶通過使用游戲控制器751、遙控器752或者其他適當的控制設備在功能圖標(代表功能)間水平移動來導航，以便高亮期望的功能圖標，在該點處關于該功能的選項被顯示為以該功能圖標為中心的選項圖標的垂直可滾動列表，所述列表可以以類似方式導航。然而，如果將游戲、音頻或者電影盤440插入BD-ROM光盤讀取器430中，Playstation3設備可以自動選擇適當的選項(例如，通過開始游戲)，或者提供相關選項(例如，在播放音頻盤或將其內容壓縮到HDD400之間選擇)。[0049]此外，OS提供在線能力，包括web瀏覽器、具有在線商店的界面，從該商店可以下載附加的游戲內容、演示游戲(demo)和其他媒體，以及提供與由當前設備用戶指定的其他Playstation3設備用戶的在線通信的朋友管理能力；例如，通過依賴于可用外圍設備的文本、音頻或視頻。在線能力還提供在玩適當配置的游戲期間的在線通信，內容下載和內容購買，以及更新Playstation3設備本身的固件和OS。將理解術語“在線”并不意味著物理地存在線纜，因為該術語也可以應用于各種類型的無線連接。[0050]現在參考圖4，將理解雖然當書打開并平放時可以容易地在檢測到受托標記的狀態，但翻轉書頁的過程可能產生問題。[0051]首先，將理解當用戶翻轉硬紙板書1000的硬質頁1102時，則例如頁面I和2變得模糊而露出頁面3(未示出，但是位于與頁面2相反的頁1102的表面上)和頁面4(1004)。當完成翻轉動作并且完全露出頁面3和4時，系統以與參考圖2B對于頁面I和2先前描述的類似的方式提供頁面3和4的圖像增強。[0052]然而，出現的問題是在翻轉這些頁面的過程中，存在這樣的點，其中由于幾乎側對攝像機查看，頁面2上的受托標記1012(例如)變得十分扭曲，使得其不再可以被娛樂設備識別。在該點處，優選地使用替代技術確定書的翻轉頁的位置，使得任何依賴于其的動畫(例如示出頁面I和2之間的對象向下折或者頁面3和4之間的對象打開的立體動畫)能夠適當地連續。[0053]在通過引用合并于此的、共同未決的歐洲申請10175548.6中描述了這種技術。下面參考圖5描述該技術的簡要總結。[0054]在第一步驟SlO中，由可操作地耦接到PS3的圖像輸入(例如USB端口)的攝像機或者類似的圖像捕捉設備捕捉包括書的場景，導致包括書的圖像。如前所述，書本身包括實質上硬質的頁面。[0055]在第二步驟s20中，PS3例如使用在適當軟件指令下操作的單元處理器作為標記檢測器來試圖檢測圖像中的受托標記(即在書中可見的那些受托標記)。通常，如果在受托標記的標記中所述受托標記包括某種形式的空間分布冗余，則不需要所述受托標記的全部來識別它。[0056]在第三步驟s30中，將書的頁面上的受托標記的圖像或部分圖像與標記的參考版本進行比較以便確定朝向和比例，并且根據與頁面的已知物理關系(即其印刷位置)，這還提供對書的朝向和比例以及特別地作為書頁旋轉的起點的書脊的方位的估計。正如書的尺寸和其中標記的期望位置，單元處理器可以再次執行比較并估計書脊的方位，標記的參考版本可以存儲在RAM中、硬盤上、光盤上、或遠程存儲器中、或者其他任何適當的存儲介質及其組合中。[0057]基于旋轉的起點位置與書脊一致，在第四步驟s40中，假設書的翻轉頁的多個可能位置。具體地，根據頁的大小，則假設頁的自由邊沿的位置。因此，作為非限制性示例，可以以4度的增量生成在10到170度范圍中的頁面位置的假設。在這里單元處理器再次操作為假設裝置。[0058]為了提供比較這些假設的基礎，在第五步驟s50中處理捕捉的圖像以便生成識別出邊沿的圖像。此外可以生成指示這些邊沿的方向的數據。可以由單元處理器、現實合成圖形單元或者二者的組合執行圖像處理。[0059]在第六步驟s60中，使用若干可能的評分標準中的一個相對于包括識別的邊沿以及可選地這些邊沿的方向的圖像評估各個書的翻轉頁的假設邊沿，所述評分標準是例如生成與識別的邊沿距離假設邊沿多近成比例的分數的基于距離的標準。可以使用在適當軟件指令下操作的單元處理器再次執行該評估或比較。然而，通常不需要將每個假設邊沿與處理后的圖像的所有像素進行比較。[0060]在第七步驟s70中，翻轉頁的預測自由邊沿生成最優分數的假設被假定為對實際翻轉頁的位置的最佳匹配，其中單元處理器執行該假設的選擇。[0061]最后在第八步驟s80中，例如圖片或者多邊形對象(例如，3D虛擬對象的2D渲染)的虛擬圖形元素疊加到或另外合并到捕捉的圖像中以便在與優勝假設一致的位置和朝向上增強所述捕捉的圖像。該圖像增強通常根據來自單元處理器的指令通過結合視頻和圖形元素的現實合成圖形單元實現。虛擬圖形元素本身可以本地存儲在RAM中、硬盤上、或光盤上，或者遠程存儲，或者可以是例如樹生長過程的程序性圖形生成過程的產品。[0062]在圖5中使用虛線箭頭示出其他可能的步驟。這些步驟包括步驟sll、s22、s33,其對于立體圖像對的第二圖像重復步驟slO、s20、s30,以及步驟s88，其對于所述第二圖像中的偏移位置(移位)重復步驟s80。類似地，使用點畫箭頭的步驟sl2例如通過單元處理器提供對立體圖像對使用直接圖像比較的sll、s22、和s33的替代移位確定。在任一情況下，這使得能夠對立體顯示進行3D增強。[0063]將理解上述步驟不一定需要按上述順序實現。例如，第五步驟s50可以在第一步驟SlO之后立即發生。[0064]還將理解最初的假設集可以以非線性方式分布，其中較高密度的假設靠近翻轉頁的期望位置(例如，如根據最后N個視頻幀中的翻轉速率預測)。類似地在選擇的范圍內許多主要假設(例如根據先前的幀的先前優勝假設)可以作為較高密度的假設的中心。[0065]因此將理解在估計書的整個狀態時，AR應用可以估計一個或多個完整的或部分的受托標記的標識和位置、朝向等，并且還可以估計書的一個或多個翻轉頁的位置。在每種情況下，估計過程還可以返回提供的估計的確信度值(例如依賴于受托標記的相對角度或者完整性，或者優勝假設邊沿的分數)。[0066]除了上述估計之外，AR應用可以接收或者估計書狀態的其他指標。[0067]現在還參考圖6，為示出這一過程，示出在本發明的實施例中與這種AR應用一起使用的書的典型的雙頁面展開。如前所述，每個頁面(1001、1002等)包括至少一個實質上位于頁面中間的相應的受托標記(1011、1012)。[0068]這些頁面上的每個受托標記包括不同的相應的不對稱圖案，所述不對稱圖案首先如上所述能夠向增強現實應用指示書的比例和朝向，其次能夠指示相應的頁面(即其是書的哪一個頁面)。將理解可以使用書操作的增強現實應用將保持每個受托標記的參考或者模版備份，并且每個標記將與書的特定頁面相關聯。因此，標記的識別也識別該標記印刷或附加到的頁面。[0069]此外，在每個頁面上非字母數字圖案(1040AU040B)相比受托標記位于更靠近書的頁面的外邊沿。通常，該非字母數字圖案位于受托標記和頁面的邊沿之間，在正常使用中，頁面的邊沿距離書的用戶最遠。因此對于書的大部分典型使用該邊沿也最靠近攝像機，其中攝像機位于靠近將顯示增強的圖像的TV，并且用戶面向TV。如圖6中所示，非字母數字圖案可以類似地位于受托標記的角和由離用戶較遠的頁面邊沿和外側頁面邊沿(取決于頁面左或右外部頁面邊沿)形成的頁面的角之間。[0070]值得注意的是，非字母數字圖案可以從而形成“L”形(即在角周圍沿著書的外邊沿)。在這種情況下，從而非字母數字圖案相比受托標記位于更靠近兩個邊沿。[0071]該非字母數字圖案原則上能夠至少指示相對頁面對(例如，圖6中所示的頁面I和2)，該頁面對包括放置非字母數字圖案的相對應的頁面。因此在示出的示例中，非字母數字圖案對于頁面I和2的頁面對是唯一的。可選地，非字母數字圖案對于單個頁面是可能唯一的，但是這可能潛在地需要更復雜的圖案，因為其使得書中需要的唯一圖案的數量翻倍。[0072]因為其位置更靠近書的邊沿，給定頁面的非字母數字圖案在翻轉其上的頁面或多個頁面的過程中較早露出。這允許對頁面的適當增強，因為其在使用位于中心的受托標記識別前露出。[0073]值得注意的是，不同于受托標記，不需要非字母數字圖案來最初確定書的位置、t匕例或朝向。作為結果非字母數字圖案可以原則上在比例或者朝向方面是模糊的，因為圖案的這些方面可以參考書中的受托標記解析。[0074]替代地，非字母數字圖案依賴于參考可見受托標記的其比例和朝向的模糊性。例如，返回參考圖4，如果非字母數字圖案在頁面6的角(圖4中的參考標號1006)中露出，則可以在示出的示例中通過參考頁面I上的受托標記1011以及基于頁面邊沿1020的任何可選的書追蹤算法確定其比例和朝向。[0075]值得注意的是，因為圖6中示出的關于書脊的鏡像圖像對用戶顯得更為舒適，因此非字母數字圖案可以布置在相對的頁面上，而不影響其功能。[0076]將理解非字母數字圖案也可以關于頁面的兩個外邊沿(即頂部和頂部邊沿，因為左或右邊沿沒有對應的相對外邊沿而是在書脊處結束)之間的中心線形成鏡像。[0077]因此雙頁面展開可以具有相同的非字母數字圖案的四個副本1040A-D，每個相對另一個旋轉90度，并且具有關于書脊中點的旋轉對稱性。[0078]這意味著為了新露出的一個或多個頁面的早期指示，如果書的用戶將書上下倒置，非字母數字圖案的副本對于攝像機仍然是可見的。[0079]因此，將理解在估計書的整個狀態時，AR應用也可以估計一個或多個非字母數字圖案的全部或部分的標識。[0080]除了書頁上的標記之外，在本實施例中書具有尺寸大于書頁的封面，因此當如在圖6中從上面看時具有超出每個頁面的外邊沿的末端。[0081]封面包括沿著至少第一這種末端(1030A)的高對比度圖案。因此將理解圖案被印刷在封面內側上的封面的外邊沿處和靠近封面的外邊沿處。[0082]就非字母數字圖案來說，圖案可以關于書脊形成鏡像(因此出現在正面封面和背面封面的內側上)，并且也可以關于頁面的頂部和底部之間的中心線形成鏡像，以便形成高對比度圖案的四個副本(1030A-D)。[0083]圖案可以編碼關于書的信息(例如標題號)或者可以簡單地是隨機的。典型的高對比度圖案可以以6到20比特的順序編碼。圖案的亮和暗元素可以遵循規則的間隔方案或者具有任意間隔。[0084]此外，高對比度圖案(1035L、R)也可以沿著書的側部末端放置。這種高對比度圖案可以與上面提到的高對比度圖案相同，或者可以以不同方式編碼相同的信息，或者編碼不同的或者附加的信息，或者是隨機的。[0085]在上述情況中的任何一種下，將理解封面具有預定的厚度。因此，在本發明的實施例中，高對比度圖案遍布封面的邊沿并且跨過至少封面的厚度的預定比例，以便在相對于攝像機的非常的銳角增強其可見性。[0086]可以使用封面上的圖案通過與參考圖案進行比較來提供書的朝向的進一步估計。此外，可以使用該圖案來檢測用戶是否僅翻轉書的一頁或多頁，或者還正在翻轉正面封面或者背面封面(例如，以合上書)，因為如果用戶正在合上書，則這些圖案將僅相對于書脊旋轉。因此，當正在合上書時，這可以用于禁止通過翻轉過程露出的通用頁面表面的顯示(其可以用于填充書直到辨別出頁面為止)。[0087]因此，將理解在估計書的整個狀態時，AR應用也可以估計封面邊沿圖案的全部或部分的標識，及其相對書脊的朝向、當前旋轉等。[0088]此外，AR應用可以基于上述估計的部分或全部生成書的狀態的附加估計。例如，AR應用可以根據在當前幀中被檢測為可見的內容生成書和書頁的位置的確信度值。將理解如果正在翻轉書頁，則依賴于頁的角度以及書的朝向和角度，書的不同部分將可見。因此，如果可以檢測到書的特定特征，則這可以用于從考慮因素中排除特定角度和/或朝向。[0089]因此，例如，現在還參考圖7A和7B，示出處于關于書脊旋轉的不同階段的兩個頁面。首先選擇圖7A中的頁1102，可以看出使用書的頁面I和2(1001和1001)上的受托標記1011、1012來識別該頁面。在這個階段書的翻轉頁的角度可以根據書的捕捉的圖像中的受托標記在與PS3存儲器中保存的標記的參考模版進行比較時得到的失真來估計是可能的。[0090]然而，可替換地或此外(例如如果書在視頻圖像中相對較小，或者閃光使得難以解析頁面2上的受托標記)，可以根據上述可見性約束模型使用上述頁面翻轉估計技術，并修改所述頁面翻轉估計技術。[0091]在這種情況下，后面的頁面對的非字母數字標記1044是可檢測的，但是后面的頁面上的受托標記1014不是。對于書的當前位置和朝向，這意味著翻轉頁面可能位于關于書脊的軸的15到75度的范圍內，其中O度是水平的(與書平齊)并且90度是豎直的(與書垂直)。如果后面的頁面的非字母數字標記不是可檢測的，則翻轉頁面可能位于O到15度的范圍內。[0092]類似地，把圖7B中的頁1104作為第二個例子，可以看出可以使用書的頁面3(1003)上的受托標記1013來估計該頁的標識。在這個旋轉階段不可能能夠直接解析書的頁面4(1004)上的受托標記1014，因此系統主要依賴于圖5的上述技術來估計翻轉頁的位置。在這種情況下，后面的頁面6(1006)的非字母數字標記1046和受托標記1016都是可檢測的，并且如上所述書的頁面3上的受托標記1013也是可見的。對于書的當前位置和朝向，這意味著翻轉頁面可能位于75到105度的范圍內。[0093]將理解當頁完成翻轉的后半段時，類似地可以由可見性約束模型使用現在被頁接連覆蓋的頁面上的受托標記和非字母數字標記來估計翻轉頁的可能角度范圍，更一般地可以在任何時間使用書的任何顯著標記。[0094]現在還轉到圖8A和8B，這些示出翻轉頁的角度和書的朝向之間的相互作用。圖8A和8B也示出如先前在圖7B中示出的頁1104的翻轉中的階段。在圖7B中，注意受托標記1013和1016的可見性意味著對于圖7B中看到的書的位置和朝向，頁的角度可能位于75到105度的范圍內。然而，對于圖8A和SB中示出的位置和朝向，可以看出受托標記1013和1016的可見性意味著頁的角度可能位于40到60度的范圍內。[0095]因此當估計當前正在翻轉的頁的角度的可能范圍時，因為參考檢測到的受托標記進行計算，AR應用可以考慮書的頁面的期望外觀，以及相對攝像機書的位置和朝向。[0096]該估計的角度的可能范圍隨后可以用于以下面的方式中的一種或多種來修改圖5的頁面翻轉估計方法。[0097]首先，可以響應于可能范圍縮小實現的假設范圍。例如，不以4度步進(例如)實現10度到170度之間的假設范圍，而是以2度步進實現30到70度之間的假設范圍(例如響應于圖8A或SB中示出的視圖，指示40到60度的范圍)。其次，可替換地或此外，可以根據假設是否位于通過可見性約束模型識別的可能范圍內加權授予假設的分數。[0098]將理解在任一情況下范圍變化或者加權可以是根據書的多個方面的可見性證據的函數。[0099]更一般地，參考圖9，將理解書本身的狀態可以被評估為許多估計的來源或證據的函數，包括從由下列各項組成的非窮舉性列表中選擇的部分或者全部:[0100]-一個或多個受托標記(1013、1014、1016)的標識；[0101]-一個或多個受托標記(1013、1014、1016)的位置和朝向；[0102]-一個或多個受托標記(例如1016)的遮擋的程度(degreeofocclusion)；[0103]-一個或多個非字母數字圖案(1043、1044、1046)的標識；[0104]-翻轉頁(1004、1014、1044)的標識；[0105]-翻轉頁(1044)的角位置ΘI；[0106]-一個或多個封面邊沿圖案的角位置Θ2;以及[0107]-根據上述部分或全部的狀態的范圍的特征的可見性。[0108]為了預測當前視頻圖像中書的位置，證據的進一步來源可以是例如如在先前的N個視頻圖像幀中估計的書的狀態，以及這些狀態相對于時間的導數(例如書上的關鍵點的速度)，作為非限制性示例，其中N可以在I到10之間。[0109]如前所述，前述估計中的一些還可以具有與其相關聯的確信度值。還可以理解在不同的時間可以獲得不同的估計，并且不同的估計可以被假定為對于不同的時間段有效，或者由于矛盾或者新的證據可以被渲染為不可靠的。[0110]因此，在本發明的實施例中，為了在輸出的增強的視頻圖像中將其如實地替換為增強的版本，AR應用評估由可用證據表示的關于獲得的書的狀態的部分信息，并且與書的物理約束相結合，結合證據來估計書的當前狀態。[0111]在第一步驟中，AR應用基于評分度量來評估可用的證據。[0112]評分度量基于證據中指示的確信度和可選地證據中的固有可靠性的加權為證據分配分數。[0113]因此例如對于相同等級的確信度，受托標記的識別的分數可能高于頁面角度的估計。這是因為書中的每個受托標記被選擇為獨特的，此外表示所有可能標記的非常小的子集中的一個，因此AR應用中與參考標記的合理匹配固有地可能是標記因而該標記的頁面的至少部分可見性的確切地(positive)識別的有力證據。[0114]如前所述，同時翻轉頁的角度的確信度等級可以是指示在圖5的方法中識別的邊沿與假設的邊沿有多靠近的分數的函數，可以可選地根據與角度的期望范圍一致的假設邊沿進行進一步加權。[0115]同時受托標記的分數可以基于標記和標記的參考模型之間的匹配的精度(并且如前所述可能非常高)，而標記的朝向、旋轉和位置的確信度分數可以響應于圖像中標記的有效分辨率(例如在視頻圖像中用于表示其的像素的數量)進行加權，因為這也限制朝向和旋轉估計的有效分辨率。[0116]關于書的其他相應的方面的多個證據的分數對于本領域技術人員是顯而易見的。[0117]在第二步驟中，AR應用使用需要的具有最高分數的證據以便為書建立最小“基本姿勢”。[0118]因此，例如其可以把可見受托標記的最高評分識別作為書打開位置的證據，并將一個或多個標記(可能是同一標記)的最高評分位置、朝向等作為書的位置和朝向的指示，并且也用于書脊的軸。[0119]因此，書的狀態的模型最初由該最高評分證據約束；例如，隨后的證據需要與可見頁面和書脊的軸的存在(presence)—致。[0120]在第三步驟中，AR應用以預定的優先級順序瀏覽可用證據以便選擇可以被分類為“已驗證，，的證據。已驗證的證據是具有超過該證據類型的相應的預定閾值的確信度值(分數)的證據。[0121]已驗證的證據與由基本姿勢施加在書上的約束進行比較。[0122]因此,例如如果基本姿勢指示頁面I和4是可見的,這反過來指示包括頁面2和3的頁處于翻轉過程中。在特定角度，頁面2或者頁面3上的受托標記仍然可以可靠地識別，因此頁面及其角度可以可驗證地確認。[0123]以這種方式，可以結合書的物理約束和由前面的證據施加的約束使用關于書的狀態的附加信息，以便進一步約束書的可能狀態。通過以預定的優先級順序瀏覽證據類型，已驗證的證據以該預定的順序對書的可能狀態施加附加的限制。[0124]因此，例如，根據受托標記所有可解析頁面的已驗證的標識可以是第一優先級。這關于非字母數字圖案的證據的隨后的評估和正在翻轉哪個(如果有)未識別的書頁，以及轉到哪個角度來限制書的可能狀態。[0125]注意驗證的標準可以被限于來自當前視頻幀的證據。為了提高可用證據中的確信度，證據的某些來源可以利用歷史數據。例如，如果識別出受托標記并且其位置、朝向等與先前的視頻圖像中處于基本上相同位置、朝向等的受托標記一致，則這可以用于增加標記的標識和位置中的確信度以及其分數。然而，如果當前圖像中標記的標識不同于先前的圖像(或者先前N個圖像)中的標識，則可以實質上降低該標識的確信度。[0126]因此，對于某些證據(具體地，對于受托標記)，“已驗證”的標準將是精確度的有力指標。[0127]然而，將理解雖然已驗證的證據可能與由早先證據已經施加的約束矛盾。如果這種情況出現，則在本發明的實施例中AR應用可以繼續，但檢查有多少個已驗證的證據與模型矛盾。[0128]如果兩個或多個已驗證的證據與模型矛盾，則可選地觸發失敗模式，其中書依賴于根據先前的幀的預測來構建的書的狀態的部分或全部。[0129]同時如果僅一個已驗證的證據與由早先證據施加的約束矛盾，則可選地使用失敗模式，或者可替換地該項證據可以用于替代模型中的證據的矛盾元素，以便構建第二模型。[0130]因此，例如如果同一頁面上的已驗證的非字母數字圖案與已驗證的受托標記矛盾，則在本發明的實施例中這將初始化新的第二模型，其中支持來自非字母數字圖案的證據而拒絕受托標記，從而形成競爭模型。[0131]這是因為例如對于受托標記和非字母數字圖案已驗證的證據可能都是正確的，但是不一致是由于未能識別出具有受托標記的頁面實際上已經開始翻轉，露出下一頁面上的矛盾的非字母數字圖案。通過并行評估兩個模型，附加的證據可能可以解決該錯誤。然而，將理解如果第二模型隨后與其他已驗證的證據矛盾，這可以被視為第二模型(因而導致其創建的已驗證的證據)是錯誤的初步證據，使得能夠快速拋棄第二模型。[0132]相反地，一些類別的已驗證的證據不可以被用作進入失敗模式或者形成第二基本姿勢的基礎。通常這是固有地較不可靠或者不足以建立基本姿勢的證據。作為非限制性示例，來自封面邊沿的證據、或者來自頁面翻轉角度的證據不可以以這種方式用作基礎。[0133]因此在第三步驟結束時，在本發明的實施例中三種結果中的一種是可能的:[0134]1.在基本姿勢中定義的書的狀態進一步被一致的已驗證的證據約束(例如對于頁面位置等)；[0135]i1.書的模型與已驗證的`證據矛盾達到初始化失敗模式的程度；或[0136]ii1.書的模型與已驗證的證據矛盾，并且生成第二模型并針對已驗證的證據對第二模型進行檢查。[0137]也就是說，在本發明的變形實施例中，僅結果i是可能的(其中忽略矛盾的已驗證的證據)，而在本發明的另一變形實施例中，結果i或ii是可能的(其中不一致性檢查用于觸發失敗模式)。在本發明的另一變形實施例中，結果i或iii是可能的(其中不一致性檢查可能導致生成附加的候選模型)，而在本發明的另一變形實施例中，結果1、?或iii是可能的(其中結果ii和iii依賴于不一致性的嚴重程度)。[0138]還將理解如在生成最初的基本姿勢的第二步驟中使用的具有最高分數的證據也可能是已驗證的證據。然而，在由于某種原因系統中的證據的整個等級具有低確信度的情況下(例如，在光線差，或者書被帶離攝像機太遠，或者在很大程度上被遮擋的情況下)，則基于未驗證的證據的一項或多項的基本姿勢可以具有與其相關聯的警告標志，或者可以引起失敗模式立即初始化。[0139]在可選的第四步驟中，然后假定沒有初始化失敗模式，再次優選地以預定的優先級順序評估剩余的、未驗證的證據(即不具有該類別的證據的預定等級以上的確信度閾值的證據)。值得注意的是，未驗證的證據可能也必須滿足評估的最小確信度閾值。在該第四步驟中比較該閾值，或者如果未滿足最小閾值，則可以在證據搜集過程期間完全不輸出證據來實現該閾值。[0140]在未驗證的證據與AR應用的書的狀態的當前估計(如由該或每個當前模型定義的)一致的情況下，則未驗證的證據可以用于進一步定義書的狀態。如果未驗證的證據與AR應用的書的狀態的當前估計不一致，則在本發明的實施例中其被簡單地忽略。[0141]以這種方式，一旦書的狀態已經被驗證的證據約束，未驗證的證據就可以用于在書的狀態的估計中填補空白或者改進值，但是反之并非這樣。[0142]如果在此階段存在書的狀態的兩種估計(基于如先前描述的兩種模型)，則可以選擇與最多和最優證據(已驗證的和未驗證的)一致的模型。例如可以通過使用被認為是與競爭的書狀態中的每一種一致的證據的分數的累積總和，并選擇具有最高整體分數的模型來進行選擇。在平局事件中，則可以選擇基于最初書姿勢的書的狀態。[0143]最后，為了生成當前視頻圖像的書的增強的版本，在可選的第五步驟中AR應用可以評估書的狀態描述的哪些剩余方面未確定或者沒有縮小到足夠精確的程度。作為響應AR應用使用試探法來填補缺失信息。通常這將落入以下三種類型之一:[0144]首先，假定與當前基本姿勢一致；例如參考圖8A，可以假定在可識別的頁面4和6之間的頁面將是頁面5;這可以使得關于該頁面的打開的一些動畫的增強，例如在頁面5中的虛擬洞投影出的光線并且在可以確切地識別頁面5之前照射到頁面6上。[0145]第二，根據先前的書狀態的預測或復制。例如，在用戶的手臨時遮擋受托標記，但是書上的邊界圖案指示書沒有大幅移動并且靠近該標記未檢測到翻轉頁的情況下，則可以根據先前的狀態復制頁面的標識(如果完全沒有檢測到翻轉頁，則其當然還可以根據相對頁的標識進行估計；當存在翻轉頁時出現不確定性，因為可能無法立即知道一次翻轉了多少頁面以及可見的其他標記和遮擋的標記之間的關系)。[0146]第三，內推法或者外推法。例如，在書的邊沿不可見的情況下，可以使用書的物理模型來根據可見的證據內推或外推來填補書的缺失元素。[0147]將理解這些試探法以及例如用于驗證的閾值的方面可以由游戲設計者適當地定制，并且還可以是時間或者事件的函數。例如如果游戲設計者知道他們將要要求用戶旋轉書以便產生虛擬字符混亂，或者像魔毯一樣使書飛起來，則他們可能希望降低驗證閾值或者放寬試探標準以便當視頻幀之間存在不可預知的運動時提供較少的到失敗模式的切換(其主要基于預測)。[0148]現在轉到圖10，然后如在這里先前描述地生成在視頻圖像中捕捉的書的狀態的內部一致模型的方法包括:[0149]-在第一步驟SllO中，獲得視頻圖像中關于書的對應的多個方面的狀態的多個證據；[0150]-在第二步驟sl20中，將質量分數與每個證據相關聯；[0151]-在第三步驟sl30中，生成書的狀態的初始模型，其中書的狀態由書的物理屬性和至少最高分數的證據約束；以及[0152]-在第四步驟S140中，響應于其分數滿足相應的預定第一閾值的一個或多個連續證據而順序地約束模型。[0153]本領域技術人員將清楚的是與在這里描述和請求保護的裝置的各種實施例的操作對應的上述方法中的變化被認為是在本發明的范圍內，包括但不限于:[0154]-響應于證據類型以預定順序執行順序地約束初始模型的步驟；[0155]-響應于其分數未滿足相應的預定第一閾值的一個或多個連續的證據順序地約束模型，如果該證據或每個連續的證據與模型的當前狀態一致，[0156]-其中該證據或每個證據可能僅在其分數滿足低于第一閾值的相應的預定第二閾值時使用；[0157]-一個或多個相應的第一閾值響應于視頻游戲中的事件改變；[0158]-證據包括從由下列項組成的列表中選擇的一個或多個:[0159]-書的一個或多個受托標記的標識；[0160]-書的一個或多個受托標記的位置；[0161]-書的一個或多個受托標記的朝向；[0162]-書的一個或多個受托標記的遮擋的程度；[0163]-書的一個或多個非字母數字圖案的標識；[0164]-書的翻轉頁的標識；[0165]-書的翻轉頁的角位置ΘI;以及[0166]-書的一個或多個封面邊沿圖案的角位置Θ2;以及[0167]-更一般地，生成增強現實圖像的方法包括捕捉包括書的圖像的視頻圖像，根據在這里描述的方法中的任何一種生成視頻圖像中捕捉的書的狀態的內部一致模型，響應于生成的書的狀態的模型渲染計算機圖形書，以及使用渲染后的計算機圖形書增強捕捉的視頻圖像。[0168]例如以PS3形式的娛樂設備的對應的裝置可以類似地實現上述方法和技術中的任何一種。[0169]因此，在本發明的概括實施例中，用于生成視頻圖像中捕捉的書的狀態的內部一致模型的娛樂設備(例如PS310)包括用于接收包括書的圖像的視頻圖像的輸入(例如，USB端口710)，可以操作以便獲得視頻圖像中關于書的對應的多個方面的狀態的多個證據的圖像處理器(例如，現實合成器200、單元處理器100、或者二者的組合)，其中圖像處理器還可以將質量分數與每個證據相關聯；以及處理器(例如單元處理器100)，可以操作所述處理器以便生成書的狀態的初始模型，其中書的狀態由書的物理屬性和至少最高分數的證據約束，該處理器還可以操作為響應于其分數滿足預定第一閾值的一個或多個連續證據來順序地約束模型。[0170]如前所述，因此書的模型順序地首先被最高分數證據約束，然后被可信證據(已驗證的證據)約束，使得當書的現有模型與書的模型的當前約束一致時，隨后的證據僅用于進一步約束書的現有模型，從而基于來自視頻圖像的有力證據生成書的整體內部一致模型。[0171]在概括實施例的示例中，可以操作處理器以便響應于證據類型以預定順序順序地約束模型。[0172]在概括實施例的示例中，如果該證據或每個證據與模型的當前狀態一致，可以操作處理器以便響應于其分數未滿足相應的預定第一閾值的一個或多個連續的證據順序地約束模型。[0173]在概括實施例的示例中，一個或多個相應的第一閾值響應于由娛樂設備運行的視頻游戲中的事件改變。[0174]在概括實施例的示例中，可以操作圖像處理器以便響應于生成的書的狀態的模型渲染計算機圖形書，并且可以操作圖像處理器以便使用渲染后的計算機圖書形來增強捕捉的視頻圖像。[0175]將理解在這里描述的娛樂設備可以形成包括在操作中被布置為耦接到娛樂設備的攝像機(例如，EyeToy或PlaystationEye756)的增強現實系統的部分；以及在多個頁面上包括相應的受托標記(1011、1012、1013、1014、1015、1016)的書(1000)。[0176]如前所述，PS3在適當的軟件指令下實現上述技術和方法。因此，將理解在這里公開的方法可以在通過軟件指令或通過包括或替代專用硬件來適當地適配為適用的傳統硬件上實現。[0177]因此，對傳統等效設備的現有部分的所需適配可以以非臨時性計算機程序產品或者包括在數據載體上存儲的處理器可實現指令的制造的類似物的形式實現，所述數據載體是例如軟盤、光盤、硬盤、PROM、RAM、閃存或者這些或其他存儲介質的任意組合，或者在例如ASIC(專用集成電路)或者FPGA(現場可編程門陣列)或者適用于在適配傳統等效設備時使用的其他可配置電路的硬件中實現。另外，如果適用，計算機程序可以采用在例如以太網、無線網絡、因特網或者這些或其他網絡的任意組合的網絡上經由數據信號傳輸的形式。【權利要求】1.一種生成在視頻圖像中捕捉的書的狀態的內部一致模型的方法，所述方法包括以下步驟:獲得所述視頻圖像中關于所述書的對應的多個方面的狀態的多個證據；將質量分數與每個證據相關聯；生成所述書的狀態的初始模型，其中所述書的狀態被所述書的物理屬性和至少最高分數的證據約束；以及響應于其分數滿足相應的預定第一閾值的一個或多個連續的證據來順序地約束所述模型。2.如權利要求1所述的方法，其中響應于證據類型以預定順序執行順序地約束所述初始模型的步驟。3.如權利要求1所述的方法，包括隨后的步驟:如果所述證據或每個連續證據與所述模型的當前狀態一致，則響應于其分數未滿足相應的預定第一閾值的一個或多個連續的證據順序地約束所述模型。4.如權利要求3所述的方法，其中所述證據或每個證據僅在其分數滿足低于所述第一閾值的相應的預定第二閾值的情況下使用。5.如權利要求1所述的方法，其中一個或多個相應的第一閾值響應于視頻游戲中的事件改變。6.如權利要求1所述的方法，其中所述證據包括從由下列各項組成的列表中選擇的一個或多個:-所述書的一個或多個受托標記的標識；-所述書的一個或多個受托標記的位置；-所述書的一個或多個受托標記的朝向；-所述書的一個或多個受托標記的遮擋的程度；-所述書的一個或多個非字母數字圖案的標識；-所述書的翻轉頁的標識；-所述書的翻轉頁的角位置ΘI;以及-所述書的一個或多個封面邊沿圖案的角位置Θ2。7.—種生成增強現實圖像的方法，包括以下步驟:捕捉包括書的圖像的視頻圖像；根據任一先前的權利要求的方法生成在視頻圖像中捕捉的書的狀態的內部一致模型；響應于所述生成的書的狀態的模型渲染計算機圖形書；以及使用所述渲染后的計算機圖形書增強捕捉的視頻圖像。8.一種用于實現任一先前的方法權利要求的步驟的計算機程序。9.一種用于生成在視頻圖像中捕捉的書的狀態的內部一致模型的娛樂設備，所述設備包括:輸入，其用于接收包括所述書的圖像的視頻圖像；圖像處理器，可操作所述圖像處理器以便獲得視頻圖像中關于書的對應的多個方面的狀態的多個證據，可操作所述圖像處理器將質量分數與每個證據相關聯；處理器，可操作所述處理器以便生成所述書的狀態的初始模型，其中所述書的狀態被所述書的物理屬性和至少最高分數的證據約束，可操作所述處理器以便響應于其分數滿足相應的預定第一閾值的一個或多個連續的證據順序地約束所述模型。10.如權利要求9所述的娛樂設備，其中可操作所述處理器以便響應于證據類型以預定順序順序地約束所述模型。11.如權利要求9所述的娛樂設備，其中如果所述證據或每個連續證據與所述模型的當前狀態一致，則可操作所述處理器以便響應于其分數未滿足相應的預定第一閾值的一個或多個連續的證據順序地約束所述模型。12.如權利要求9所述的娛樂設備，其中一個或多個相應的第一閾值響應于由所述娛樂設備運行的視頻游戲中的事件改變。13.如權利要求9所述的娛樂設備，其中所述證據包括從由下列各項組成的列表中選擇的一個或多個:-所述書的一個或多個受托標記的標識；-所述書的一個或多個受托標記的位置；-所述書的一個或多個受托標記的朝向；-所述書的一個或多個受托標記的遮擋的程度；-所述書的一個或多個非字母數字圖案的標識；-所述書的翻轉頁的標識；-所述書的翻轉頁的角位置ΘI;以及-所述書的一個或多個封面邊沿圖案的角位置Θ2。14.如權利要求9所述的娛樂設備，其中:可操作所述圖像處理器以便響應于所述生成的書的狀態的模型來渲染計算機圖形書；以及可操作所述圖像處理器以便使用渲染后的計算機圖形書來增強捕捉的視頻圖像。15.一種增強現實系統，包括:如權利要求9到14中的任何一項所述的娛樂設備；在操作中被布置為耦接到所述娛樂設備的攝像機；以及在多個頁面上包括相應的受托標記的書。【文檔編號】H04N5/232GK103489158SQ201310361575【公開日】2014年1月1日申請日期:2013年6月3日優先權日:2012年6月1日【發明者】T·盧卡斯-伍德利,N·A·羅德,W·O·賽克斯,A·拜恩申請人:索尼電腦娛樂歐洲有限公司