用信號表示片段的特性以用于媒體數(shù)據(jù)的網(wǎng)絡流式傳輸?shù)闹谱鞣椒?br> 【專利摘要】從服務器檢索視頻數(shù)據(jù)，在所述視頻數(shù)據(jù)的檢索期間，客戶端裝置接收指示多媒體內(nèi)容的表示的位速率的信息。另外，所述客戶端裝置接收指示所述表示的片段的優(yōu)先級值的信息。所述片段對應于所述表示的特定時間區(qū)段。所述客戶端裝置基于所述片段的所述優(yōu)先級值和所估計通過量請求所述片段中的選定者。在一些例子中，所述客戶端裝置根據(jù)例如經(jīng)由HTTP的動態(tài)自適應流式傳輸DASH等自適應流式傳輸網(wǎng)絡協(xié)議請求所述片段。
【專利說明】用信號表示片段的特性以用于媒體數(shù)據(jù)的網(wǎng)絡流式傳輸
[0001]本申請案主張2011年9月21日申請的第61 / 537，407號美國臨時專利申請案的權益，所述臨時專利申請案的全部內(nèi)容以引用的方式并入本文中。
【技術領域】
[0002]本發(fā)明涉及媒體數(shù)據(jù)的網(wǎng)絡流式傳輸。
【背景技術】
[0003]已開發(fā)出許多技術來經(jīng)由通信網(wǎng)絡流式傳輸媒體數(shù)據(jù)。這些技術包含超文本傳送協(xié)議流式傳輸(HTTP流式傳輸)，例如經(jīng)由HTTP的動態(tài)自適應流式傳輸(DASH)。在DASH中，多媒體內(nèi)容以多種不同方式編碼，從而產(chǎn)生多媒體內(nèi)容的不同表示。所述表示的每一者劃分為一系列片段。所述片段含有表示多媒體內(nèi)容的樣本的數(shù)據(jù)。舉例來說，片段的每一者可表示多媒體內(nèi)容的樣本的不同三秒序列。片段的每一者可具有不同統(tǒng)一資源定位符(URL)。
[0004]在DASH中，客戶端裝置接收描述多媒體內(nèi)容的各種表示的特性的清單文件(manifest file)。清單文件可含有指示所述表示的片段的URL的信息。為從服務器裝置流式傳輸多媒體內(nèi)容的數(shù)據(jù)，客戶端隨時間將例如GET或部分GET請求等請求發(fā)送到服務器。所述請求指定如清單文件中指示的特定表示的片段的URL。當客戶端裝置從服務器裝置接收片段時，客戶端裝置處理所述片段(例如，解碼并再現(xiàn)片段的經(jīng)譯碼視頻數(shù)據(jù))以呈現(xiàn)所述片段表示的媒體內(nèi)容的樣本。

【發(fā)明內(nèi)容】

[0005]大體來說，本發(fā)明的技術針對當將多媒體內(nèi)容的數(shù)據(jù)經(jīng)由網(wǎng)絡從服務器裝置流式傳輸?shù)娇蛻舳搜b置時提供并使用信息來改進用戶體驗。以各種位速率編碼多媒體內(nèi)容的各個表示。較高位速率表示可提供相對較高回放質(zhì)量，而較低位速率表示可提供較有效帶寬利用率。內(nèi)容準備裝置形成所述表示。另外，內(nèi)容準備裝置可產(chǎn)生信令多媒體內(nèi)容的片段的優(yōu)先級的優(yōu)先級值。在一些實例中，特定片段的優(yōu)先級值指示客戶端裝置應向相對較高還是較低位速率表示請求片段的數(shù)據(jù)。以此方式，客戶端裝置可獲得描述各個表示的優(yōu)先級的信息，且基于優(yōu)先級確定從其檢索多媒體內(nèi)容的片段的表示。
[0006]在一個實例中，本發(fā)明描述一種用于處理視頻數(shù)據(jù)的方法。所述方法包括確定所估計通過量。所述方法還包括至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上。所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段。所述方法還包括處理所述一個或一個以上選定片段。
[0007]在另一實例中，本發(fā)明描述一種包括一個或一個以上處理器的計算裝置，所述一個或一個以上處理器經(jīng)配置以確定所估計通過量。所述一個或一個以上處理器經(jīng)配置以至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上。所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段。所述一個或一個以上處理器還經(jīng)配置以處理所述一個或一個以上選定片段。
[0008]在又一實例中，本發(fā)明描述一種包括用于確定所估計通過量的裝置的計算裝置。所述計算裝置還包括用于至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上的裝置。所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段。另外，所述計算裝置還包括用于處理所述一個或一個以上選定片段的裝置。
[0009]在又一實例中，本發(fā)明描述一種上面存儲有指令的計算機可讀存儲媒體，所述指令當執(zhí)行時致使處理器確定所估計通過量。所述指令還致使處理器至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上。所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段。所述指令還致使處理器處理所述一個或一個以上選定片段。
[0010]在又一實例中，本發(fā)明描述一種用于經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議提供視頻數(shù)據(jù)的方法。所述方法包括發(fā)送指示片段的優(yōu)先級值的信息。片段的每一者可個別檢索。所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段。多媒體內(nèi)容的表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)。另外，所述方法包括響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段，所述所請求的片段是所述請求指定的片段中的片段。
[0011]在又一實例中，本發(fā)明描述一種包括一個或一個以上處理器的計算裝置，所述一個或一個以上處理器經(jīng)配置以發(fā)送指示片段的優(yōu)先級值的信息。片段的每一者可個別檢索。所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段。多媒體內(nèi)容的表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)。所述一個或一個以上處理器還經(jīng)配置以響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段。所述所請求的片段是所述請求指定的片段中的片段。
[0012]在又一實例中，本發(fā)明描述一種包括用于發(fā)送指示片段的優(yōu)先級值的信息的裝置的計算裝置。片段的每一者可個別檢索。所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段。多媒體內(nèi)容的表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)。所述計算裝置還包括用于響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段的裝置。所述所請求的片段是所述請求指定的片段中的片段。
[0013]在又一實例中，本發(fā)明描述一種上面存儲有指令的計算機可讀存儲媒體，所述指令當執(zhí)行時致使處理器發(fā)送指示片段的優(yōu)先級值的信息。片段的每一者可個別檢索。所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段。多媒體內(nèi)容的表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)。指令的執(zhí)行還致使計算裝置響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段。所述所請求的片段是所述請求指定的片段中的片段。
[0014]本發(fā)明的一個或一個以上方面的細節(jié)在附圖及以下描述中陳述。從描述和圖式并從權利要求書將明白本發(fā)明中所描述的技術的其它特征、目的和優(yōu)點。【專利附圖】

【附圖說明】
[0015]圖1是說明實例系統(tǒng)的概念圖，其中客戶端裝置經(jīng)由網(wǎng)絡與服務器裝置通信以向用戶呈現(xiàn)媒體內(nèi)容。
[0016]圖2是說明包括幀的實例視頻的概念圖。
[0017]圖3是說明服務器裝置的實例配置的框圖。
[0018]圖4是說明用以準備供檢索的媒體源的實例操作的流程圖。
[0019]圖5是說明客戶端裝置的實例配置的框圖。
[0020]圖6是說明由客戶端裝置執(zhí)行以向用戶呈現(xiàn)媒體內(nèi)容的實例操作的流程圖。
[0021]圖7是說明由客戶端裝置執(zhí)行以選擇用于即將到來的時間周期的片段組合的實例操作的流程圖。
[0022]圖8是說明由客戶端裝置執(zhí)行以選擇用于即將到來的時間周期的片段組合的實例操作的流程圖。
[0023]圖9是說明實例計算裝置的框圖。
【具體實施方式】
[0024]大體來說，本發(fā)明的技術針對當將多媒體內(nèi)容的數(shù)據(jù)經(jīng)由網(wǎng)絡流式傳輸時提供并使用信息來改進用戶體驗。內(nèi)容遞送系統(tǒng)的裝置可將多媒體內(nèi)容的各個表示組合以提供客戶端裝置的各種解碼和再現(xiàn)能力。舉例來說，內(nèi)容準備裝置可產(chǎn)生具有各種屏幕大小、二維、三維或多視圖回放、幀速率、用于屏幕上呈現(xiàn)的隱藏式字幕或其它文本的各種語言、符合各種簡檔和/或層級的各種標準的解碼器或其它特性的裝置的表示。此外，內(nèi)容準備裝置可以各種位速率編碼具有類似譯碼和再現(xiàn)特性的表示的集合，以適應網(wǎng)絡帶寬可用性方面的波動。以此方式，客戶端裝置可確定適于客戶端裝置的解碼和再現(xiàn)能力的表示的集合，確定網(wǎng)絡帶寬的可用量，且請求來自所確定集合中的表示的一者的數(shù)據(jù)。
[0025]根據(jù)本發(fā)明的技術，內(nèi)容準備裝置可以多媒體內(nèi)容的各個時間區(qū)段的優(yōu)先級值的形式向客戶端裝置提供提示信息。舉例來說，內(nèi)容準備裝置可提供每一表示的每一片段或多媒體內(nèi)容的時間區(qū)段(例如，子片段)的優(yōu)先級值。所述優(yōu)先級值可通常指示多媒體內(nèi)容的特定時間區(qū)段的較高質(zhì)量視頻數(shù)據(jù)的相對重要性。另外或作為替代，優(yōu)先級值可指示選擇來自高位速率表示的片段與來自低位速率表示的片段之間的相對量的質(zhì)量差。
[0026]客戶端裝置可經(jīng)配置以當確定所請求的用于多媒體內(nèi)容的特定時間區(qū)段的片段來自于的表示時，除確定可用帶寬的量外，還分析優(yōu)先級值。以此方式，客戶端裝置可經(jīng)配置以向用戶提供更令人滿意的用戶體驗。舉例來說，客戶端裝置可確定用于多個即將到來的片段的可用網(wǎng)絡帶寬的量。代替于向可由經(jīng)確定在即將到來的片段上可用的帶寬滿足的最高位速率表示請求數(shù)據(jù)，客戶端裝置可經(jīng)配置以向較低位速率表示請求具有相對低優(yōu)先級的片段，且向較高位速率表示請求具有相對高優(yōu)先級的片段。以此方式，客戶端裝置可針對高優(yōu)先級時間區(qū)段接收比原本會接收到的視頻數(shù)據(jù)具有相對較高質(zhì)量的視頻數(shù)據(jù)，且可針對低優(yōu)先級時間區(qū)段接收在位速率方面更有效率的數(shù)據(jù)。
[0027]【專利附圖】

【附圖說明】本發(fā)明中描述的技術的實例。附圖中由參考數(shù)字指示的元件對應于以下描述中由相同參考數(shù)字指示的元件。在附圖中，橢圓形指示存在類似于由所述橢圓形分隔的元件的一個或一個以上元件。此外，附圖中的堆疊元件指示存在一個或一個以上類似元件。類似元件的參考數(shù)字上的字母后綴不希望指示存在特定數(shù)目的元件。在本發(fā)明中，具有以序數(shù)詞(例如，“第一”、“第二”、“第三”等)開頭的名稱的元件不一定暗示所述元件具有特定次序。而是，此類序數(shù)詞僅用于指代類似元件。
[0028]圖1是說明實例系統(tǒng)100的概念圖，其中客戶端裝置102經(jīng)由網(wǎng)絡106與服務器裝置104通信，以向用戶108呈現(xiàn)媒體內(nèi)容的數(shù)據(jù)。客戶端裝置102和服務器裝置104分別包括一個或一個以上計算裝置。客戶端裝置102和服務器裝置104可包括各種類型的計算裝置。舉例來說，圖1將客戶端裝置102說明為膝上型計算機。在其它實例中，客戶端裝置102可包含桌上型計算機、平板計算機、智能電話、電視機頂盒、車載計算機、視頻游戲機、個人媒體播放器，或另一類型的計算裝置。此外，圖1的實例將服務器裝置104說明為獨立服務器裝置。在其它實例中，服務器裝置104可包括一個或一個以上刀片式服務器裝置、桌上型計算機、主計算機，和/或其它類型的計算裝置。
[0029]網(wǎng)絡106可促進客戶端裝置102與服務器裝置104之間的通信。網(wǎng)絡106可包括一組計算裝置以及所述計算裝置之間的通信鏈路。網(wǎng)絡106可包含各種類型的計算裝置。舉例來說，網(wǎng)絡106可包含路由器、橋接器、高速緩沖存儲器系統(tǒng)、內(nèi)容遞送系統(tǒng)、防火墻裝置、集線器，和其它類型的中間網(wǎng)絡裝置。在一些實例中，網(wǎng)絡106包括因特網(wǎng)。此外，在一些實例中，網(wǎng)絡106包括局域網(wǎng)。
[0030]網(wǎng)絡106可以給定帶寬在客戶端裝置102與服務器裝置104之間發(fā)射數(shù)據(jù)。舉例來說，網(wǎng)絡106可能夠以7兆位/秒(Mbps)的帶寬將數(shù)據(jù)從服務器裝置104發(fā)射到客戶端裝置102。給定帶寬可在一些情形下改變。舉例來說，如果網(wǎng)絡106歸因于高流量水平而變得擁塞，那么網(wǎng)絡106能夠將數(shù)據(jù)從服務器裝置104發(fā)射到客戶端裝置102的速率可從7Mbps下降到5Mbps。在此實例中，網(wǎng)絡106能夠將數(shù)據(jù)從服務器裝置104發(fā)射到客戶端裝置102的速率可稍后從5Mbps增加到8Mbps，等等。
[0031]用戶可出于各種目的使用客戶端裝置102。舉例來說，用戶可將客戶端裝置102用于工作、家庭用途、娛樂或其它目的。用戶可選擇在使用客戶端裝置102的同時查看多媒體內(nèi)容(通常也稱為媒體內(nèi)容)。舉例來說，用戶可與客戶端裝置102執(zhí)行的網(wǎng)絡瀏覽器應用程序或其它應用程序交互以請求查看多媒體內(nèi)容。在此實例中，多媒體內(nèi)容可由服務器裝置104存儲。作為一實例，用戶可選擇通過選擇多媒體內(nèi)容的超鏈接而查看媒體內(nèi)容。多媒體內(nèi)容可包含連續(xù)媒體。連續(xù)媒體可為具有固有時間概念的媒體。舉例來說，媒體內(nèi)容可包含視頻流、音頻流、語音流或另一類型的媒體。
[0032]媒體內(nèi)容可包括時間序列。如DASH標準中界定，時間序列可包含一個或一個以上周期。所述周期的每一者是媒體內(nèi)容的時間區(qū)段。在各個實例中，媒體內(nèi)容的時間區(qū)段具有各種時間長度。舉例來說，媒體內(nèi)容的周期可對應于10秒與60秒之間的時間長度。
[0033]服務器104可存儲所述周期的每一者的多個表示。所述表示的每一者可具有特定特性，例如適應客戶端裝置的各種譯碼和/或再現(xiàn)能力，以及在各種位速率下譯碼。服務器裝置104可存儲具有共同譯碼和再現(xiàn)特性但不同位速率的表示的集合，其中此表示的集合可形成自適應集合。自適應集合的表示可以不同位速率譯碼。舉例來說，媒體內(nèi)容的周期的第一表示可以3.0Mbps的位速率譯碼。在此實例中，所述周期的第二表示可以1.5Mbps的位速率譯碼。在此實例中，所述周期的第三表示可以500千位/秒(Kbps)的位速率譯碼。
[0034]所述表不的每一者劃分為一個或一個以上片段，表不的片段的每一者對應于所述表示的不同時間區(qū)段。在各個實例中，所述片段可對應于具有各種時間長度的時間區(qū)段。舉例來說，表示的片段的每一者可對應于具有近似2秒回放持續(xù)時間的表示的時間區(qū)段。在其它實例中，片段和周期可具有更短或更長的時間回放持續(xù)時間。
[0035]片段的每一者可包含表示媒體內(nèi)容的經(jīng)譯碼樣本的序列的數(shù)據(jù)。對應于片段的時間區(qū)段包含所述片段所表示的經(jīng)譯碼樣本的序列。舉例來說，片段的每一者可表示幀、切片、圖片群組，或視頻數(shù)據(jù)的其它經(jīng)譯碼單元的序列。在此實例中，如果視頻的幀根據(jù)從O開始的幀編號值編索引，那么視頻的第一片段可表示幀編號O到74，視頻的第二片段可表示幀編號75到149，視頻的第三片段可表示幀編號150到224，等等。在另一實例中，如果媒體內(nèi)容包含視頻流，那么片段的每一者可表示視頻樣本的序列。客戶端裝置102可使用片段中的數(shù)據(jù)回放所述片段所表示的樣本的序列。
[0036]在其中媒體內(nèi)容包含視頻數(shù)據(jù)的實例中，片段的每一者可包含在經(jīng)譯碼網(wǎng)絡抽象層(NAL)單元的序列中。NAL單元當解碼時形成視頻幀。幀的每一者可包括靜態(tài)圖像。當客戶端裝置102向用戶108呈現(xiàn)視頻時，客戶端裝置102快速連續(xù)地(例如，25幀/每秒(fps))向用戶108顯示幀。當客戶端裝置102快速連續(xù)地顯示幀時，用戶108可感知幀中的對象在運動中。在其中媒體內(nèi)容包含音頻流的實例中，媒體內(nèi)容可包含音頻樣本的序列。當客戶端裝置102呈現(xiàn)音頻流時，客戶端裝置102可將音頻樣本轉換為聲波。
[0037]根據(jù)DASH的技術，多媒體內(nèi)容的周期的片段可(但不一定)時間上對準。當片段在一周期內(nèi)時間上對準時，所述周期的表示的每一者可包含對應于周期內(nèi)的相同時間區(qū)段的片段。即，當片段時間上對準時，所述周期的每一表示的第η片段可對應于相同時間區(qū)段。不同表示的片段可時間上對準。舉例來說，媒體內(nèi)容可包含片段對準旗標，其指示對于兩個表示X和Y，X的第m片段是否可與Y的第η片段重疊，其中m不等于η。
[0038]為方便闡釋，本發(fā)明使用術語“片段群組”指代表示媒體內(nèi)容的相同時間區(qū)段的片段。對應于媒體內(nèi)容的不同時間區(qū)段的片段在不同片段群組中。即，片段群組可包含當多媒體內(nèi)容的周期的片段時間上對準時所述周期的每一表示的第η片段。
[0039]根據(jù)本發(fā)明的技術，媒體內(nèi)容的片段、片段群組或時間區(qū)段的每一者與優(yōu)先級值相關聯(lián)。服務器裝置104可向媒體內(nèi)容的片段、片段群組或時間區(qū)段指派優(yōu)先級值。服務器裝置104可提供例如清單文件、片段索引框或經(jīng)譯碼媒體流中的另一元數(shù)據(jù)框等數(shù)據(jù)結構，其包含指示片段或片段群組的優(yōu)先級值的信息。在各個實例中，片段以各種方式與優(yōu)先級值相關聯(lián)。舉例來說，可向每一表示的每一片段指派單獨優(yōu)先級值。在另一實例中，可向媒體內(nèi)容的每一片段群組或時間區(qū)段指派單獨優(yōu)先級值。在此實例中，給定片段群組中的片段的每一者(即，表示媒體內(nèi)容中的給定時間區(qū)段的片段的每一者)可與同一優(yōu)先級值相關聯(lián)。
[0040]優(yōu)先級值可通常指示在特定時間區(qū)段處檢索媒體內(nèi)容的數(shù)據(jù)的高質(zhì)量版本的相對重要性。舉例來說，高優(yōu)先級值可指示對于對應的時間區(qū)段，客戶端裝置102應試圖檢索所述時間區(qū)段的數(shù)據(jù)的相對高質(zhì)量版本(例如，來自相對高位速率表示的片段)。作為另一實例，低優(yōu)先級值可指示對于對應的時間區(qū)段，客戶端裝置102將不會由于檢索所述時間區(qū)段的數(shù)據(jù)的較低質(zhì)量但較帶寬有效版本而經(jīng)歷用戶體驗的很大降級。以此方式，優(yōu)先級值可提供在存在足夠可用帶寬以從相對較高位速率表示檢索至少一些片段但不存在足夠可用帶寬以從最高位速率表示檢索所有片段的情況下客戶端裝置102可用來選擇來自媒體內(nèi)容的表示的片段的信息。
[0041]客戶端裝置102可例如通過檢索媒體內(nèi)容的清單文件而接收指示與片段相關聯(lián)的優(yōu)先級值的信息。另外，客戶端裝置102可例如通過檢索媒體內(nèi)容的清單文件而接收指示片段的位速率的信息。隨后，客戶端裝置102可執(zhí)行在媒體內(nèi)容的每一周期內(nèi)選擇每一片段群組的片段的選擇操作。在選擇操作期間，客戶端裝置102可估計客戶端裝置102能夠接收來自服務器104的片段時所處的帶寬。此外，在選擇操作期間，客戶端裝置102可基于所估計的帶寬以及針對片段和/或片段群組相關聯(lián)的優(yōu)先級值選擇片段。在一些實例中，客戶端裝置102可基于所估計的帶寬、與片段相關聯(lián)的優(yōu)先級值以及另外回放緩沖器中視頻數(shù)據(jù)的當前回放持續(xù)時間選擇片段。舉例來說，客戶端裝置102可針對即將到來的時間周期選擇片段組合。在此實例中，片段組合可包含在即將到來的時間周期中來自每一片段群組的一個片段。在此實例中，客戶端裝置102可選擇片段組合中的片段使得選定片段的累積位速率不實質(zhì)上大于所估計帶寬。在另一實例中，客戶端裝置102可選擇片段組合中的片段使得選定片段的所估計傳送時間小于或等于選定片段的回放持續(xù)時間加上回放緩沖器中視頻數(shù)據(jù)的當前回放持續(xù)時間。在此實例中，選定片段的所估計傳送時間可基于選定片段中位的總數(shù)和所估計帶寬或其它所估計通過量。此外，在此實例中，客戶端裝置102可基于即將到來的時間周期的片段群組中片段的優(yōu)先級值選擇片段。所估計帶寬可為服務器裝置104能夠向客戶端裝置102提供數(shù)據(jù)所處的帶寬的估計值。
[0042]通過基于所估計帶寬、優(yōu)先級值以及(在一些實例中)回放緩沖器中視頻數(shù)據(jù)的當前回放持續(xù)時間來選擇片段，客戶端裝置102可能夠在給定所估計帶寬的情況下相對于簡單地僅基于與可用帶寬相比一個表示的位速率僅選擇所述一個表示，而選擇提供改進的用戶體驗的片段。如本發(fā)明中其它地方所描述，客戶端裝置102可使用優(yōu)先級值選擇片段且可以各種方式產(chǎn)生所估計帶寬。
[0043]客戶端裝置102可根據(jù)自適應流式傳輸網(wǎng)絡協(xié)議請求選定片段。自適應流式傳輸網(wǎng)絡協(xié)議可允許自適應地改變選定片段的位速率。在各個實例中，客戶端裝置102可以各種方式請求選定片段。舉例來說，客戶端裝置102可通過將片段請求消息發(fā)送到服務器裝置104而請求選定片段。片段請求消息可包括如HTTP / 1.1(RFC2616)中指定的GET或部分GET請求。客戶端裝置102可使用GET請求檢索與給定統(tǒng)一資源定位符(URL)或統(tǒng)一資源名稱(URN)相關聯(lián)的整個文件。部分GET請求可類似于GET請求，只是客戶端裝置可將字節(jié)范圍指定為到GET請求的輸入?yún)?shù)以檢索請求指定的文件的對應于部分GET請求中指定的字節(jié)范圍的文件的連續(xù)數(shù)目的字節(jié)。因此，可提供電影碎片用于網(wǎng)絡流式傳輸，因為客戶端裝置102可提交部分GET請求以檢索片段的一個或一個以上個別電影碎片。
[0044]當客戶端裝置102請求選定片段時，服務器裝置104可將選定片段的副本發(fā)送到客戶端裝置102。當客戶端裝置102接收片段的副本時，客戶端裝置102可解碼并再現(xiàn)片段的副本以產(chǎn)生片段表示的樣本。客戶端裝置102可接著輸出所述樣本。舉例來說，如果媒體內(nèi)容包含音頻流，那么客戶端裝置102可通過將樣本轉換為聲波而輸出樣本。同樣，如果媒體內(nèi)容包含視頻數(shù)據(jù)，那么客戶端裝置102可以特定幀速率輸出樣本作為經(jīng)重建圖片。以此方式，通過發(fā)送片段請求消息并處理響應于片段請求接收的片段，客戶端裝置102可從服務器裝置104檢索媒體內(nèi)容的數(shù)據(jù)。此外，通過隨時間周期性發(fā)送片段請求消息，客戶端裝置102可從服務器裝置104流式傳輸媒體內(nèi)容的數(shù)據(jù)。[0045]因此，本發(fā)明的技術可適用于例如根據(jù)經(jīng)由HTTP的動態(tài)自適應流式傳輸(DASH)的網(wǎng)絡流式傳輸協(xié)議(例如，HTTP流式傳輸)。在使用DASH流式傳輸媒體數(shù)據(jù)的實例中，可存在多媒體內(nèi)容的視頻和/或音頻數(shù)據(jù)的多個表示。此類表示的清單可在媒體呈現(xiàn)描述(MPD)數(shù)據(jù)結構中界定。媒體呈現(xiàn)可對應于HTTP流式傳輸客戶端裝置(例如，客戶端裝置102)可存取的數(shù)據(jù)的結構化集合。HTTP流式傳輸客戶端裝置可請求并下載媒體數(shù)據(jù)信息以向客戶端裝置的用戶呈現(xiàn)流式傳輸服務。媒體呈現(xiàn)可在Mro數(shù)據(jù)結構中描述，Mro數(shù)據(jù)結構可包含MPD的更新。
[0046]媒體內(nèi)容可含有一個或一個以上周期的序列。周期可由MPD中的周期元素界定。每一周期可具有MPD中的屬性開始。MPD可包含每一周期的開始屬性和可用開始時間屬性。對于實況服務，周期的開始屬性和MPD屬性可用開始時間的總和可以UTC格式指定周期的可用性時間，特定來說對應周期中的每一表示的第一媒體片段。對于按需服務，第一周期的開始屬性可為O。對于任何其它周期，開始屬性可指定對應周期的開始時間相對于第一周期的開始時間之間的時間偏移。每一周期可延長直到下一周期的開始，或在最后周期的情況下直到媒體內(nèi)容的結束。周期開始時間可為精確的。其可反映由于播放所有先前周期的媒體而產(chǎn)生的實際定時。
[0047]每一周期可含有相同媒體內(nèi)容的一個或一個以上表不。表不可為音頻或視頻數(shù)據(jù)的若干替代經(jīng)編碼版本的一者。所述表示可依據(jù)編碼類型(例如，依據(jù)位速率、分辨率，和/或針對視頻數(shù)據(jù)和位速率的編解碼器、語言，和/或針對音頻數(shù)據(jù)的編解碼器)而不同。術語表示可用于指代經(jīng)編碼音頻或視頻數(shù)據(jù)的對應于多媒體內(nèi)容的特定周期且以特定方式編碼的區(qū)段。
[0048]可向MPD中的群組屬性指示的群組指派特定周期的表示。同一群組中的表示通常視為彼此的替代。舉例來說，可向同一群組指派特定周期的視頻數(shù)據(jù)的每一表示，使得所述表示的任一者可經(jīng)選擇用于解碼以顯示對應周期的多媒體內(nèi)容的視頻數(shù)據(jù)。一個周期內(nèi)的媒體內(nèi)容可由來自群組0(如果存在)的一個表示或來自每一非零群組的至多一個表示的組合(在一些實例中)表示。周期的每一表示的定時數(shù)據(jù)可相對于周期的開始時間表達。
[0049]表不可包含一個或一個以上片段。每一表不可包含初始化片段，且表不的每一片段可自行初始化。當存在時，初始化片段可含有用于存取所述表示的初始化信息。通常來說，初始化片段不含有媒體數(shù)據(jù)。片段可由例如URL、URN或統(tǒng)一資源識別符(URI)等識別符唯一地表示。MH)可提供每一片段的識別符。在一些實例中，MH)還可以范圍屬性的形式提供字節(jié)范圍，其可對應于URL、URN或URI可存取的文件內(nèi)的片段的數(shù)據(jù)。
[0050]在H.264 / AVC(先進視頻譯碼)的實例中，經(jīng)譯碼視頻樣本組織為網(wǎng)絡抽象層(NAL)單元，其提供例如視頻電話、存儲、廣播或流式傳輸?shù)取熬W(wǎng)絡友好”視頻表示尋址應用。NAL單元可分類為視頻譯碼層(VCL) NAL單元和非VCL NAL單元。VCL單元可含有核心壓縮引擎且可包含塊、宏塊和/或切片層級數(shù)據(jù)。其它NAL單元可為非VCL NAL單元。在一些實例中，一個時間例項中的經(jīng)譯碼圖片(通常呈現(xiàn)為初級譯碼圖片)可包含在存取單元中，所述存取單元可包含一個或一個以上NAL單元。
[0051]非VCL NAL單元可包含參數(shù)集NAL單元和補充增強信息(SEI)NAL單元以及其它。參數(shù)集可含有序列層級標頭信息(在序列參數(shù)集(SPS)中)和圖片層級標頭信息(在圖片參數(shù)集(PPS)中)。在參數(shù)集(例如，PPS和SPS)的情況下，不需要針對每一序列或圖片重復不經(jīng)常改變的信息，因此可改進譯碼效率。此外，參數(shù)集的使用可實現(xiàn)重要標頭信息的頻帶外發(fā)射，從而避免需要冗余發(fā)射來實現(xiàn)錯誤恢復。在頻帶外發(fā)射實例中，參數(shù)集NAL單元可在與其它NAL單元(例如，SEI NAL單元)不同的信道上發(fā)射。
[0052]SEI NAL單元可含有SEI消息。SEI消息可包含對于解碼來自VCL NAL單元的經(jīng)譯碼圖片是不必要的但可輔助與解碼、顯示、錯誤恢復和其它目的相關的過程的信息。SEI消息可包含在非VCL NAL單元中。SEI消息是一些標準規(guī)格的規(guī)范部分，且因此對于標準兼容解碼器實施方案并非始終具有強制性。SEI消息可為序列層級SEI消息或圖片層級SEI消息。一些序列層級信息可包含在SEI消息中，例如SVC的實例中的可縮放性信息SEI消息和MVC中的視圖可縮放性信息SEI消息。這些實例SEI消息可傳遞關于例如操作點的提取和操作點的特性的信息。
[0053]每一表示可包含一個或一個以上媒體組件，其中每一媒體組件可對應于一種個別媒體類型(例如，音頻、視頻或定時文本(例如，用于隱藏式字幕))的經(jīng)編碼版本。媒體組件可跨越一個表示內(nèi)的連續(xù)媒體片段的邊界為時間連續(xù)的。
[0054]與許多視頻譯碼標準一樣，H.264 / AVC界定無錯位流的語法、語義和解碼過程，其任一者遵循特定簡檔或層級。H.264 / AVC不指定編碼器，但編碼器負責保證所產(chǎn)生的位流對于解碼器是標準兼容的。在視頻譯碼標準的上下文中，“簡檔”對應于算法、特征或工具的子集以及施加到其的約束。如H.264標準所界定，舉例來說，“簡檔”是由H.264標準指定的整個位流語法的子集。“層級”對應于解碼器資源消耗(例如，解碼器存儲器和計算)的限制，其與圖片的分辨率、位速率和塊處理速率相關。簡檔可以profilejdc (簡檔指示符)值用信號發(fā)出，而層級可以leVel_idc (層級指示符)值用信號發(fā)出。
[0055]舉例來說，H.264標準辨識在給定簡檔的語法所強加的限制內(nèi)，可能仍有可能需要編碼器和解碼器的性能的較大變化(取決于位流中的語法元素所取的值，例如經(jīng)解碼圖片的指定大小)。H.264標準進一步辨識在許多應用中，實施能夠處理特定簡檔內(nèi)的語法的所有假設用途的解碼器既不可行也不經(jīng)濟。因此，H.264標準將“層級”界定為強加于位流中的語法元素的值的約束的指定集合。這些約束可為對值的簡單限制。或者，這些約束可采取對值的算術組合的約束的形式(例如，圖片寬度乘以圖片高度乘以每秒解碼的圖片數(shù)目)。
H.264標準進一步規(guī)定，個別實施方案可支持每一所支持簡檔的不同層級。因此，可提供媒體內(nèi)容的各個表示以考慮各種裝置的解碼器所支持的視頻譯碼標準的各個簡檔和層級。
[0056]遵循簡檔的解碼器通常支持簡檔中界定的所有特征。舉例來說，作為譯碼特征，B圖片譯碼在H.264 / AVC的基線簡檔中不支持但在H.264 / AVC的其它簡檔中支持。遵循層級的解碼器應能夠解碼不需要超出層級中界定的限制的資源的任何位流。簡檔和水平的定義可有助于可解釋性。舉例來說，在視頻發(fā)射期間，可針對整個發(fā)射會話協(xié)商并約定一對簡檔和層級定義。更特定來說，在H.264 / AVC中，層級可界定例如對需要處理的宏塊(也稱為“塊”或“MB”)的數(shù)目、經(jīng)解碼圖片緩沖器(DPB)大小、經(jīng)譯碼圖片緩沖器(CPB)大小、垂直運動向量范圍、每兩個連續(xù)MB的運動向量的最大數(shù)目以及B塊是否可具有少于8x8像素的子宏塊分區(qū)的限制。以此方式，解碼器可確定解碼器是否能夠適當解碼位流，例如多媒體內(nèi)容的特定表示。
[0057]圖2是說明包括幀200A到200P(統(tǒng)稱為“幀200”)的實例視頻的概念圖。在此實例中，幀200的每一者包括靜止圖像。當客戶端裝置102連續(xù)呈現(xiàn)幀200時，用戶108可感知幀200中的對象在運動中。
[0058]幀200屬于樣本序列202A到202D(統(tǒng)稱為“樣本序列202”)。在圖2的實例中，樣本序列202的每一者說明為單獨行。樣本序列202的每一者可對應于多媒體內(nèi)容的相應時間區(qū)段。視頻的每一表示可包含表示樣本序列202A的片段、表示樣本序列202B的片段、表示樣本序列202C的片段，以及表示樣本序列202D的片段。在圖2的實例中，樣本序列202各自包含四個幀。讀者將理解，視頻的樣本序列可包含多于或少于四個幀。
[0059]視頻的不同片段可包含不同類型的場景。舉例來說，在圖2的實例中，視頻展示自行車比賽。樣本序列202A和202B包含人踩自行車的場景。樣本序列202C包含解說員坐在桌旁描述比賽的場景。樣本序列202D包含如從在比賽上空徘徊的直升飛機所見的比賽的場景。
[0060]在一些類型的場景中，每一幀與前一幀相比的變化極小。為方便闡釋，本發(fā)明可將此類場景稱為低動作場景。在其它類型的場景中，每一幀與前一幀顯著不同。為方便闡釋，本發(fā)明可將此類場景稱為高動作場景。在圖2的實例中，樣本序列202C表示含有解說員說話的相對靜止圖像的低動作場景。因此，樣本序列202C中的每一幀與前一幀相比的變化極小。相比之下，樣本序列202A和202B含有展示人踩自行車的快速運動的高動作場景。因此，樣本序列202A和202B中的每一巾貞與前一巾貞顯著不同。
[0061]片段包含使用編碼格式編碼的數(shù)據(jù)。舉例來說，如果媒體內(nèi)容為視頻，那么片段可包含使用H.264 / AVC格式、VC-2格式、MPEG-4部分2格式、H.263格式或另一視頻譯碼格式編碼的數(shù)據(jù)。在此類編碼格式中，可與在給定最大失真水平下表示低動作場景中的幀可需要的位數(shù)目相比需要更大數(shù)目的位在所述相同給定最大失真水平下表示高動作場景中的幀。換句話說，可需要較高位速率在最大失真水平下呈現(xiàn)高動作場景，而較低位速率可足以在所述相同最大失真水平下呈現(xiàn)低動作場景。舉例來說，可需要較高位速率在給定最大失真水平下表示樣本序列202A和202B中的高動作場景，而較低位速率可足以在所述給定最大失真水平下表示樣本序列202C和202D中的低動作場景。
[0062]在其中媒體內(nèi)容為音頻流的實例中，片段可表示使用MP3格式、Vorbis格式、先進音頻譯碼(AAC)、Windows媒體音頻(WMA)、數(shù)字語音標準(DSS)或另一音頻譯碼格式編碼的樣本。在此類編碼格式中，可與表示代表較少頻率的樣本的系列可需要的位數(shù)目相比需要更大數(shù)目的位來表示代表許多頻率的樣本的系列。
[0063]所估計帶寬可表示關于服務器裝置104可將多少數(shù)據(jù)傳送到客戶端裝置102的上限。因此，帶寬可能不足夠好以致能夠在不引起回放的中斷的情況下僅傳送具有最高位速率的片段。舉例來說，給定表示中的片段的每一者可對應于持續(xù)三秒的媒體內(nèi)容的時間區(qū)段，且可具有3.0Mbps的位速率。在此實例中，即將到來的時間周期可包含四個片段群組。因此，在此實例中，即將到來的時間周期持續(xù)12秒。如果所估計帶寬為1.75Mbps，那么在這12秒期間21.0兆位可傳送到客戶端裝置102。相比之下，如果傳送具有3.0Mbps位速率的四個片段，那么將傳送36.0兆位。
[0064]如上文論述，可與相同最大失真水平下的低動作場景相比需要較高位速率來表示高動作場景。因為在與即將到來的時間周期相關聯(lián)的時間期間僅可傳送有限量的數(shù)據(jù)，所以客戶端裝置102可使用所估計帶寬以及片段的優(yōu)先級值來選擇待包含在組合中的片段。所述組合可包含具有高位速率的一些片段和具有較低位速率的一些片段。客戶端裝置102可使用與片段相關聯(lián)的優(yōu)先級值選擇一組合，在所述組合中，表示高動作場景的片段具有較高位速率，且其中表示低動作場景的片段具有較低位速率。以此方式，可減小組合中的片段表示的幀的總體失真水平。
[0065]舉例來說，客戶端裝置102可選擇即將到來的時間周期的片段群組中的片段的組合使得所述組合的片段的平均位速率小于或等于所估計帶寬。在另一實例中，客戶端裝置102還至少部分基于當前在回放緩沖器中視頻數(shù)據(jù)的回放持續(xù)時間選擇片段的組合。在此實例中，客戶端裝置102可選擇即將到來的時間周期的片段群組中的片段的組合使得選定片段的所估計傳送時間小于或等于選定片段的回放持續(xù)時間加上回放緩沖器中視頻數(shù)據(jù)的回放持續(xù)時間。
[0066]在一些實例中，客戶端裝置102可響應于特定情形增加回放緩沖器的長度。舉例來說，客戶端裝置102可在視頻開始時增加回放緩沖器的長度以幫助確保當客戶端裝置102開始回放視頻時較高質(zhì)量回放。在一些此類實例中，服務器裝置104可包含位流中的數(shù)據(jù)以指示客戶端裝置102增加回放緩沖器。在視頻開始時增加緩沖器的長度可對于以高動作場景開始的視頻尤其有利。
[0067]圖3是說明服務器裝置104的實例配置的框圖。如圖3的實例中說明，服務器裝置104可包括數(shù)據(jù)存儲系統(tǒng)300、分段單元302、優(yōu)先級單元304、清單產(chǎn)生單元306和服務器應用程序308。在一些其它實例中，服務器裝置104可提供除圖3的實例中說明的系統(tǒng)以外的系統(tǒng)。在其它實例中，服務器裝置104不提供圖3的實例中說明的系統(tǒng)的每一者。舉例來說，服務器裝置104可不提供分段單元302、優(yōu)先級單元304或清單產(chǎn)生單元306，而是可改為從服務器裝置104外部的內(nèi)容準備裝置或內(nèi)容準備系統(tǒng)接收多媒體內(nèi)容的所產(chǎn)生的片段、多媒體內(nèi)容的清單文件和優(yōu)先級值。
[0068]如圖3的實例中說明，數(shù)據(jù)存儲系統(tǒng)300可存儲多個片段310和清單文件312。在一些實例中，數(shù)據(jù)存儲系統(tǒng)300可以第三代合作伙伴計劃(3GPP)文件格式存儲片段310和清單文件312。在其它實例中，數(shù)據(jù)存儲系統(tǒng)300可以其它方式存儲片段310和清單文件312。
[0069]數(shù)據(jù)存儲系統(tǒng)300可包括存儲例如片段310和清單文件312等數(shù)據(jù)的一個或一個以上計算機存儲媒體。盡管本發(fā)明可將清單文件312稱為“文件”，但一些實例不將清單文件312存儲為文件。舉例來說，在一些實例中，清單產(chǎn)生單元308動態(tài)地產(chǎn)生清單文件312的數(shù)據(jù)。在其它實例中，多媒體內(nèi)容的各個周期可與不同清單文件數(shù)據(jù)相關聯(lián)，所述不同清單文件數(shù)據(jù)可預先產(chǎn)生、動態(tài)產(chǎn)生，或以對清單文件的先前版本的相關更新的形式指示。在一些實例中，清單文件312為媒體呈現(xiàn)描述(MPD)文件。
[0070]在圖3的實例中，數(shù)據(jù)存儲系統(tǒng)300實體上位于服務器裝置104的外殼內(nèi)。在其它實例中，數(shù)據(jù)存儲系統(tǒng)300部分或完全在服務器裝置104的外殼外部。舉例來說，數(shù)據(jù)存儲系統(tǒng)300可為網(wǎng)絡附接存儲(NAS)系統(tǒng)或直接附接存儲(DAS)系統(tǒng)的一部分。
[0071]分段單元302可產(chǎn)生片段310。如本發(fā)明中其它地方詳細描述，分段單元302的各個實例可以各種方式產(chǎn)生片段310。優(yōu)先級單元304可使優(yōu)先級值與片段310相關聯(lián)。如本發(fā)明中其它地方詳細描述，優(yōu)先級單元304的各個實例可以各種方式使優(yōu)先級值與片段310相關聯(lián)。清單產(chǎn)生單元306可產(chǎn)生清單文件312。如本發(fā)明中其它地方詳細描述，清單產(chǎn)生單元306的各個實例可以各種方式產(chǎn)生清單文件312。服務器應用程序308可響應于從客戶端裝置(例如，客戶端裝置102)接收的請求。如本發(fā)明中其它地方詳細描述，服務器應用程序308的各個實例可以各種方式響應于從客戶端裝置102接收的請求。
[0072]服務器裝置104可以各種方式實施分段單元302、優(yōu)先級單元304、清單產(chǎn)生單元306和服務器應用程序308。舉例來說，服務器裝置104可當實施服務器裝置104的計算裝置的一個或一個以上處理單元執(zhí)行特定指令時實施分段單元302、優(yōu)先級單元304、清單產(chǎn)生單元306和/或服務器應用程序308。在另一實例中，實施服務器裝置104的計算裝置可包括致使服務器裝置104實施分段單元302、優(yōu)先級單元304、清單產(chǎn)生單元306和/或服務器應用程序308的一個或一個以上ASIC。
[0073]片段310的每一者可表示媒體內(nèi)容中的樣本的序列。舉例來說，媒體內(nèi)容可包含視頻數(shù)據(jù)。在此實例中，片段310的一者可表示樣本序列202A，片段310的另一者可表示樣本序列202B，等等。在另一實例中，媒體內(nèi)容可為音頻流。在此實例中，片段310的一者可表示音頻樣本的第一系列，片段310的另一者可表示音頻樣本的第二系列，等等。
[0074]片段310可屬于多個片段群組314A到314N(統(tǒng)稱為“片段群組314”)。片段群組314的一者中片段310的每一者可表示媒體內(nèi)容的相同樣本。舉例來說,如果媒體內(nèi)容是圖2的視頻，那么片段群組314A中片段310的每一者可表示樣本序列202A中的幀，片段群組314N中片段310的每一者可表示樣本序列202B中的幀，等等。
[0075]片段310可屬于多個表不316A到316N(統(tǒng)稱為“表不316”)。表不316的每一者可與不同位速率相關聯(lián)。給定表示中的片段310可以與給定表示相關聯(lián)的位速率表示媒體內(nèi)容的樣本。舉例來說，表示316A中的片段310可以3.0Mbps的位速率表示媒體內(nèi)容。在此實例中，表示316N中的片段310可以500Kbps的位速率表示媒體內(nèi)容
[0076]因為表示316的每一者可與不同位速率相關聯(lián)，所以片段群組314的每一者中的片段可具有不同位速率。舉例來說，片段群組314A中的第一片段可具有3.0兆位/秒(Mbps)的位速率，片段群組314A中的第二片段可具有1.0Mbps的位速率，片段群組314A中的第三片段可具有500千位/秒(Kbps)的位速率，等等。
[0077]片段的位速率可指示片段使用多少位表示回放時間單位期間所呈現(xiàn)的媒體內(nèi)容的時間區(qū)段。舉例來說，如果媒體內(nèi)容的表示具有25fps的幀速率，那么所述表示的片段的位速率可指示片段使用多少位表示25個幀。
[0078]如本發(fā)明中其它地方詳細描述，客戶端裝置102可從片段群組314的每一者選擇一個片段。舉例來說，第一片段群組可包含片段A、B和C ;第二片段群組可包含片段D、E和F ;且第三片段群組可包含片段G、H和I。在此實例中，客戶端裝置102可從第一片段群組選擇片段B，從第二片段群組選擇片段D，且從第三片段群組選擇片段G。
[0079]在一些實例中，清單文件312可包含表示與片段310相關聯(lián)的優(yōu)先級值的信息。如本發(fā)明中其它地方詳細描述，客戶端裝置102可接收清單文件312的副本。在一些實例中，客戶端裝置102可使用清單文件312指定的優(yōu)先級值和所估計帶寬從片段群組314的每一者選擇一個片段。
[0080]或者，表示316本身可包含表示與片段310相關聯(lián)的優(yōu)先級值的信息。舉例來說，表示的片段索引(或“SIDX”)框可除允許子片段切換的對應表示的片段的索引外還提供對應片段的優(yōu)先級值。以此方式，表示316的每一者可包含包括指示表示的片段的優(yōu)先級值的信息的片段索引框。[0081]作為又一實例，優(yōu)先級單元304可在提供對應于優(yōu)先級值的提示信息的元數(shù)據(jù)軌道中提供指示優(yōu)先級值的信息。根據(jù)ISO基礎媒體文件格式及其擴展(例如，3GPP)，元數(shù)據(jù)可構造為文件格式樣本的序列，正如視頻軌道。此軌道可稱為元數(shù)據(jù)軌道。每一元數(shù)據(jù)樣本可構造為元數(shù)據(jù)語句。可存在對應于可關于對應文件格式樣本或其組成樣本詢問的各種問題的各種語句。
[0082]圖4是說明用以準備供檢索的媒體內(nèi)容的數(shù)據(jù)的實例操作400的流程圖。在服務器裝置104開始操作400之后，服務器裝置104可接收媒體內(nèi)容的原始版本(402)。服務器裝置104可以各種方式接收媒體內(nèi)容的原始版本。舉例來說，服務器裝置104可從連接到服務器裝置104的視頻相機或麥克風作為原始音頻和/或視頻數(shù)據(jù)接收媒體內(nèi)容的原始版本。在另一實例中，個人可使用計算裝置將媒體內(nèi)容的原始版本上載到服務器裝置104。在此實例中，媒體內(nèi)容的原始版本可已以給定格式編碼。在又一實例中，媒體設計者可使用在服務器裝置104上運行的一個或一個以上軟件應用來產(chǎn)生媒體內(nèi)容的原始版本。盡管描述為由服務器裝置104執(zhí)行，但應理解，其它裝置也可經(jīng)配置以執(zhí)行圖4的方法。舉例來說，內(nèi)容準備裝置或內(nèi)容準備系統(tǒng)可經(jīng)配置以執(zhí)行大體遵循參看圖4描述的方法的方法。
[0083]在接收媒體內(nèi)容的原始版本之后，分段單元302可產(chǎn)生片段310 (404)。在各個實例中，分段單元302可以各種方式產(chǎn)生片段310。舉例來說，分段單元302可首先將媒體內(nèi)容的原始版本劃分為一個或一個以上周期。分段單元302可接著針對所述周期的每一者產(chǎn)生NAL單元的多個集合。周期的NAL單元的每一集合可對應于所述周期的不同表示。周期的NAL單元可含有表示所述周期內(nèi)的幀或其它樣本的經(jīng)編碼視頻數(shù)據(jù)。周期的NAL單元的不同集合可具有不同特性。舉例來說，NAL單元的不同集合中的視頻數(shù)據(jù)可以不同位速率譯碼。接著，對于NAL單元的每一集合，分段單元302可通過囊封含有一起表示周期中的幀或樣本的序列的視頻數(shù)據(jù)的NAL單元而產(chǎn)生片段310。以此方式，分段單元302可產(chǎn)生表示316的每一者的片段310。在其中媒體內(nèi)容的原始版本包括原始視頻或音頻數(shù)據(jù)的一些實例中，分段單元302可從原始視頻或音頻數(shù)據(jù)產(chǎn)生經(jīng)編碼視頻數(shù)據(jù)。
[0084]分段單元302可根據(jù)例如ISO基礎媒體文件格式或3GPP文件格式(其是ISO基礎媒體文件格式的擴展)等文件囊封標準產(chǎn)生片段310。ISO基礎媒體文件格式經(jīng)設計以含有定時媒體信息以供以促進媒體的交換、管理、編輯和呈現(xiàn)的靈活可擴展格式呈現(xiàn)。ISO基礎媒體文件格式(ISO / IEC14496-12:2004)在MPEG-4部分12中指定，其界定基于時間的媒體文件的一股結構。ISO基礎媒體文件格式用作系列中其它文件格式的基礎，例如支持H.264 / MPEG-4AVC視頻壓縮的所界定的AVC文件格式(ISO / IEC14496-15)、3GPP文件格式、SVC文件格式和MVC文件格式。3GPP文件格式和MVC文件格式是AVC文件格式的擴展。ISO基礎媒體文件格式含有媒體數(shù)據(jù)的定時序列(例如，視聽呈現(xiàn))的定時、結構和媒體信息。文件結構可為對象定向的。文件可非常簡單地分解為基本對象，且對象的結構可由其類型暗示。
[0085]遵循ISO基礎媒體文件格式(及其擴展)的文件可形成為一系列對象，稱為“框”。ISO基礎媒體文件格式的數(shù)據(jù)可包含在框中，使得不需要其它數(shù)據(jù)包含在文件內(nèi)，且不需要存在文件內(nèi)的框外部的數(shù)據(jù)。此包含特定文件格式需要的任何初始簽名。“框”可為由唯一類型識別符和長度界定的對象定向的構筑塊。通常，片段包含在一個文件中。電影容器(電影框)可含有文件的其它框的元數(shù)據(jù)，且視頻和音頻幀可包含在媒體數(shù)據(jù)容器、媒體碎片或其它元素中，且可提供在其它文件中。在一些實例中，片段310的一者或一者以上可包括初始化片段，其可對應于流接入點且包含表示的后續(xù)片段的初始化數(shù)據(jù)。或者，片段310可自行初始化。
[0086]分段單元302可將片段310存儲在數(shù)據(jù)存儲系統(tǒng)300中(406)。分段單元302的各個實例可以各種方式存儲片段310。舉例來說，分段單元302可將片段310存儲為單獨文件。在另一實例中，分段單元302可將片段310作為二進制大對象(BLOB)存儲在一個或一個以上關系數(shù)據(jù)庫中。
[0087]在分段單元302產(chǎn)生并存儲片段310之后，優(yōu)先級單元304可使優(yōu)先級值與片段310相關聯(lián)(408)。優(yōu)先級單元304可以各種方式使優(yōu)先級值與片段310相關聯(lián)。舉例來說，優(yōu)先級單元304可通過向片段310的每一者指派單獨優(yōu)先級值而使優(yōu)先級值與片段310相關聯(lián)。在另一實例中，優(yōu)先級單元304可通過向媒體內(nèi)容的每一片段群組指派單獨優(yōu)先級值而使優(yōu)先級值與片段310相關聯(lián)。換句話說，可向片段群組314的每一者指派單獨優(yōu)先級值。因此，在此實例中，優(yōu)先級單元304可使給定片段群組中的片段的每一者與指派到給定片段群組的優(yōu)先級值相關聯(lián)。
[0088]優(yōu)先級值可以各種方式表示。在一些實例中，優(yōu)先級單元304可將高優(yōu)先級值(即，極少或無回放質(zhì)量差異)表示為高數(shù)字且將低優(yōu)先級值(即，大質(zhì)量差異)表示為低數(shù)字。舉例來說，在這些實例的一些中，1.0為最高可能的優(yōu)先級值且0.0是最低可能的優(yōu)先級值。其它實例將高優(yōu)先級值表示為低數(shù)字且將低優(yōu)先級值表示為高數(shù)字。舉例來說，在這些實例的一些中，0.0為最高可能的優(yōu)先級值且1.0是最低可能的優(yōu)先級值。以此方式，優(yōu)先級值可描述從媒體內(nèi)容的較高位速率表示選擇特定時間區(qū)段的片段的相對重要性。
[0089]在其中優(yōu)先級單元304向片段310的每一者指派單獨優(yōu)先級值的實例中，優(yōu)先級單元304可以各種方式指派優(yōu)先級值。舉例來說，優(yōu)先級單元304可向片段310指派優(yōu)先級值使得片段的優(yōu)先級值與片段中的所計算失真的量相關。在其中媒體內(nèi)容為視頻的實例中，顏色或形狀的不準確性、塊狀假影、振鈴假影和其它不準確性構成較大量的所計算失真。在此實例中，優(yōu)先級單元304可對片段310的每一者執(zhí)行失真評估過程。當優(yōu)先級單元304對片段310的一者執(zhí)行失真評估過程時，優(yōu)先級單元304可確定片段中所計算失真的量。在此實例中，優(yōu)先級單元304可在片段具有少量所計算失真時向片段指派高優(yōu)先級值。相比之下，優(yōu)先級單元304可在片段具有較大量所計算失真時向片段指派較低優(yōu)先級值。換句話說，隨著片段中所計算失真的量增加，優(yōu)先級單元304可向片段指派逐漸變低的優(yōu)先級值。
[0090]在一些實例中，(例如，分段單元302的)視頻編碼器可向優(yōu)先級單元304提供視頻數(shù)據(jù)的幀或切片的塊的殘余值。優(yōu)先級單元304可基于片段中的圖片或切片的累積(或平均)殘余值指派優(yōu)先級值。另外，或作為替代，人類操作者可使用優(yōu)先級單元304向片段指派優(yōu)先級。在一些例子中，人類操作者可向較高動作場景指派較廣范圍的優(yōu)先級以便實現(xiàn)所要視覺質(zhì)量，同時人類操作者可能夠向較低動作場景指派較窄范圍的優(yōu)先級。在一些實例中，優(yōu)先級單元304可通過將片段的位速率除以峰值位速率而指派片段的優(yōu)先級，所述峰值位速率可由人類操作者調(diào)整。因為片段的位速率小于峰值位速率，所以片段的優(yōu)先級可有效在控制在最大值(例如，1.0)。在一些實例中，峰值位速率對于媒體數(shù)據(jù)的所有時間區(qū)段并非固定的。舉例來說，較高動作場景可具有峰值位速率的較高值，而較低動作場景可具有峰值位速率的較低值。以此方式，片段的優(yōu)先級值可由例如優(yōu)先級單元304自動或半自動指派。
[0091]下文呈現(xiàn)的表1含有指派到片段群組314中的片段310的實例優(yōu)先級值。
[0092]表1
[0093]
【權利要求】
1.一種用于處理視頻數(shù)據(jù)的方法，所述方法包括: 確定所估計通過量； 至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上，其中所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，所述片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段；以及處理所述一個或一個以上選定片段。
2.根據(jù)權利要求1所述的方法，其中所述所估計通過量是通信網(wǎng)絡的帶寬。
3.根據(jù)權利要求2所述的方法，其進一步包括根據(jù)自適應流式傳輸網(wǎng)絡協(xié)議請求所述一個或一個以上選定片段。
4.根據(jù)權利要求1所述的方法，其中所述所估計通過量是一個或一個以上處理器在即將到來的時間周期期間能夠解碼的媒體數(shù)據(jù)量的估計值。
5.根據(jù)權利要求1所述的方法，其中基于所述片段的所述優(yōu)先級值和所述所估計通過量選擇所述片段的一者或一者以上包括基于所述片段的所述優(yōu)先級值、所述所估計通過量以及額外地回放緩沖器中視頻數(shù)據(jù)的當前回放持續(xù)時間來選擇所述片段的一者或一者以上。
6.根據(jù)權利要求5所述的方法，其中所述所估計通過量是通信網(wǎng)絡的所估計帶寬，且所述一個或一個以上選定片段的所估計傳送時間小于或等于所述一個或一個以上選定片段的回放持續(xù)時間加上所述回放緩沖器中所述視頻數(shù)據(jù)的所述當前回放持續(xù)時間，所述一個或一個以上選定片段的所述所估計傳送時間至少部分基于所述所估計帶寬和所述一個或一個以上選定片段中的位的總數(shù)目。
7.根據(jù)權利要求1所述的方法，其進一步包括: 再現(xiàn)由所述一個或一個以上選定片段表示的幀序列；以及 在顯示裝置上呈現(xiàn)所述幀序列。
8.根據(jù)權利要求1所述的方法， 其中所述方法進一步包括存儲清單文件，所述清單文件指定所述片段的URL和指示所述片段的所述優(yōu)先級值的信息；以及 使用所述一個或一個以上選定片段的所述URL來請求所述一個或一個以上選定片段。
9.根據(jù)權利要求1所述的方法， 其中所述片段中對應于所述媒體內(nèi)容的不同時間區(qū)段的片段在不同片段群組中； 其中所述方法進一步包括選擇用于即將到來的時間周期的片段組合，所述片段組合包含所述片段群組的在所述即將到來的時間周期內(nèi)的每一者的一個片段；且 其中處理所述一個或一個以上選定片段包括解碼所述片段組合中的所述片段。
10.根據(jù)權利要求9所述的方法，其中選擇所述片段組合包括: 識別多個候選組合，其中對于所述候選組合的每一者，所述候選組合中的所述片段的位速率的平均值不顯著大于所述所估計通過量； 基于與所述候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值計算所述候選組合的QoS得分；以及 基于所述候選組合的所述QoS得分從所述多個候選組合中識別勝出組合。
11.根據(jù)權利要求10所述的方法，其中所述候選組合包含給定候選組合；且 其中計算所述候選組合的所述QoS得分包括通過將與所述給定候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值相加而計算所述給定候選組合的所述QoS得分。
12.根據(jù)權利要求10所述的方法， 其中所述候選組合包含給定候選組合；且 其中計算所述候選組合的所述QoS得分包括基于所述給定候選組合中的所述片段的峰值信噪比值而計算所述給定候選組合的所述QoS得分。
13.根據(jù)權利要求10所述的方法， 其中所述候選組合包含給定候選組合；且 其中計算所述候選組合的所述QoS得分包括通過計算與所述給定候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值的幾何平均數(shù)而計算所述給定候選組合的所述QoS得分。
14.根據(jù)權利要求1所述的方法，其中所述片段的所述優(yōu)先級值與所述片段中的所計算失真量相關。
15.根據(jù)權 利要求1所述的方法，其中所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
16.一種包括一個或一個以上處理器的計算裝置，所述一個或一個以上處理器經(jīng)配置以: 確定所估計通過量； 至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上，其中所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，所述片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段；以及處理所述一個或一個以上選定片段。
17.根據(jù)權利要求16所述的計算裝置，其中所述所估計通過量是通信網(wǎng)絡的帶寬。
18.根據(jù)權利要求17所述的計算裝置，其中所述一個或一個以上處理器進一步經(jīng)配置以根據(jù)自適應流式傳輸網(wǎng)絡協(xié)議請求所述一個或一個以上選定片段。
19.根據(jù)權利要求16所述的計算裝置，其中所述所估計通過量是一個或一個以上處理器在即將到來的時間周期期間能夠解碼的媒體數(shù)據(jù)量的估計值。
20.根據(jù)權利要求16所述的計算裝置，其中所述一個或一個以上處理器經(jīng)配置以基于所述片段的所述優(yōu)先級值、所述所估計通過量以及額外地回放緩沖器中視頻數(shù)據(jù)的當前回放持續(xù)時間選擇所述片段的一者或一者以上。
21.根據(jù)權利要求16所述的計算裝置，其中所述所估計通過量是通信網(wǎng)絡的所估計帶寬，且所述一個或一個以上選定片段的所估計傳送時間小于或等于所述一個或一個以上選定片段的回放持續(xù)時間加上所述回放緩沖器中所述視頻數(shù)據(jù)的所述當前回放持續(xù)時間，所述一個或一個以上選定片段的所述所估計傳送時間基于所述所估計帶寬和所述一個或一個以上選定片段中的位的總數(shù)目。
22.根據(jù)權利要求16所述的計算裝置，其中所述一個或一個以上處理器進一步經(jīng)配置以: 再現(xiàn)由所述一個或一個以上選定片段表示的幀序列；以及 在顯示裝置上呈現(xiàn)所述幀序列。
23.根據(jù)權利要求16所述的計算裝置， 其中所述計算裝置存儲清單文件，所述清單文件指定所述片段的URL和指示所述片段的所述優(yōu)先級值的信息；且 其中一個或一個以上處理器經(jīng)配置以使用所述一個或一個以上選定片段的所述URL來產(chǎn)生對于所述一個或一個以上選定片段的請求。
24.根據(jù)權利要求16所述的計算裝置， 其中所述片段中對應于所述媒體內(nèi)容的不同時間區(qū)段的片段在不同片段群組中；且 其中所述一個或一個以上處理器進一步經(jīng)配置以: 選擇用于即將到來的時間周期的片段組合，所述片段組合包含所述片段群組的在所述即將到來的時間周期內(nèi)的每一者的一個片段；且解碼所述片段組合中的所述片段。
25.根據(jù)權利要求24所述的計算裝置，其中一個或一個以上處理器經(jīng)配置以: 識別多個候選組合，其中對于所述候選組合的每一者，所述候選組合中的所述片段的位速率的平均值不顯著大于所述所估計通過量； 基于與所述候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值計算所述候選組合的QoS得分；以及 基于所述候選組合的所述QoS得分從所述多個候選組合中識別勝出組合。
26.根據(jù)權利要求25所述的計算裝置， 其中所述候選組合包含給定候選組合；且 其中所述一個或一個以上處理器經(jīng)配置以通過將與所述給定候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值相加而計算所述給定候選組合的所述QoS得分。
27.根據(jù)權利要求25所述的計算裝置， 其中所述候選組合包含給定候選組合；且 其中所述一個或一個以上處理器經(jīng)配置以基于所述給定候選組合中的所述片段的峰值信噪比值而計算所述給定候選組合的所述QoS得分。
28.根據(jù)權利要求25所述的方法， 其中所述候選組合包含給定候選組合；且 其中所述一個或一個以上處理器經(jīng)配置以通過計算與所述給定候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值的幾何平均數(shù)而計算所述給定候選組合的所述QoS得分。
29.根據(jù)權利要求16所述的計算裝置，其中所述片段的所述優(yōu)先級值與所述片段中的所計算失真量相關。
30.根據(jù)權利要求16所述的計算裝置，其中所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
31.一種計算裝置，其包括: 用于確定所估計通過量的裝置； 用于至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上的裝置，其中所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，所述片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段；以及用于處理所述一個或一個以上選定片段的裝置。
32.根據(jù)權利要求31所述的計算裝置，其中所述所估計通過量是通信網(wǎng)絡的帶寬。
33.根據(jù)權利要求31所述的計算裝置，其進一步包括用于根據(jù)自適應流式傳輸網(wǎng)絡協(xié)議請求所述一個或一個以上選定片段的裝置。
34.根據(jù)權利要求31所述的計算裝置，其中所述所估計通過量是一個或一個以上處理器在即將到來的時間周期期間能夠解碼的媒體數(shù)據(jù)量的估計值。
35.根據(jù)權利要求31所述的計算裝置， 其中所述片段中對應于所述媒體內(nèi)容的不同時間區(qū)段的片段在不同片段群組中； 其中所述計算裝置包括: 用于選擇用于即將到來的時間周期的片段組合的裝置，所述片段組合包含所述片段群組的在所述即將到來的時間周期內(nèi)的每一者的一個片段；且用于請求所述片段組合中的所述片段的裝置。
36.根據(jù)權利要求35所述的計算裝置，其包括: 用于識別多個候選組合的裝置，其中對于所述候選組合的每一者，所述候選組合中的所述片段的位速率的平均值不顯著大于所述所估計通過量； 用于基于與所述候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值計算所述候選組合的QoS得分的裝置；以及 用于基于所述候選組合的所述QoS得分從所述多個候選組合中識別勝出組合的裝置。
37.根據(jù)權利要求31所述的計算裝置，其中所述片段的所述優(yōu)先級值與所述片段中的所計算失真量相關。
38.根據(jù)權利要求31所述的計算裝置，其中所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
39.一種上面存儲有指令的計算機可讀存儲媒體，所述指令當被執(zhí)行時致使處理器: 確定所估計通過量； 至少部分基于所述所估計通過量以及多媒體內(nèi)容的表示的片段的優(yōu)先級值選擇所述片段的一者或一者以上，其中所述表示包含以不同位速率編碼的視頻數(shù)據(jù)，所述片段的每一者可個別檢索，且所述片段對應于所述表示的特定時間區(qū)段；以及處理所述一個或一個以上選定片段。
40.根據(jù)權利要求39所述的計算機可讀存儲媒體，其中所述所估計通過量是通信網(wǎng)絡的帶寬。
41.根據(jù)權利要求40所述的計算機可讀存儲媒體，其進一步包括根據(jù)自適應流式傳輸網(wǎng)絡協(xié)議請求所述一個或一個以上選定片段。
42.根據(jù)權利要求39所述的計算機可讀存儲媒體，其中所述所估計通過量是一個或一個以上處理器在即將到來的時間周期期間能夠解碼的媒體數(shù)據(jù)量的估計值。
43.根據(jù)權利要求39所述的計算機可讀存儲媒體， 其中所述片段中對應于 所述媒體內(nèi)容的不同時間區(qū)段的片段在不同片段群組中；且 其中所述指令的執(zhí)行進一步致使所述計算裝置: 選擇用于即將到來的時間周期的片段組合，所述片段組合包含所述片段群組的在所述即將到來的時間周期內(nèi)的每一者的一個片段；且請求所述片段組合中的所述片段。
44.根據(jù)權利要求39所述的計算機可讀存儲媒體，其中所述指令的執(zhí)行致使所述計算裝置: 識別多個候選組合，其中對于所述候選組合的每一者，所述候選組合中的所述片段的位速率的平均值不顯著大于所述所估計通過量； 基于與所述候選組合中的所述片段相關聯(lián)的所述優(yōu)先級值計算所述候選組合的QoS得分；以及 基于所述候選組合的所述QoS得分從所述多個候選組合中識別勝出組合。
45.根據(jù)權利要求39所述的計算機可讀存儲媒體，其中所述片段的所述優(yōu)先級值與所述片段中的所計算失真量相關。
46.根據(jù)權利要求39所述的計算機可讀存儲媒體，其中所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
47.一種用于經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議提供視頻數(shù)據(jù)的方法，所述方法包括: 發(fā)送指示片段的優(yōu)先級值的信息，所述片段的每一者可個別檢索，所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段，所述多媒體內(nèi)容的所述表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)；以及 響應于來自客戶端裝置的一個或一個以上請求經(jīng)由所述自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段，所述所請求的片段是所述請求指定的所述片段中的片段。
48.根據(jù)權 利要求47所述的方法，其進一步包括: 向所述片段指派所述優(yōu)先級值；以及 將所述優(yōu)先級值存儲到所述多媒體內(nèi)容的清單文件。
49.根據(jù)權利要求48所述的方法，其中向所述片段指派所述優(yōu)先級值包括基于所述片段的特性計算所述優(yōu)先級值。
50.根據(jù)權利要求49所述的方法，其中所述片段的所述特性包含所述片段中的所計算失真量。
51.根據(jù)權利要求49所述的方法，其中向所述片段指派所述優(yōu)先級值包括向所述片段指派所述優(yōu)先級值，使得所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
52.一種包括一個或一個以上處理器的計算裝置，所述一個或一個以上處理器經(jīng)配置以: 發(fā)送指示片段的優(yōu)先級值的信息，所述片段的每一者可個別檢索，所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段，所述多媒體內(nèi)容的所述表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)；且 響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段，所述所請求的片段是所述請求指定的所述片段中的片段。
53.根據(jù)權利要求52所述的計算裝置，其中所述一個或一個以上處理器經(jīng)配置以: 向所述片段指派所述優(yōu)先級值；且 將所述優(yōu)先級值存儲到所述多媒體內(nèi)容的清單文件。
54.根據(jù)權利要求53所述的計算裝置，其中所述一個或一個以上處理器經(jīng)配置以基于所述片段的特性計算所述優(yōu)先級值。
55.根據(jù)權利要求54所述的計算裝置，其中所述片段的所述特性包含所述片段中的所計算失真量。
56.根據(jù)權利要求52所述的計算裝置，其中所述一個或一個以上處理器經(jīng)配置以向所述片段指派所述優(yōu)先級值，使得所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
57.一種計算裝置，其包括: 用于發(fā)送指示片段的優(yōu)先級值的信息的裝置，所述片段的每一者可個別檢索，所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段，所述多媒體內(nèi)容的所述表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)；以及 用于響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段的裝置，所述所請求的片段是所述請求指定的所述片段中的片段。
58.根據(jù)權利要求57所述的計算裝置，其進一步包括: 用于向所述片段指派所述優(yōu)先級值的裝置；以及 用于將所述優(yōu)先級值存儲到所述多媒體內(nèi)容的清單文件的裝置。
59.根據(jù)權利要求58所述的計算裝置，其進一步包括用于基于所述片段的特性計算所述優(yōu)先級值的裝置。
60.根據(jù)權利要求59所述的計算裝置，其中所述片段的所述特性包含所述片段中的所計算失真量。
61.根據(jù)權利要求57所述的計算裝置，其中所述用于向所述片段指派所述優(yōu)先級值的裝置包括用于向所述片段指派所述優(yōu)先級值使得所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關的裝置。
62.一種上面存儲有指令的計算機可讀存儲媒體，所述指令當由計算裝置的一個或一個以上處理器執(zhí)行時致使所述計算裝置: 發(fā)送指示片段的優(yōu)先級值的信息，所述片段的每一者可個別檢索，所述片段對應于多媒體內(nèi)容的表示的特定時間區(qū)段，所述多媒體內(nèi)容的表示的每一者包含以不同位速率編碼的視頻數(shù)據(jù)；且 響應于來自客戶端裝置的一個或一個以上請求經(jīng)由自適應流式傳輸網(wǎng)絡協(xié)議發(fā)送所請求的片段，所述所請求的片段是所述請求指定的所述片段中的片段。
63.根據(jù)權利要求62所述的計算機可讀存儲媒體，其中所述一個或一個以上處理器執(zhí)行所述指令致使所述計算裝置: 向所述片段指派所述優(yōu)先級值；且 將所述優(yōu)先級值存儲到所述多媒體內(nèi)容的清單文件。
64.根據(jù)權利要求63所述的計算機可讀存儲媒體，其中所述一個或一個以上處理器執(zhí)行所述指令致使所述計算裝置基于所述片段的特性計算所述優(yōu)先級值。
65.根據(jù)權利要求64所述的計算機可讀存儲媒體，其中所述片段的所述特性包含所述片段中的所計算失真量。
66.根據(jù)權利要求62所述的計算機可讀存儲媒體，其中所述一個或一個以上處理器執(zhí)行所述指令致使所述計算裝置向所述片段指派所述優(yōu)先級值，使得所述片段的所述優(yōu)先級值與所述片段中可由人類神經(jīng)系統(tǒng)感知的感知失真量相關。
【文檔編號】H04N21/845GK103814562SQ201280045731
【公開日】2014年5月21日 申請日期:2012年9月21日 優(yōu)先權日:2011年9月21日
【發(fā)明者】唐納德·W·吉利斯, 毛憶念 申請人:高通股份有限公司