基于取向的音頻控制的制作方法
【專利摘要】可以將一種裝置配置為感測(cè)其自身相對(duì)于坐標(biāo)系的取向，以及感測(cè)用戶頭部相對(duì)于所述裝置的取向。之后，所述裝置可以確定裝置取向是否相對(duì)于坐標(biāo)系已經(jīng)發(fā)生了變化和/或頭部取向是否相對(duì)于裝置已經(jīng)發(fā)生了變化。之后，可以基于所述確定來(lái)控制所述裝置中的音頻信號(hào)生成。例如，可以在所確定的裝置和/或頭部取向變化的基礎(chǔ)上改變模擬聲源在3D音頻場(chǎng)中的位置。之后，可以將所述音頻信號(hào)從所述裝置傳輸至基于所述音頻信號(hào)產(chǎn)生聲音的設(shè)備(例如，耳機(jī))。
【專利說(shuō)明】基于取向的音頻控制

【背景技術(shù)】
[0001]三維(3D)音頻是這樣一種技術(shù):其通過(guò)造成聲音的來(lái)源處于圍繞收聽(tīng)者的3D空間當(dāng)中的某處的錯(cuò)覺(jué)的方式產(chǎn)生聲音。例如，電影和視頻游戲可以采用3D音頻來(lái)建立“沉浸”的效果，其中，通過(guò)生成似乎來(lái)自各個(gè)方向(例如，左、中、右、后，等)的聲音使參與者(例如，用戶)感覺(jué)就像真的成為了所觀看的內(nèi)容的一部分。在固定系統(tǒng)中，可以通過(guò)在各個(gè)方向內(nèi)放置揚(yáng)聲器而模擬這一效果。之后，將來(lái)自內(nèi)容(例如，電影、視頻游戲等)的聲音引向?qū)?yīng)于被設(shè)計(jì)為收聽(tīng)該聲音的方向的揚(yáng)聲器。由于所述系統(tǒng)是固定的，因而不管用戶身處何處所述聲音總是似乎來(lái)自正確的方向(例如，內(nèi)容創(chuàng)作者想要的方向)。最近，便攜式系統(tǒng)(例如，移動(dòng)通信和/或計(jì)算裝置)已經(jīng)演變?yōu)榫哂猩?D音頻的能力。用戶可以查看便攜式系統(tǒng)上的內(nèi)容，并在被配置為根據(jù)內(nèi)容生成定向聲音的耳機(jī)上收聽(tīng)與內(nèi)容相關(guān)聯(lián)的音頻。但是，便攜式3D音頻當(dāng)中存在至少一個(gè)限制，那就是聲場(chǎng)是相對(duì)于耳機(jī)的。這與固定系統(tǒng)相反，在固定系統(tǒng)中聲音是相對(duì)于固定坐標(biāo)系產(chǎn)生的，因而用戶能夠自由地在實(shí)際空間中走動(dòng)而不會(huì)改變想要地身臨其境的感覺(jué)，而在便攜式裝置中，坐標(biāo)系是相對(duì)于用戶的耳機(jī)的，因此是相對(duì)于用戶的頭部的。在用戶的頭部移動(dòng)時(shí)，聲場(chǎng)也發(fā)生移動(dòng)。因此，發(fā)出聲音的方向不再與內(nèi)容創(chuàng)作所想要的方向匹配，破壞了內(nèi)容旨在建立的身臨其境感。

【專利附圖】

【附圖說(shuō)明】
[0002]隨著下文中的【具體實(shí)施方式】部分的展開(kāi)以及對(duì)附圖的參考，所要求保護(hù)的主題的各種實(shí)施例的特征和優(yōu)點(diǎn)將變得顯而易見(jiàn)，其中，類似的附圖標(biāo)記指示類似的部分，并且其中:
[0003]圖1示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的被配置為用于基于取向的音頻控制的示范性系統(tǒng)；
[0004]圖2示出了可與本公開(kāi)的至少一個(gè)實(shí)施例一起使用的示范性裝置；
[0005]圖3示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的裝置中的音頻控制電路和其他電路之間的示范性交互；
[0006]圖4示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的示范性初始對(duì)準(zhǔn)取向；
[0007]圖5示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的移位取向的例子；
[0008]圖6示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的移位取向的第二例子；以及
[0009]圖7示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的基于取向的音頻控制的示范性操作的流程圖。
[0010]盡管下文的【具體實(shí)施方式】部分是在圖示實(shí)施例的情況下進(jìn)行的，但是對(duì)于本領(lǐng)域技術(shù)人員而言所述示范性實(shí)施例的很多替代方案、修改和變化將是顯而易見(jiàn)的。

【具體實(shí)施方式】
[0011]一般而言，本公開(kāi)描述了基于取向的音頻控制系統(tǒng)和方法。文文中所稱的“音頻”或“音頻信號(hào)”包括三維(3D)音頻，其被配置為模擬3D聲場(chǎng)內(nèi)的各個(gè)位置處的聲源，從而使收聽(tīng)者(例如，用戶)感覺(jué)到其正沉浸在對(duì)應(yīng)于所述音頻的內(nèi)容當(dāng)中?？梢圆捎萌魏萎?dāng)前已知的或者以后出現(xiàn)的3D音頻技術(shù)(例如，Microsoft Corp.的DirectSound ?、CreativeTechnology Ltd.的open AL?等)作為文中公開(kāi)的各種實(shí)施例,從而自動(dòng)操縱3D音頻配置，而不是3D的產(chǎn)生方式。在一個(gè)實(shí)施例中，可以對(duì)裝置中的音頻信號(hào)生成加以控制，從而使所感覺(jué)到的聲源位置相對(duì)于坐標(biāo)系保持恒定，而不管相對(duì)于裝置和/或用戶的位置的變化如何。文中所稱的坐標(biāo)系可以是固定坐標(biāo)系，例如，全球測(cè)地系統(tǒng)(WGS)、經(jīng)度/維度、羅盤方向(北(N)、東(E)、南⑶、西(W))等?？梢曰谘b置相對(duì)于坐標(biāo)系的取向和/或用戶頭部相對(duì)于裝置的取向來(lái)控制音頻信號(hào)生成。文中所稱的取向可以既包括裝置/頭部在坐標(biāo)系中的位置，又包括所述裝置相對(duì)于所述坐標(biāo)系的以及頭部相對(duì)于所述裝置的相對(duì)位置(例如，角度、傾斜、偏移等等)。例如，將一裝置配置為生成與例如在該裝置上顯示的諸如電影、游戲等的視頻內(nèi)容相關(guān)聯(lián)的音頻，該裝置可以確定其相對(duì)于固定坐標(biāo)系的取向。此夕卜，所述裝置還可以確定用戶頭部相對(duì)于所述裝置的取向。之后，所述裝置可以確定裝置的取向是否相對(duì)于固定坐標(biāo)系已經(jīng)發(fā)生了變化，和/或用戶頭部的取向是否相對(duì)于所述裝置已經(jīng)發(fā)生了變化。之后，可以對(duì)在所述裝置中音頻信號(hào)的生成加以控制(例如，可以改變聲源在3D聲場(chǎng)中相對(duì)于用戶耳機(jī)的模擬位置)，從而保持用戶感覺(jué)到的聲源相對(duì)于坐標(biāo)系的位置。因而，不管裝置/頭部移動(dòng)如何，都保持了內(nèi)容創(chuàng)作者想要達(dá)到的身臨其境感。
[0012]在一個(gè)實(shí)施例中，可以在例如從裝置內(nèi)的全球定位系統(tǒng)(GPS)接收器獲得的坐標(biāo)信息、基于通往接入點(diǎn)(AP)的無(wú)線鏈路確定的位置信息、從裝置內(nèi)的電子羅盤獲得的方向信息、取向傳感器提供的取向信息、運(yùn)動(dòng)傳感器、加速度傳感器等提供的運(yùn)動(dòng)信息的基礎(chǔ)上，確定相對(duì)于坐標(biāo)系的裝置取向。在同一或不同實(shí)施例中，可以在用戶面部檢測(cè)或者對(duì)應(yīng)于用戶佩戴的設(shè)備的位置的檢測(cè)的基礎(chǔ)上確定相對(duì)于所述裝置的頭部取向。在用戶面部檢測(cè)當(dāng)中，裝置可以捕獲圖像，檢測(cè)圖像內(nèi)的頭部，確定檢測(cè)到的頭部當(dāng)中的面部，并且可以基于檢測(cè)到的面部來(lái)確定用戶頭部的取向。在所佩戴的設(shè)備(例如，用戶佩戴的耳機(jī)或另一設(shè)備)當(dāng)中，所述裝置可以接收來(lái)自所述佩戴設(shè)備的指示佩戴設(shè)備的取向的信號(hào)，并且可以在所佩戴的設(shè)備的取向的基礎(chǔ)上確定用戶頭部的取向。例如，所佩戴的設(shè)備可以經(jīng)由無(wú)線通信向設(shè)備提供位置信息，所佩戴的設(shè)備可以發(fā)射無(wú)線信號(hào)并且所述裝置可以采用所述無(wú)線信號(hào)確定所佩戴的設(shè)備的取向，等等。之后，所述裝置可以確定與上一次確定的裝置取向相比裝置取向是否相對(duì)于坐標(biāo)系已經(jīng)發(fā)生了變化，和/或與上一次確定的頭部取向相比頭部取向是否相對(duì)于裝置已經(jīng)發(fā)生了變化。如果確定已經(jīng)發(fā)生了變化，那么可以改變裝置內(nèi)的音頻信號(hào)生成配置當(dāng)中的至少一項(xiàng)設(shè)置，從而使所感覺(jué)到的模擬聲源的位置相對(duì)于坐標(biāo)系保持恒定。
[0013]圖1示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的被配置為用于基于取向的音頻控制的示范性系統(tǒng)100。系統(tǒng)100可以包括被配置為生成音頻(例如，3D音頻信號(hào))的裝置102。系統(tǒng)100的例子可以包括諸如以Android ?操作系統(tǒng)(OS)、i0S?、Blackberry ? OS、Palm ? OS、Symbian ? OS等為基礎(chǔ)的蜂窩手機(jī)或智能電話的移動(dòng)通信裝置、諸如ipad⑧、Galaxy Tab?、Kindle Fire?等的平板計(jì)算機(jī)、由Intel公司制造的包括低功率芯片組的Ultrabook?、筆記本、筆記本計(jì)算機(jī)、膝上型計(jì)算機(jī)等的移動(dòng)計(jì)算裝置。裝置102的例子也可以包括通常固定的裝置，在與耳機(jī)或另一收聽(tīng)設(shè)備結(jié)合使用時(shí)，其允許用戶發(fā)生移動(dòng)。固定系統(tǒng)可以包括具有集成或單獨(dú)顯示器的臺(tái)式計(jì)算機(jī)、獨(dú)立監(jiān)視器(例如，電視)和/或可以包括獨(dú)立監(jiān)視器的系統(tǒng)，例如，家庭娛樂(lè)系統(tǒng)、視頻會(huì)議系統(tǒng)等。
[0014]可以確定裝置102相對(duì)于坐標(biāo)系104的取向。如上所述，坐標(biāo)系104可以相對(duì)于系統(tǒng)100正在運(yùn)行的物理位置是固定的?？梢韵鄬?duì)于坐標(biāo)系104確定裝置102和/或用戶頭部106的取向，從而將裝置102生成的聲場(chǎng)鎖定到不隨裝置102和/或頭部106的移動(dòng)而發(fā)生改變的固定位置。如上文所討論的，可以基于裝置102采用的技術(shù)的類型確定坐標(biāo)系104中的取向，將參考圖4對(duì)其進(jìn)行進(jìn)一步討論。例如，在裝置102上觀看視頻內(nèi)容的用戶可以在耳機(jī)108上收聽(tīng)與內(nèi)容相關(guān)聯(lián)生成的音頻信號(hào)。耳機(jī)108可以包括任何可以由用戶佩戴的被配置為基于音頻信號(hào)生成聲音的設(shè)備，并且可以包括各種構(gòu)造，例如，耳罩式耳機(jī)、耳內(nèi)耳機(jī)(例如，耳塞)、集成到其他裝置內(nèi)的耳機(jī)(例如，作為用戶佩戴的內(nèi)容觀看設(shè)備的部分的耳機(jī))等等。在一個(gè)實(shí)施例中，可以將耳機(jī)108專門配備為基于3D音頻信號(hào)生成3D聲場(chǎng)(例如，耳機(jī)108可以包括多個(gè)揚(yáng)聲器驅(qū)動(dòng)器、專門放置的揚(yáng)聲器驅(qū)動(dòng)器等)。可以將裝置102配置為確定在110處示出的頭部106的取向，之后裝置102可以在所確定的裝置102相對(duì)于坐標(biāo)系104的取向和/或頭部106相對(duì)于裝置102的取向的基礎(chǔ)上生成音頻信號(hào)112?？梢酝ㄟ^(guò)有線或無(wú)線通信將音頻信號(hào)112發(fā)送至耳機(jī)106。
[0015]圖2示出了可與本公開(kāi)的至少一個(gè)實(shí)施例一起使用的示范性裝置102’。裝置102’包括能夠?qū)崿F(xiàn)圖1所示的功能的電路?？梢詫⑾到y(tǒng)電路200配置為執(zhí)行各種可能在裝置102’的正常操作過(guò)程中發(fā)生的功能。例如，處理電路202可以包括一個(gè)或多個(gè)位于分離部件內(nèi)的處理器，或者可選地可以包括一個(gè)或多個(gè)位于單個(gè)部件內(nèi)的處理核心(例如，片上系統(tǒng)(SOC)配置)。示范性處理器可以包括各種可從Intel公司獲得的基于X86的微處理器，包括那些屬于 Pentium、Xeon、Itanium、Celeron、Atom、Core 1-series 產(chǎn)品系列的處理器?？梢詫⑻幚黼娐?02配置為執(zhí)行裝置102’中的指令。指令可以包括被配置為使處理電路202執(zhí)行與數(shù)據(jù)讀取、數(shù)據(jù)寫入、數(shù)據(jù)處理、數(shù)據(jù)表述、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)變換等相關(guān)的活動(dòng)的程序代碼。可以將指令、數(shù)據(jù)等存儲(chǔ)到存儲(chǔ)器204內(nèi)。存儲(chǔ)器204可以包括具有固定或可移除形式的隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)。RAM可以包括被配置為在裝置102’的操作過(guò)程中保存信息的存儲(chǔ)器，例如，靜態(tài)RAM(SRAM)或動(dòng)態(tài)RAM(DRAM)。ROM可以包括被配置為在裝置102’激活時(shí)提供指令的諸如b1s存儲(chǔ)器的存儲(chǔ)器、諸如電子可編程ROM(EPROM)的可編程存儲(chǔ)器、閃存等。其他固定的和/或可移除的存儲(chǔ)器可以包括諸如軟盤、硬盤驅(qū)動(dòng)器等的磁存儲(chǔ)器、諸如固態(tài)閃速存儲(chǔ)器(例如，eMMC等)的電子存儲(chǔ)器、可移除存儲(chǔ)器卡或存儲(chǔ)棒(例如，uSD、USB等)、諸如基于緊致盤的ROM(CD-ROM)的光存儲(chǔ)器等。電源電路206可以包括內(nèi)部(例如，電池)和/或外部(例如，壁式插座)電源以及被配置為向裝置102’提供工作所需的電力的電路。可以將通信接口電路208配置為處理分組路由以及通信電路212的各種控制功能，所述通信電路212可以包括各種用于實(shí)施有線和/或無(wú)線通信的資源。有線通信可以包括諸如通用串行總線(USB)、以太網(wǎng)等的介質(zhì)。無(wú)線通信可以包括例如近程無(wú)線介質(zhì)(例如，射頻(RF)、紅外(IR)等)、短程無(wú)線介質(zhì)(例如，藍(lán)牙、無(wú)線局域網(wǎng)(WLAN)等)和長(zhǎng)程無(wú)線介質(zhì)(例如，蜂窩、衛(wèi)星等)。例如，可以將通信接口電路208配置為避免通信電路212中的活動(dòng)的無(wú)線通信相互干擾。在執(zhí)行這一功能時(shí)，通信接口電路208可以在未決消息的相對(duì)優(yōu)先級(jí)的基礎(chǔ)上安排通信電路212的活動(dòng)。
[0016]用戶接口電路210可以包括被配置為允許用戶與裝置102’交互的電路，例如，各種輸入機(jī)構(gòu)(例如，麥克風(fēng)、開(kāi)關(guān)、按鈕、旋鈕、鍵盤、揚(yáng)聲器、觸敏表面、一個(gè)或多個(gè)被配置為捕獲圖像和/或感測(cè)接近度、距離、運(yùn)動(dòng)、姿勢(shì)等的傳感器)和輸出機(jī)構(gòu)(例如，揚(yáng)聲器、顯示器、指示器、用于振動(dòng)、移動(dòng)等的機(jī)電部件)。在一個(gè)實(shí)施例中，用戶接口電路210可以包括或者可以耦合至音頻控制電路214。可以將音頻控制電路214配置為從用戶接口電路214或裝置102’中的其他電路接收裝置102’和/或頭部106的取向信息，以確定裝置102’的取向是否相對(duì)于坐標(biāo)系104已經(jīng)發(fā)生了變化和/或頭部106的取向是否相對(duì)于裝置102’已經(jīng)發(fā)生了變化，并基于所述確定控制音頻信號(hào)的生成。之后，在采用無(wú)線通信(例如，藍(lán)牙)向耳機(jī)108發(fā)射音頻信號(hào)的情況下，通過(guò)例如通信電路212將音頻信號(hào)從裝置102’輸出。
[0017]圖3示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的裝置102中的音頻控制電路214和其他電路之間的示范性交互。音頻控制電路214可以接收來(lái)自裝置取向檢測(cè)電路300的裝置取向信息?？梢詫⒀b置取向檢測(cè)電路300配置為提供裝置102相對(duì)于坐標(biāo)系104的位置和/或取向信息，例如，其可以是被配置為提供位置/取向信息的GPS接收器電路、被配置為提供相對(duì)于磁方向(例如，依據(jù)距真北或磁北的度)的取向信息的羅盤電路、被配置為提供相對(duì)或絕對(duì)位置/取向信息的短程無(wú)線通信電路，等等。對(duì)于短程無(wú)線通信方案而言，可以通過(guò)短程無(wú)線通信將裝置102耦合至另一裝置(例如，通過(guò)WLAN通信將其耦合至接入點(diǎn)(AP))，并且裝置102能夠在從AP接收到的信號(hào)的強(qiáng)度和/或方向的基礎(chǔ)上確定相對(duì)位置和/或取向。之后可以基于AP的位置確定絕對(duì)位置。裝置取向電路300還可以在各種未綁定至坐標(biāo)系104的傳感器的基礎(chǔ)上確定裝置102的取向，例如，取向傳感器(例如，傾斜/角度傳感器等)、運(yùn)動(dòng)傳感器、加速度傳感器等。
[0018]音頻控制電路214還可以采用各種技術(shù)接收頭部取向信息，在302A和302B處示出了所述技術(shù)的例子。302處示出的例子基于面部檢測(cè)確定頭部取向。就此而言，可以將圖像捕獲電路(例如，用戶接口電路210中的照相機(jī))配置為周期性地、按照設(shè)定間隔等捕獲圖像?？梢詫⒚娌繖z測(cè)電路306配置為識(shí)別圖像捕獲電路304提供的圖像中的面部和/或面部區(qū)域，繼而識(shí)別出頭部106的取向。例如，面部檢測(cè)電路306可以包括定制的、專有的、已知的和/或以后開(kāi)發(fā)的面部識(shí)別代碼(或指令集)、硬件和/或固件，它們一般是明確定義的，并且可用于接收?qǐng)D像(例如但不限于RGB彩色圖像)，以及至少在一定程度上識(shí)別圖像中的面部。也可以將面部檢測(cè)電路306配置為通過(guò)一系列圖像(例如，每秒24幀的視頻幀)進(jìn)行面部跟蹤。面部檢測(cè)電路306可以使用的檢測(cè)系統(tǒng)包括粒子濾波、均值偏移、Kalman濾波等，其每者都可以利用邊緣分析、平方差和分析、特征點(diǎn)分析、直方圖分析、皮膚色調(diào)分析等。
[0019]在302B處所示的實(shí)施例中，可以基于用戶佩戴的與設(shè)備102通信的設(shè)備(例如，佩戴設(shè)備或WA)來(lái)確定頭部106的取向。用戶佩戴的設(shè)備的例子是耳機(jī)108或者用于觀看3D視頻內(nèi)容的視覺(jué)輔助設(shè)備(例如，眼鏡、護(hù)目鏡等)，但是也可以包括被專門設(shè)計(jì)為提供頭部取向信息的設(shè)備(例如，固定到頭帶上的傳感器等)。在一個(gè)實(shí)施例中，可以將位置/取向傳感器和發(fā)射器固定至耳機(jī)108，并且可以將設(shè)備信號(hào)接收電路308配置為接收來(lái)自所述傳感器的信息。之后，可以將所述信息提供給設(shè)備取向確定電路310，可以將設(shè)備取向確定電路310配置為基于所述信息確定設(shè)備的取向。由于耳機(jī)108沿固定取向附著至頭部106，因而可以由耳機(jī)108的取向?qū)С鲱^部106的取向。在另一種實(shí)現(xiàn)中，耳機(jī)108中的發(fā)射器可以不斷地發(fā)射信標(biāo)信號(hào)(例如，可被識(shí)別為是由耳機(jī)108發(fā)射的信號(hào))，該信號(hào)由設(shè)備位置接收電路308接收。之后，設(shè)備取向確定電路310可以基于接收到的信號(hào)的特征(例如，接收到的信號(hào)所來(lái)自的方向、接收到的信號(hào)的強(qiáng)度等)來(lái)確定耳機(jī)108的取向。
[0020]取向確定電路312可以從裝置取向檢測(cè)電路300接收裝置取向信息，并且可以通過(guò)在302A和302B處示出的示范性技術(shù)之一接收頭部取向信息。之后，可以將取向確定電路312配置為確定裝置102的取向是否相對(duì)于坐標(biāo)系104已經(jīng)發(fā)生了變化，和/或頭部106的取向是否相對(duì)于裝置102已經(jīng)發(fā)生了變化。例如，可以通過(guò)與前一取向測(cè)量的角度偏移、與前一取向測(cè)量的距離偏移等對(duì)取向變化進(jìn)行量化?？梢詫⒏袦y(cè)到的取向變化提供給音頻調(diào)整電路314，該音頻調(diào)整電路314可以配置為基于取向的變化來(lái)改變音頻信號(hào)的生成。改變生成的方式可以取決于例如所采用的具體3D音頻技術(shù)。例如，很多3D音頻系統(tǒng)允許在3D音頻場(chǎng)內(nèi)修改模擬聲源的位置(例如，通過(guò)3D音頻控制軟件中的某些軟件參數(shù)的配置)。在一個(gè)實(shí)施例中，可以采用取向確定電路306確定的任何取向變化來(lái)使3D音頻場(chǎng)內(nèi)的模擬聲源位置發(fā)生偏移，從而使模擬聲源似乎是固定至坐標(biāo)系104的而不管裝置102或頭部106的位置如何。之后，可以通過(guò)通信電路212傳輸所得到的來(lái)自裝置102的音頻信號(hào)(例如，傳輸至耳機(jī)108)。
[0021]圖4示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的示范性初始對(duì)準(zhǔn)取向。具體而言，使頭部106沿坐標(biāo)系104與裝置102對(duì)準(zhǔn)，在圖4的例子中所述坐標(biāo)系是以磁羅盤航向(例如，N、E、S和W)為基礎(chǔ)的。模擬聲源400實(shí)際并不存在，但是用戶感覺(jué)它正在從NW方向發(fā)出聲音，該模擬聲源可以對(duì)應(yīng)于例如在裝置102上觀看到的內(nèi)容(例如，電影、視頻游戲等)中所描繪的處于用戶左側(cè)的聲源。可以采用裝置102生成的音頻信號(hào)通過(guò)耳機(jī)108生成模擬聲源400，之后將模擬聲源400發(fā)送至耳機(jī)108。
[0022]圖5示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的移位取向的例子。具體而言，裝置102和頭部106仍然沿軸500對(duì)準(zhǔn)，但是裝置102不再與坐標(biāo)系104中的“N”(北)對(duì)準(zhǔn)。重要的是要注意，在沒(méi)有諸如文中公開(kāi)的音頻控制的情況下，耳機(jī)108生成的聲音相對(duì)于耳機(jī)108的位置停留。因此，在如502處所示使裝置102發(fā)生偏移時(shí)，頭部106和耳機(jī)108也移位成比例的量，所感覺(jué)到的模擬聲源的位置移至400A。模擬聲源400A的移位后的位置不再與內(nèi)容創(chuàng)作者所期望的模擬聲源400在坐標(biāo)系104中的位置匹配，這可能破壞用戶的3D沉浸感。在一個(gè)實(shí)施例中，裝置102可以確定其相對(duì)于坐標(biāo)系104的取向已經(jīng)移位了偏移量502，并且可以將模擬聲源的位置改變至504處所示的400B。因此，從用戶的角度而言來(lái)自聲源400B的聲音發(fā)生了轉(zhuǎn)移(例如，聲音似乎是從距頭部106的前面更近的地方發(fā)出的)，同時(shí)與坐標(biāo)系104保持對(duì)準(zhǔn)。
[0023]圖6示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的移位取向的第二例子。除了裝置102從坐標(biāo)系104中的“N”移位了偏移量502之外，頭部106還從軸500移位了偏移量600。與圖5的例子類似，在沒(méi)有諸如文中公開(kāi)的音頻控制的情況下，移位600將使得感覺(jué)到的模擬聲源的位置轉(zhuǎn)移至圖500中的400C。相反，在本發(fā)明的一個(gè)實(shí)施例中，既可以確定裝置102距坐標(biāo)系104的移位(例如，偏移量502)，又可以確定頭部106距裝置102的移位(例如，偏移量600)，并且可以對(duì)音頻信號(hào)的生成加以控制，從而使感覺(jué)到的模擬聲源的位置轉(zhuǎn)移至602處所示的400D?，F(xiàn)在，來(lái)自模擬聲源400D的聲音似乎直接來(lái)自頭部106的前面。因而，盡管裝置102和/或頭部106可以相對(duì)于坐標(biāo)系104移動(dòng)，但是所感覺(jué)到的模擬聲源400的位置保持綁定到坐標(biāo)系104，因而可以保持內(nèi)容創(chuàng)作者預(yù)期的3D沉浸感。
[0024]圖7示出了根據(jù)本公開(kāi)的至少一個(gè)實(shí)施例的基于取向的音頻控制的示范性操作的流程圖。在操作700中，可以確定裝置取向。例如，可以檢測(cè)當(dāng)前裝置取向，并且可以確定被配置為生成音頻信號(hào)的裝置的取向是否相對(duì)于固定坐標(biāo)系已經(jīng)發(fā)生了變化。之后，可以在操作702中確定頭部取向。例如，可以檢測(cè)當(dāng)前用戶頭部取向，并且可以確定用戶頭部的取向是否相對(duì)于裝置已經(jīng)發(fā)生了變化。之后，可以在操作704中確定是否發(fā)生了取向的變化(例如，裝置相對(duì)于坐標(biāo)系的和/或頭部相對(duì)于裝置的)。如果在操作704中確定沒(méi)有發(fā)生取向變化，那么在操作706中裝置可以保持現(xiàn)有的音頻配置。替代地，如果確定已經(jīng)發(fā)生了取向變化，那么在操作708中，所述裝置可以基于所述取向變化來(lái)控制音頻生成。例如，所述裝置可以基于取向變化來(lái)重新配置音頻參數(shù)，以便改變模擬聲源在3D音頻場(chǎng)內(nèi)的位置。因此，不管裝置取向或頭部取向的變化如何，所感覺(jué)到的模擬聲源的位置都可以相對(duì)于坐標(biāo)系保持恒定。
[0025]盡管圖7示出了根據(jù)實(shí)施例的各種操作，但是應(yīng)當(dāng)理解，并不是圖7所示的所有操作都是其他實(shí)施例所必需的。實(shí)際上，這里完全可以設(shè)想，在本公開(kāi)的其他實(shí)施例中，可以按照沒(méi)有在任何附圖中具體示出但是仍然與本公開(kāi)充分一致的方式結(jié)合圖7所示的操作和/或文中描述的其他操作。因而，應(yīng)當(dāng)認(rèn)為所涉及的特征和/或操作并非恰好是在一幅附圖中示出的權(quán)利要求處于本公開(kāi)的范圍和意旨之內(nèi)。
[0026]文中的任何實(shí)施例中采用的“模塊” 一詞都可以指的是被配置為執(zhí)行上述操作中的任何操作的軟件、固件和/或電路?？梢詫④浖w現(xiàn)為記錄在非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的軟件包、代碼、指令、指令集和/或數(shù)據(jù)。可以將固件體現(xiàn)為在存儲(chǔ)器裝置中硬編碼的(例如，非易失性的)代碼、指令或指令集和/或數(shù)據(jù)。
[0027]任何實(shí)施例中采用的“電路”均可以單獨(dú)包括或者以組合的形式包括例如硬線電路、諸如包括一個(gè)或多個(gè)獨(dú)立指令處理核心的計(jì)算機(jī)處理器的可編程電路、狀態(tài)機(jī)電路、和/或存儲(chǔ)可編程電路執(zhí)行的指令的固件?？梢詫⑺龈鱾€(gè)模塊整體地或者單獨(dú)地體現(xiàn)為形成了較大系統(tǒng)的部分的電路，例如，集成電路(1C)、片上系統(tǒng)(SoC)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、服務(wù)器、智能電話等。
[0028]可以在包括一個(gè)或多個(gè)存儲(chǔ)介質(zhì)的系統(tǒng)當(dāng)中實(shí)施文中描述的任意操作，所述存儲(chǔ)介質(zhì)單獨(dú)地或以組合方式存儲(chǔ)有指令，所述指令在通過(guò)一個(gè)或多個(gè)處理器運(yùn)行時(shí)將執(zhí)行所述方法。這里，所述處理器可以包括例如服務(wù)器CPU、移動(dòng)裝置CPU和/或其他可編程電路。而且，旨在使文中描述的操作可以跨越多個(gè)物理裝置分布，例如，處于多于一個(gè)不同的物理位置上的處理結(jié)構(gòu)。所述存儲(chǔ)介質(zhì)可以包括任何類型的有形介質(zhì)，例如，任何類型的盤，包括硬盤、軟盤、光盤、光盤只讀存儲(chǔ)器(CD-ROM)、可重寫光盤(CD-RW)和磁光盤；半導(dǎo)體裝置，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)(例如動(dòng)態(tài)和靜態(tài)RAM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存、固態(tài)盤(SSD)、嵌入多媒體卡(eMMC)、安全數(shù)字輸入/輸出(SD1)卡、磁或光卡或者任何類型的適于存儲(chǔ)電子指令的介質(zhì)。可以將其他實(shí)施例實(shí)現(xiàn)為通過(guò)可編程控制裝置執(zhí)行的軟件模塊。
[0029]因而，本公開(kāi)提供了用于基于取向進(jìn)行音頻控制的系統(tǒng)和方法?？梢詫⒁环N裝置配置為感測(cè)其自身相對(duì)于坐標(biāo)系的取向，以及感測(cè)用戶頭部相對(duì)于所述裝置的取向。之后，所述裝置可以確定裝置取向是否相對(duì)于坐標(biāo)系已經(jīng)發(fā)生了變化和/或頭部取向是否相對(duì)于所述裝置已經(jīng)發(fā)生了變化。之后，可以基于所述確定來(lái)控制所述裝置中的音頻信號(hào)生成。例如，可以基于所確定的裝置和/或頭部取向變化而改變模擬聲源在3D音頻場(chǎng)中的位置。之后，可以將所述音頻信號(hào)從所述裝置傳輸至基于所述音頻信號(hào)產(chǎn)生聲音的設(shè)備(例如，耳機(jī))。
[0030]下面的例子屬于進(jìn)一步的實(shí)施例。在一個(gè)示范性實(shí)施例中，提供了一種裝置。所述裝置可以包括被配置為確定相對(duì)于坐標(biāo)系的裝置取向的裝置取向檢測(cè)電路、被配置為確定相對(duì)于所述裝置的用戶頭部取向的用戶頭部取向檢測(cè)電路、以及被配置為基于裝置取向和用戶頭部取向來(lái)控制音頻信號(hào)的生成的音頻調(diào)整電路。
[0031]可以對(duì)上述示范性裝置做進(jìn)一步配置，其中，所述裝置還包括圖像捕獲電路，并且確定相對(duì)于裝置的用戶頭部取向包括:利用所述圖像捕獲電路捕獲圖像、檢測(cè)所述圖像中的用戶面部以及基于檢測(cè)到的用戶面部來(lái)確定用戶頭部的取向。
[0032]可以對(duì)上述示范性裝置做進(jìn)一步配置，其中，確定相對(duì)于裝置的用戶頭部取向包括:檢測(cè)用戶佩戴的設(shè)備的取向以及基于所佩戴的設(shè)備的取向來(lái)確定用戶頭部取向。在這示范性配置中，所述裝置至少還可以包括無(wú)線接收器，并且檢測(cè)佩戴設(shè)備取向包括:通過(guò)無(wú)線通信接收來(lái)自佩戴設(shè)備的位置信息。
[0033]可以對(duì)上述示范性裝置做進(jìn)一步配置，其中，控制所述音頻信號(hào)的生成是基于裝置相對(duì)于坐標(biāo)系的相對(duì)取向或者用戶頭部相對(duì)于裝置的相對(duì)取向的。
[0034]可以對(duì)上述示范性裝置做進(jìn)一步配置，其中，控制所述音頻信號(hào)的生成是基于裝置相對(duì)于坐標(biāo)系的相對(duì)取向和用戶頭部相對(duì)于裝置的相對(duì)取向的。
[0035]可以對(duì)上述示范性裝置做進(jìn)一步配置，其中，所述音頻信號(hào)是被配置為模擬三維(3D)聲場(chǎng)的環(huán)繞聲音頻信號(hào)。在這一示范性配置中，控制音頻信號(hào)的生成可以包括改變模擬聲源在3D聲場(chǎng)內(nèi)的位置。在這一示范性配置中，改變模擬聲源在3D聲場(chǎng)內(nèi)的位置還可以包括將模擬聲源的位置改變?yōu)橹辽傧鄬?duì)于用戶頭部取向保持模擬源在坐標(biāo)系內(nèi)的相對(duì)位置。
[0036]可以對(duì)上述示范性裝置做進(jìn)一步配置，其中，所述裝置還至少包括被配置為發(fā)射音頻信號(hào)的無(wú)線發(fā)射器。
[0037]在另一示范性實(shí)施例中提供了一種方法。所述方法可以包括確定相對(duì)于坐標(biāo)系的裝置取向、確定相當(dāng)于裝置的用戶頭部取向、以及基于裝置取向和用戶頭部取向來(lái)控制音頻信號(hào)的生成。
[0038]可以對(duì)上述示范性方法做進(jìn)一步配置，其中，確定相對(duì)于裝置的用戶頭部取向包括:捕獲圖像、檢測(cè)圖像中的用戶面部、以及基于檢測(cè)到的用戶面部來(lái)確定用戶頭部的取向。
[0039]可以對(duì)上述示范性方法做進(jìn)一步配置，其中，確定相對(duì)于裝置的用戶頭部取向包括:檢測(cè)用戶佩戴的設(shè)備的取向、以及基于所述佩戴設(shè)備的取向來(lái)確定用戶頭部取向。在這一示范性配置當(dāng)中，檢測(cè)佩戴設(shè)備取向還可以包括通過(guò)無(wú)線通信接收來(lái)自所述佩戴設(shè)備的位置信息。
[0040]可以對(duì)上述示范性方法做進(jìn)一步配置，其中，控制所述音頻信號(hào)的生成是基于裝置相對(duì)于坐標(biāo)系的相對(duì)取向或者用戶頭部相對(duì)于裝置的相對(duì)取向的。
[0041]可以對(duì)上述示范性方法做進(jìn)一步配置，其中，控制所述音頻信號(hào)的生成是基于裝置相對(duì)于坐標(biāo)系的相對(duì)取向和用戶頭部相對(duì)于裝置的相對(duì)取向的。
[0042]可以對(duì)上述示范性方法做進(jìn)一步配置，其中，所述音頻信號(hào)是被配置為模擬三維(3D)聲場(chǎng)的環(huán)繞聲音頻信號(hào)。在這一示范性配置中，控制所述音頻信號(hào)的生成還可以包括改變模擬聲源在3D聲場(chǎng)內(nèi)的位置。在這一不范性配置中，改變模擬聲源在3D聲場(chǎng)內(nèi)的位置還可以包括將模擬聲源的位置改變?yōu)橹辽傧鄬?duì)于用戶頭部取向保持模擬源在坐標(biāo)系內(nèi)的相對(duì)位置。
[0043]上述示范性方法還可以包括通過(guò)無(wú)線通信發(fā)射音頻信號(hào)。
[0044]在另一示范性實(shí)施例中提供了一種至少包括被配置為生成音頻信號(hào)的裝置的系統(tǒng)，所述系統(tǒng)被布置為執(zhí)行上述示范性方法中的任何方法。
[0045]在另一示范性實(shí)施例中，提供了一種被布置為執(zhí)行上述示范性方法中的任何方法的芯片組。
[0046]在另一示范性實(shí)施例中，提供了至少一種包括多條指令的計(jì)算機(jī)可讀介質(zhì)，所述指令將響應(yīng)于在計(jì)算裝置上的運(yùn)行而使所述計(jì)算裝置執(zhí)行上述示范性方法中的任何方法。
[0047]在另一示范性實(shí)施例中，提供了一種用于基于取向而進(jìn)行音頻控制的設(shè)備，所述設(shè)備被布置為執(zhí)行上述示范性方法中的任何方法。
[0048]文中采用的措辭和表達(dá)均用作描述性用詞而非限制性用詞，在使用這樣的措辭和表達(dá)時(shí)并沒(méi)有排除所示出和描述的特征(或其部分)的等價(jià)方案的意圖，應(yīng)當(dāng)認(rèn)識(shí)到在權(quán)利要求的范圍內(nèi)存在各種可能的修改。因此，權(quán)利要求旨在涵蓋所有這樣的等價(jià)方案。
【權(quán)利要求】
1.一種裝置，包括: 被配置為確定相對(duì)于坐標(biāo)系的裝置取向的裝置取向檢測(cè)電路； 被配置為確定相對(duì)于所述裝置的用戶頭部取向的用戶頭部取向檢測(cè)電路；以及 被配置為基于所述裝置取向和用戶頭部取向來(lái)控制音頻信號(hào)的生成的音頻調(diào)整電路。
2.根據(jù)權(quán)利要求1所述的裝置，其中，所述裝置還包括圖像捕獲電路，并且確定相對(duì)于所述裝置的用戶頭部取向包括:利用所述圖像捕獲電路捕獲圖像、檢測(cè)所述圖像中的用戶面部、以及基于檢測(cè)到的用戶面部來(lái)確定用戶頭部的取向。
3.根據(jù)權(quán)利要求1所述的裝置，其中，確定相對(duì)于所述裝置的用戶頭部取向包括:檢測(cè)用戶佩戴的設(shè)備的取向，以及基于所佩戴的設(shè)備的取向來(lái)確定所述用戶頭部取向。
4.根據(jù)權(quán)利要求3所述的裝置，其中，所述裝置還至少包括無(wú)線接收器，并且檢測(cè)所佩戴的設(shè)備的取向包括通過(guò)無(wú)線通信接收來(lái)自所佩戴的設(shè)備的位置信息。
5.根據(jù)權(quán)利要求1所述的裝置，其中，控制所述音頻信號(hào)的生成是基于所述裝置相對(duì)于所述坐標(biāo)系的相對(duì)取向或者所述用戶頭部相對(duì)于所述裝置的相對(duì)取向的。
6.根據(jù)權(quán)利要求1所述的裝置，其中，控制所述音頻信號(hào)的生成是基于所述裝置相對(duì)于所述坐標(biāo)系的相對(duì)取向和所述用戶頭部相對(duì)于所述裝置的相對(duì)取向的。
7.根據(jù)權(quán)利要求1所述的裝置，其中，所述音頻信號(hào)是被配置為模擬三維(3D)聲場(chǎng)的環(huán)繞聲音頻信號(hào)。
8.根據(jù)權(quán)利要求7所述的裝置，其中，控制所述音頻信號(hào)的生成包括改變模擬聲源在3D聲場(chǎng)內(nèi)的位置。
9.根據(jù)權(quán)利要求8所述的裝置，其中，改變模擬聲源在3D聲場(chǎng)內(nèi)的位置包括:將所述模擬聲源的位置改變?yōu)橹辽傧鄬?duì)于所述用戶頭部取向保持所述模擬源在所述坐標(biāo)系內(nèi)的相對(duì)位置。
10.根據(jù)權(quán)利要求1所述的裝置，其中，所述裝置還至少包括被配置為發(fā)射所述音頻信號(hào)的無(wú)線發(fā)射器。
11.一種方法，包括: 確定相對(duì)于坐標(biāo)系的裝置取向； 確定相對(duì)于所述裝置的用戶頭部取向；以及 基于所述裝置取向和用戶頭部取向來(lái)控制音頻信號(hào)的生成。
12.根據(jù)權(quán)利要求11所述的方法，其中，確定相對(duì)于所述裝置的用戶頭部取向包括:捕獲圖像，檢測(cè)所述圖像中的用戶面部，以及基于檢測(cè)到的用戶面部來(lái)確定用戶頭部的取向。
13.根據(jù)權(quán)利要求11所述的方法，其中，確定相對(duì)于所述裝置的用戶頭部取向包括:檢測(cè)用戶佩戴的設(shè)備的取向，以及基于所佩戴的設(shè)備的取向來(lái)確定所述用戶頭部取向。
14.根據(jù)權(quán)利要求13所述的方法，其中，檢測(cè)所佩戴的設(shè)備的取向包括:通過(guò)無(wú)線通信接收來(lái)自所佩戴的設(shè)備的位置信息。
15.根據(jù)權(quán)利要求11所述的方法，其中，控制所述音頻信號(hào)的生成是基于所述裝置相對(duì)于所述坐標(biāo)系的相對(duì)取向或者所述用戶頭部相對(duì)于所述裝置的相對(duì)取向的。
16.根據(jù)權(quán)利要求11所述的方法，其中，控制所述音頻信號(hào)的生成是基于所述裝置相對(duì)于所述坐標(biāo)系的相對(duì)取向和所述用戶頭部相對(duì)于所述裝置的相對(duì)取向的。
17.根據(jù)權(quán)利要求11所述的方法，其中，所述音頻信號(hào)是被配置為模擬三維(3D)聲場(chǎng)的環(huán)繞聲音頻信號(hào)。
18.根據(jù)權(quán)利要求17所述的方法，其中，控制所述音頻信號(hào)的生成包括改變模擬聲源在3D聲場(chǎng)內(nèi)的位置。
19.根據(jù)權(quán)利要求18所述的方法，其中，改變模擬聲源在3D聲場(chǎng)內(nèi)的位置包括:將所述模擬聲源的位置改變?yōu)橹辽傧鄬?duì)于所述用戶頭部取向保持所述模擬源在所述坐標(biāo)系內(nèi)的相對(duì)位置。
20.根據(jù)權(quán)利要求11所述的方法，還包括通過(guò)無(wú)線通信發(fā)射所述音頻信號(hào)。
21.一種至少包括被配置為生成音頻信號(hào)的裝置的系統(tǒng)，所述系統(tǒng)被布置為執(zhí)行根據(jù)權(quán)利要求11到20中的任何一項(xiàng)所述的方法。
22.—種被布置為執(zhí)行根據(jù)權(quán)利要求11到20中的任何一項(xiàng)所述的方法的芯片組。
23.至少一種包括多條指令的機(jī)器可讀介質(zhì)，所述指令響應(yīng)于在計(jì)算裝置上的運(yùn)行而使所述計(jì)算裝置執(zhí)行根據(jù)權(quán)利要求11到20中的任何一項(xiàng)所述的方法。
24.一種用于基于取向而進(jìn)行音頻控制的設(shè)備，所述設(shè)備被布置為執(zhí)行根據(jù)權(quán)利要求11到20中的任何一項(xiàng)所述的方法。
【文檔編號(hào)】H04S1/00GK104205880SQ201280071853
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2012年3月29日 優(yōu)先權(quán)日:2012年3月29日
【發(fā)明者】K·C·韋爾斯 申請(qǐng)人:英特爾公司