物理對象檢測和觸摸屏交互的制作方法
【專利摘要】例如多功能直尺或鍵盤的輸入設備當放置在計算設備的觸摸屏顯示表面上時具有可識別的接觸形狀。輸入設備的接觸形狀可以是接觸點的定義的圖案，并且可根據所述接觸點的定義的圖案確定輸入設備在觸屏顯示器表面上的位置和方向。所述輸入裝置包括與所述計算設備的伴隨模塊接口的交互模塊。伴隨模塊可響應于在觸摸屏顯示表面上識別出輸入設備而發起對對象的顯示。所述交互模塊可以接收向輸入設備的用戶輸入，并將用戶輸入傳輸到所述計算設備的伴隨模塊以修改所述對象在所述觸摸屏顯示表面上的顯示。
【專利說明】物理對象檢測和觸摸屏交互
[0001]相關申請的交叉引用
[0002]本申請要求2013年5月2日Ti jssen等提交的名稱為“物理對象檢測和觸摸屏交互”的美國臨時申請第61/818，858號的優先權，其公開內容通過引用的方式全部并入于此。

【背景技術】
[0003]許多平板設備以及更大的、安裝在墻上的、臺式的或桌上的觸摸屏顯示表面被設計用于通過觸摸手勢和觸控筆輸入與用戶交互。即使觸摸屏提供了易用性，但是仍難于在平板或其它顯示器表面上執行一些任務，例如當創建繪圖或進行可能需要精確輸入的其它任務時。此外，雖然鍵盤和其它輸入設備促進了用戶與計算設備及計算設備所執行的軟件應用的交互，但是用戶在使用設備的同時仍然可能需要在觸摸屏顯示表面上提供其它觸摸和手勢輸入，以開始和完成任務。


【發明內容】

[0004]該
【發明內容】
引入了將在下面【具體實施方式】中進一步描述和/或在圖中顯示的物理對象檢測和觸摸屏交互的特征和概念。該
【發明內容】
不應被認為描述了要求保護的主題的必要特征，或用于確定或限制要求保護的主題的范圍。
[0005]描述了物理對象檢測和觸摸屏交互。在實施方式中，例如多功能直尺(multifunct1n straight edge)或鍵盤的輸入設備當放置在計算設備的觸摸屏顯示表面上時具有可識別的接觸形狀。輸入設備的接觸形狀可為接觸點的定義的圖案，并且可根據接觸點的定義的圖案來確定輸入設備在觸摸屏顯示表面上的位置和方向。輸入設備包括與計算設備的伴隨模塊接口的交互模塊。伴隨模塊可響應于在觸摸屏顯示表面上識別出輸入設備而發起對對象的顯示。交互模塊可接收向輸入設備的用戶輸入，并將所述用戶輸入傳輸到所述計算設備的伴隨模塊以修改對象在觸摸屏顯示表面上的顯示。
[0006]在實施方式中，輸入設備可為包括交互模塊的多功能直尺，交互模塊與通過計算設備實施的伴隨模塊通信，并可與觸摸屏顯示表面一起操作。例如，多功能直尺的交互模塊可將多功能直尺的標識符及用戶輸入傳輸到計算設備的伴隨模塊。多功能直尺可包括可選擇的形狀和/或其它類型的繪圖模板引導。可在多功能直尺上接收用戶形狀輸入，然后在觸摸屏顯示表面上顯示對應于用戶形狀輸入的形狀對象。
[0007]在多功能直尺位于觸摸屏顯示表面上的同時，形狀對象可在觸摸屏顯示表面上被顯示為繪圖形狀模板和/或用于觸控筆輸入的觸控筆引導線。顯示與觸摸屏顯示表面上的形狀對象與多功能直尺關聯，并保持相對于多功能直尺的顯示位置。將形狀對象拴系(tether)到多功能直尺，以保持相對于多功能直尺的顯示位置，并且形狀對象可與觸摸屏顯示表面上的多功能直尺一起移動和/或旋轉。當從觸摸屏顯示表面移除多功能直尺時，然后可不顯示形狀對象。可替換地，當從觸摸屏顯示表面上去除多功能直尺時，形狀對象作為繪圖元件保持被顯示于所述觸摸屏顯示表面上。
[0008]在實施方式中，輸入設備可為包括交互模塊的鍵盤，交互模塊與通過計算設備實施的伴隨模塊通信，并可與觸摸屏顯示表面一起操作。交互模塊可將鍵盤的標識符及用戶輸入傳輸到觸摸屏顯示表面上的伴隨模塊。當鍵盤放置在觸摸屏顯示表面上時，可創建文本對象，并將文本對象顯示于觸摸屏顯示表面上。然后，可傳輸向鍵盤的用戶按鍵輸入，以用于作為觸摸屏顯示表面上的文本對象中的字母數字字符而顯示。可替換地，可響應于向鍵盤的用戶按鍵輸入，發起文本對象，以用于在觸摸屏顯示表面上顯示。
[0009]在觸摸屏顯示表面上顯示的文本對象與鍵盤關聯，并保持相對于鍵盤的顯示位置。文本對象可與鍵盤一起移動和/或旋轉，以保持相對于觸摸屏顯示表面上的鍵盤的顯示位置。可從鍵盤移開與鍵盤關聯的文本對象，例如當用戶選擇和拖動文本對象以從鍵盤分離文本對象時。然后，可創建另外的文本對象，并在觸摸屏顯示表面上顯示該另外的文本對象，并且該另外的文本對象與鍵盤關聯以便為用戶輸入做好準備。
[0010]當從觸摸屏顯示表面上移除鍵盤時，可不再顯示與鍵盤關聯的文本對象，并且文本對象可響應于鍵盤被重新放置回觸摸屏顯示表面上而被重新顯示。在鍵盤被放置在觸摸屏顯示表面上之前，文本對象也可顯示在觸摸屏顯示表面上。當鍵盤被放置在觸摸屏顯示表面上時，可基于鍵盤與所顯示的文本對象鄰近而選擇文本對象并將文本對象與鍵盤關聯，以便能夠編輯文本。
[0011]還可響應于所述鍵盤被放置在觸摸屏顯示表面上而發起用戶接口面板，以用于在觸摸屏顯示表面上顯示。用戶接口面板可包括可選擇的文本編輯選項和/或到先前創建的文本對象的可選擇的鏈接以供用戶選擇以編輯先前創建的文本對象。用戶接口面板還與鍵盤關聯，并且相對于鍵盤的顯示位置被保持，以便用戶接口面板可與鍵盤一起移動和/或旋轉，以保持相對于觸摸屏顯示表面上的鍵盤的顯示位置。

【專利附圖】

【附圖說明】
[0012]參照下面的附圖描述了物理對象檢測和觸摸屏交互的實施方式。全文中使用相同的數字指代附圖中顯示的相似的特征和元件:
[0013]圖1圖示了其中可實施物理對象檢測和觸摸屏交互的實施方式的示例性系統。
[0014]圖2圖示了根據一個或多個實施方式、利用觸摸屏顯示表面上的多功能直尺進行的物理對象檢測和觸摸屏交互的實施方式。
[0015]圖3和圖4圖示了根據一個或多個實施方式、參照觸摸屏顯示表面上的多功能直尺進行的物理對象檢測和觸摸屏交互的示例性方法。
[0016]圖5圖示了根據一個或多個實施方式、利用觸摸屏顯示表面上的鍵盤進行的物理對象檢測和觸摸屏交互的實施方式。
[0017]圖6進一步圖示了根據一個或多個實施方式的觸摸屏顯示表面上的鍵盤。
[0018]圖7、8和9圖示了根據一個或多個實施方式、參照觸摸屏顯示表面上的鍵盤進行的物理對象檢測和觸摸屏交互的示例性方法。
[0019]圖10圖示了具有可實施物理對象檢測和觸摸屏交互的實施方式的示例性設備的示例性系統。

【具體實施方式】
[0020]描述了物理對象檢測和觸摸屏交互的實施方式。例如鍵盤、多功能直尺或視頻慢進和快進裝置(video jog shuttle)的輸入裝置可放置在觸摸屏顯示表面上，其發起用于用戶交互的用戶接口元件和/或顯示的對象，例如在觸摸屏顯示表面上顯示的文本對象和形狀對象。例如，鍵盤可放置在觸摸屏顯示表面上并且文本對象被自動產生和顯示，以便為用戶輸入做好準備。類似地，多功能直尺可放置在觸摸屏顯示表面上，例如集成在平板計算設備中，并且對應于用戶模板輸入的形狀對象顯示在觸摸屏顯示表面上。
[0021]雖然可以以任何數目的不同設備、系統、網絡、環境和/或配置來實施物理對象檢測和觸摸屏交互的特征和概念，但是可在下面的示例性設備、系統和方法的上下文中描述物理對象檢測和觸摸屏交互的實施方式。
[0022]圖1描述了根據一個或多個實施方式的物理對象檢測和觸摸屏交互的示例性系統100。該不例性系統包括輸入設備102和計算設備104。輸入設備102可為用戶用來與計算設備和顯示的對象交互的任何類型的物理設備。輸入設備102的示例包括參照圖2至4描述的多功能直尺，參照圖5至9描述的鍵盤，視頻慢進和快進裝置(未顯示)和任何其它類型的輸入設備。計算設備104可實現為例如移動電話、平板電腦、計算設備、通信設備、娛樂設備、游戲設備、媒體播放設備和/或其它類型的設備的有線設備或無線設備中的任一個或其組合。如在108處所示，計算設備104包括輸入設備被放置在上面以用于觸摸屏交互的觸摸屏顯示表面106。如文中所述，觸摸屏顯示表面可為集成于計算設備中的電容性觸摸屏顯示器的任一種或其組合或任何類型的數字繪圖面板、獨立的桌面或桌面觸摸屏顯示表面。
[0023]所述設備中的任一個可利用各種組件來實施，例如利用處理系統和存儲器、以及參照圖10中所示的實施方式進一步說明的不同組件的任何數目和組合來實施。例如，輸入設備102包括存儲器110、處理器112和電源114，電源114例如為在輸入設備中實施的任何類型的電池或其它電源。輸入設備的存儲器110可保持設備的設備標識符116、設備數據118 (例如設備的可配置設置)、及用戶接口數據和設置。
[0024]輸入設備102包括可保持為在計算機可讀存儲介質，例如任何合適的存儲器設備或電子數據存儲設備(例如存儲器110)上存儲的可執行指令(例如軟件應用、組件或模塊)的交互模塊120。此外，可用輸入設備的處理器112執行交互模塊，以實施物理對象檢測和觸摸屏交互的實施方式。類似地，計算設備104可包括作為可執行指令(例如軟件應用、組件或模塊)的交互伴隨模塊122，當輸入設備被放置用于計算設備104的觸摸屏顯示表面106上的屏幕交互時，交互伴隨模塊122與輸入設備102的交互模塊120對接。
[0025]在實施方式中，交互模塊120和交互伴隨模塊122中的一個或者其組合實施物理對象檢測和觸摸屏交互的實施方式和技術。在實施中，計算設備104的交互伴隨模塊可為通過應用程序接口(API)與輸入設備102的交互模塊120交互的軟件應用。輸入設備102的交互模塊120和/或計算設備104的交互伴隨模塊122被實施以執行參照圖3、4和7?9描述的各種操作方法。
[0026]計算設備104還可包括接觸檢測系統124，例如當鍵盤、多功能直尺或其它類型的輸入設備被放置在觸摸屏顯示表面上時，接觸檢測系統124檢測在觸摸屏顯示表面106上的輸入設備102的電容性接觸。接觸檢測系統還可與計算設備104的交互伴隨模塊122和/或輸入設備102的交互模塊120交互。在實施方式中，當例如多功能直尺或鍵盤的輸入設備102被放置在計算設備的觸摸屏顯示表面106上時，其可具有可識別的接觸形狀。輸入設備的接觸形狀可為接觸點的定義的圖案，并且根據接觸點的定義的圖案可確定輸入設備在觸摸屏顯示表面上的位置和方向。
[0027]在實施中，輸入設備102還可傳輸以在基于網絡的數據存儲裝置(也稱為基于云或“在云中”)中存儲設備數據118、用戶設置和/或任何其它類型的配置信息，該基于網絡的數據存儲裝置被顯示為存儲設備數據和設置128的云存儲裝置126。例如，與圖5和圖6中顯示的鍵盤關聯的用戶接口設置可被存儲在云存儲裝置126中，并且當鍵盤(例如輸入設備102)被放置在觸摸屏顯示表面上以用于觸摸屏交互時，可通過鍵盤(例如輸入設備102)訪問該用戶接口設置。類似地，與圖2中顯示的多功能直尺關聯的用戶和設備設置可存儲在云存儲裝置126中，并且當多功能直尺(例如輸入設備102)被放置在觸摸屏顯示表面上以用于觸摸屏交互時，可通過多功能直尺(例如輸入設備102)訪問該用戶和設備設置。
[0028]文中描述的任何設備可通過網絡130進行通信，網絡130可實施為包括有線和/或無線網絡。還可使用任何類型的網絡拓撲和/或通信協議實施所述網絡，并且所述網絡可表示為或者以其他方式實施為兩個或更多個網絡的組合，以包括基于IP的網絡和/或因特網。網絡還可包括由移動網絡運營商和/或其它網絡運營商管理的移動運營商網絡，所述移動網絡運營商和/或其它網絡運營商例如為通信服務供應商、移動電話運營商和/或因特網服務提供商。
[0029]圖2圖示了利用觸摸屏顯示表面204上的多功能直尺202進行的物理對象檢測和觸摸屏交互的實施例200，觸摸屏顯示表面204例如集成在平板設備206中。多功能直尺202為參照圖1描述的輸入設備102的示例，并且平板設備206為參照圖1描述的計算設備104的示例。在這個示例200中，多功能直尺202是例如通過藍牙?、低功耗藍牙(BTLE)、WiFi?或另一種類型的無線通信與觸摸屏顯示表面通信的無線設備。觸摸屏顯示表面204是集成在便攜式計算設備例如平板設備206中的電容式觸摸屏顯示器的示例。
[0030]如視圖210中所示，多功能直尺202具有接觸點208 (例如電容式觸點)的定義的圖案，并且接觸點的圖案可被識別為多功能直尺。如在212所示，當多功能直尺放置在觸摸屏顯示表面204上時，在觸摸屏顯示表面204上識別出接觸點208的圖案。備選地或附加地，可以識別多功能直尺的任何配置、物理特征或電特征，例如當多功能直尺放置在觸摸屏顯示表面時多功能直尺的可識別的接觸形狀。由接觸點的可識別的接觸形狀和/或定義的圖案可確定多功能直尺在觸摸屏顯示表面上的位置和方向。在實施中，當接觸點208在閾值持續時間內就地保持穩定時，多功能直尺202的觸摸檢測系統可識別觸摸屏顯示表面204上的設備。然后，可從動作手勢區分接觸，所述動作手勢例如為可由用戶利用放置在觸摸屏顯示表面上的兩個手指發起的、諸如捏拉縮放(pinch to zoom)或展開動作手勢。
[0031]在實施中，多功能直尺202為與平板設備206和觸摸屏顯示表面204交互或對接的消費性電子設備，以布置各種形狀作為模板，從而輔助用戶用觸控筆或手指輸入進行繪圖。還可響應于多功能直尺被放置在平板設備的觸摸屏顯示表面204上，而發起數字繪圖工具的用戶接口 214，以在觸摸屏顯示表面204上進行顯示。多功能直尺202包括可選擇的形狀216和/或其它類型的繪圖模板引導。多功能直尺還可被實施為包括可選擇的和/或定制的模板，包括但不限于由多功能直尺加強或促進的繪圖、制圖、曲線板、建筑、電氣、手工藝、圖像印章和/或其它任何類型的屏上模板應用。
[0032]多功能直尺202可以采用使得軟件能夠利用與多功能直尺的交互的任何方式來加強觸摸屏顯示表面204和平板設備206的設備軟件。如參照圖1中顯示的示例性系統所描述的，多功能直尺202可包括與伴隨模塊通信的交互模塊(例如軟件構件或應用)，該伴隨模塊通過平板設備來實施并可與觸摸屏顯示表面一起操作。例如，多功能直尺的交互模塊可向包括觸摸屏顯示表面的計算設備的伴隨模塊傳輸多功能直尺的標識符以及用戶輸入。
[0033]用戶可選擇形狀216 (或其它類型的繪圖模板引導)作為多功能直尺202上的用戶輸入，并且在平板設備的觸摸屏顯示表面204上顯示對應于用戶形狀輸入的形狀對象。例如，用戶可選擇在多功能直尺上的線形狀216，并且在多功能直尺位于觸摸屏顯示表面上的同時，形狀對象218在觸摸屏顯示表面204上被顯示為繪圖形狀模板和/或用于觸控筆輸入的觸控筆引導線。然后，用戶可使用觸控筆220，手指或其它繪圖工具以在形狀對象218(例如觸控筆引導線)上劃線222。在這個示例中，形狀對象218被圖示為比用戶用觸控筆繪制的粗黑線222細的灰線。
[0034]在觸摸屏顯示表面204上顯示的形狀對象218與多功能直尺202關聯，并保持相對于多功能直尺的顯示位置224。將形狀對象拴系(tether)到多功能直尺，以保持相對于多功能直尺的顯示位置，并且形狀對象可與觸摸屏顯示表面上的多功能直尺一起移動和/或旋轉。此外，可選擇任何顯示的形狀對象，并且任何顯示的形狀對象包括角控點(cornerhandles)和/或邊緣控點(edge handles),以改變觸摸屏顯示表面上形狀對象的形狀、調整觸摸屏顯示表面上形狀對象的大小和/或改變觸摸屏顯示表面上形狀對象的位置。
[0035]在實施中，可從觸摸屏顯示表面移除多功能直尺，并且然后不顯示形狀對象(即繪圖模板或觸控筆引導線從觸摸屏顯示表面上消失)。備選地，在其它實施中，當從觸摸屏顯示表面上移除多功能直尺時，形狀對象可保持顯示為觸摸屏顯示表面上的繪圖元件。例如，形狀對象可首先顯示為繪圖模板，然后保持顯示，并且作為繪圖的一部分被包括在觸摸屏顯示表面上。
[0036]根據物理對象檢測和觸摸屏交互的一個或多個實施方式，分別參照圖3、4、7、8和9描述示例性方法300、400、700、800和900。總體而言，可使用軟件、固件、硬件(例如固定邏輯電路)、手動處理或它們的任何組合來實施這里描述的服務、組件、模塊、方法和操作。可以在存儲于計算機處理系統的本地或遠程的計算機可讀存儲介質上的可執行指令的廣義上下文中描述示例性方法，并且實施可包括軟件應用、程序、功能等。
[0037]圖3圖示了物理對象檢測和觸摸屏交互的示例性方法300，并且參照在觸摸屏顯示表面上的多功能直尺交互來總體上描述圖3。描述的方法中的順序不旨在被解釋為限制，而是可以任何順序來組合任何數目的方法操作和方法操作的組合，以實施方法或替代的方法。
[0038]在302，在計算設備的觸摸屏顯示表面上識別多功能直尺的接觸形狀。例如，當輸入設備被放置在平板設備(例如計算設備)的觸摸屏顯示表面204上時，平板設備206 (圖2)的交互伴隨模塊122 (圖1)識別多功能直尺202的接觸形狀。在實施中，多功能直尺包括被識別為多功能直尺的接觸形狀的接觸點208的定義的圖案。備選地或附加地，當多功能直尺放置在觸摸屏顯示表面上時，多功能直尺的任何配置、物理特征或電特征可被識別為輸入設備的接觸形狀。
[0039]在304，確定多功能直尺在觸摸屏顯示表面上的位置和方向。例如，平板設備206的交互伴隨模塊122確定多功能直尺202在平板設備的觸摸屏顯示表面204上的位置和方向，例如從多功能直尺的可識別的接觸形狀和/或基于接觸點208的定義的圖案。
[0040]在306，在多功能直尺上接收用戶形狀輸入。例如，多功能直尺202 (例如輸入設備102)的交互模塊120接收用戶形狀輸入，例如作為多功能直尺202上的用戶輸入的形狀216的接觸點(或其它類型的繪圖模板引導)。
[0041]在308，發起形狀對象以用于在觸摸屏顯示表面上顯示。例如，多功能直尺202的交互模塊120向平板設備206的交互伴隨模塊122傳輸(在306接收的)用戶輸入，交互伴隨模塊122發起該形狀對象以用于顯示。在多功能直尺位于觸摸屏顯示表面上的同時，用戶可選擇多功能直尺上的線形狀216，并且在觸摸屏顯示表面上顯示形狀對象218以作為繪圖形狀模板和/或用于觸控筆輸入的觸控筆引導線。這可包括在多功能直尺位于觸摸屏顯示表面上的同時，在觸摸屏顯示表面上顯示形狀對象以作為繪圖形狀模板。備選地或附加地，這可包括在觸摸屏顯示表面上顯示形狀對象以作為一個或多個觸控筆引導線，從而作為對于觸控筆輸入的引導。
[0042]在310，在觸摸屏顯示表面上顯示的形狀對象與多功能直尺關聯，在312，保持形狀對象相對于多功能直尺的顯示位置。例如，平板設備206的交互伴隨模塊122將形狀對象218與多功能直尺202關聯，并且將形狀對象拴系到多功能直尺，以保持相對于觸摸屏顯示表面上的多功能直尺的顯示位置。形狀對象與觸摸屏顯示表面上的多功能直尺一起移動和/或旋轉。
[0043]圖4圖示了物理對象檢測和觸摸屏交互的示例性方法400，并且參照在觸摸屏顯示表面上的多功能直尺交互來總體上描述圖4。描述的方法中的順序不旨在被解釋為限制，而是可以任何順序來組合任何數目的方法操作和方法操作的組合，以實施方法或替代的方法。
[0044]在402，向伴隨模塊傳輸多功能直尺的標識符，該伴隨模塊通過計算設備來實施并可與觸摸屏顯示表面一起操作。例如，多功能直尺202 (圖2)的交互模塊120 (圖1)向平板設備206 (例如計算設備)的交互伴隨模塊122傳輸輸入設備(例如多功能直尺)的設備標識符116。
[0045]在404，響應于多功能直尺被放置在觸摸屏顯示表面上，發起數字繪圖工具的用戶接口以用于在觸摸屏顯示表面上顯示。例如，當多功能直尺202被放置在觸摸屏顯示表面上時，平板設備206的交互伴隨模塊122發起數字繪圖工具的用戶接口 214，以用于在平板設備的觸摸屏顯示表面204上顯示。
[0046]在406，識別從觸摸屏顯示表面移除的多功能直尺，這有效地不顯示形狀對象。例如，平板設備206的交互伴隨模塊122識別從觸摸屏顯示表面204上移除的多功能直尺202，這有效地不顯示形狀對象(即繪圖模板或觸控筆引導線從觸摸屏顯示表面上消失)。
[0047]作為當從觸摸屏顯示表面上移除多功能直尺(在406)時不顯示形狀對象的替代方案，在408識別從觸摸屏顯示表面移除多功能直尺，并且在410，形狀對象在觸摸屏顯示表面上被顯示為繪圖元件。例如，平板設備206的交互伴隨模塊122識別從觸摸屏顯示表面204上移除多功能直尺202，并且保持顯示形狀對象，并且形狀對象被包括作為觸摸屏顯示表面上的繪圖的一部分。
[0048]圖5圖示了利用觸摸屏顯示表面504上的鍵盤502進行的物理對象檢測和觸摸屏交互的實施例500，觸摸屏顯示表面504例如為在計算設備506中集成的電容式觸摸屏顯示器，例如任何類型的數字繪圖桌面、獨立的桌面或平板觸摸屏顯示表面。鍵盤502為參照圖1描述的輸入設備102的示例，并且計算設備506為參照圖1描述的計算設備104的示例。在這個實施方式中，鍵盤502是例如通過藍牙?、低功耗藍牙(BTLE)、WiFi?或另一種類型的無線通信、與觸摸屏顯示表面通信的無線設備。
[0049]如在510所示，鍵盤502具有在鍵盤底部的接觸點508的定義的圖案(例如電容式觸點)，并且接觸點的圖案可識別為鍵盤。如在512所示，當鍵盤被放置在觸摸屏顯示表面上時，在觸摸屏顯示表面504上識別接觸點508的圖案。具有三個或更多個可識別的接觸點避免了鍵盤的觸摸檢測系統將移動手勢檢測為鍵盤，例如上面參照利用兩個可識別的接觸點實施的多功能直尺所描述的。備選地或另外地，當鍵盤被放置在觸摸屏顯示表面上時，可識別鍵盤的任何配置、物理特征或電特征，例如可識別的接觸形狀。根據接觸點的可識別的接觸形狀和/或定義的圖案可確定鍵盤在觸摸屏顯示表面上的位置和方向。
[0050]鍵盤502可以采用使得軟件能夠利用與鍵盤的交互的任何方式來加強觸摸屏顯示表面504和觸摸屏顯示表面(例如當實施為計算設備506時)的設備軟件。如參照圖1中顯示的示例系統所描述的，鍵盤502可包括與伴隨模塊通信的交互模塊(例如軟件組件或應用)，該伴隨模塊與觸摸屏顯示表面一起實施并且可與觸摸屏顯示表面一起操作。例如，鍵盤的交互模塊向觸摸屏顯示表面的伴隨模塊或向包括觸摸屏顯示表面的計算設備傳輸鍵盤的標識符及用戶的鍵盤輸入。
[0051]如在512所示，當鍵盤502被放置在觸摸屏顯示表面上時，文本對象514可顯示在觸摸屏顯示表面504上。在實施方式中，鍵盤自身發起文本對象，而不需要用戶必須導航菜單并選擇選項以創建文本對象。自動產生文本對象，并在觸摸屏顯示表面上顯示，為用戶輸入做好準備，減少了一個或多個用戶輸入。然后，傳輸至鍵盤的用戶按鍵輸入，以用于在觸摸屏顯示表面上的文本對象中顯示為字母數字字符。備選地，可響應于向鍵盤的用戶按鍵輸入，而發起文本對象，以用于在觸摸屏顯示表面上顯示。還可響應于鍵盤502被放置在觸摸屏顯示表面上，而發起用戶接口面板516，以用于在觸摸屏顯示表面504上顯示。用戶接口面板516可包括可選擇的文本編輯選項和/或到先前創建的文本對象的可選擇的鏈接以供用戶選擇以編輯先前創建的文本對象。
[0052]在觸摸屏顯示表面504上顯示的文本對象514與鍵盤502關聯，并保持相對于鍵盤的顯示位置518。文本對象可與鍵盤一起移動和/或旋轉520，以保持相對于觸摸屏顯示表面上的鍵盤的顯示位置。用戶接口面板516還與鍵盤關聯，并保持相對于鍵盤的顯示位置522，以便用戶接口面板也可與鍵盤一起移動和/或旋轉520，以保持相對于觸摸屏顯示表面上的鍵盤的顯示位置。
[0053]在實施中，例如當用戶選擇和拖動文本對象514以從鍵盤分離文本對象時，可從鍵盤502移開與鍵盤502關聯的文本對象。然后，可創建另外的文本對象，在觸摸屏顯示表面上顯示該另外的文本對象，并且將另外的文本對象與鍵盤關聯以便為用戶輸入做好準備。例如，用戶可打入同樣具有觸摸選擇選項的筆記或電子郵件，當完成打字時，從鍵盤拖走筆記或電子郵件，另一個文本對象(例如該示例中的筆記或電子郵件)被自動創建，并為用戶按鍵輸入做好準備。
[0054]當從觸摸屏顯示表面504上移除鍵盤502時，可不再顯示與鍵盤502關聯的文本對象，并且然后文本對象可響應于鍵盤被放置回觸摸屏顯示表面上而再次被顯示。如圖6所示以及參照圖6描述的，在鍵盤被放置在觸摸屏顯示表面上之前，文本對象也可顯示在觸摸屏顯示表面上。當鍵盤被放置在觸摸屏顯示表面上時，可基于鍵盤與所顯示的文本對象鄰近來選擇所顯示的文本對象，并將所顯示的文本對象與鍵盤關聯，以便能夠編輯文本。
[0055]在實施中，可使用具有一個以上鍵盤的較大的觸摸屏顯示表面，例如當用戶在雜志排版或其它項目上合作時。每個用戶可在觸摸屏顯示表面504上放置鍵盤，并且可與觸摸屏顯示表面一起操作的伴隨模塊(例如軟件應用或模塊)可區分鍵盤。例如，如在510所示，除了接觸點508的定義的圖案之外，可基于具有唯一地定位的接觸點524的每個鍵盤來區分鍵盤。每個用戶可隨機地在鍵盤的底部放置另外的接觸點524，以唯一地識別鍵盤。
[0056]在其它實施中，在觸摸屏顯示表面504檢測到的物理對象可包括放置在顯示于觸摸屏顯示表面的視頻的網格上的視頻慢進和快進裝置。可使用視頻慢進和快進裝置直接導航、預覽、拼接、以及以其他方式隨時間編輯視頻。還可在視頻慢進和快進裝置周圍或與視頻慢進和快進裝置結合來顯示屏幕上的用戶接口，以進一步促進用戶與視頻的交互，例如以選擇、編輯和剪切視頻的不同部分，以便為了進一步的編輯而在新的時間軸中組合。
[0057]圖6進一步圖示了利用參照圖5描述的計算設備506的觸摸屏顯示表面504上的鍵盤502進行的物理對象檢測和觸摸屏交互的實施例600。在這個實施例中，如在604所示，文件602顯示在觸摸屏顯示表面上，并且鍵盤502放置在該觸摸屏顯示表面上。在鍵盤被放置在觸摸屏顯示表面上之前，文本對象可顯示在觸摸屏顯示表面上。如在606處用文件選擇和移動手勢所示，可通過定位物理鍵盤或在物理鍵盤下方移動頁面布局(例如文件602)，而基于鍵盤的鄰近來選擇例如頁面布局中的已有的文本對象。備選地，用戶可僅拖動所選擇的文本，例如如果文本對象608還未已經是較大的、已組織的布局的一部分。
[0058]當鍵盤502放置在觸摸屏顯示表面504上時，可基于鍵盤與所顯示的文本對象的鄰近來選擇所顯示的文本對象608，并將所顯示的文本對象608與鍵盤關聯，以便能夠編輯文本。取代產生新的文本對象，鍵盤的物理放置可選擇當前的文本對象，為用戶按鍵輸入以編輯當前的文本做好準備。可自動地選擇最接近鍵盤的文本。
[0059]圖7描述了物理對象檢測和觸摸屏交互的示例性方法700，并且參照在觸摸屏顯示表面上的鍵盤交互來總體上描述圖7。描述的方法中的順序不旨在被解釋為限制，而是可以任何順序來組合任何數目的方法操作和方法操作的組合，以實施方法或替代的方法。
[0060]在702，在計算設備的觸摸屏顯示表面上識別鍵盤的接觸形狀。例如，當輸入設備放置在計算設備506的觸摸屏顯示表面504上時，計算設備506 (圖5)的交互伴隨模塊122 (圖1)識別鍵盤502的接觸形狀。在實施中，鍵盤包括接觸點508的定義的圖案，接觸點508的定義的圖案被識別為鍵盤的接觸形狀。備選地或另外地，當鍵盤放置在觸摸屏顯示表面上時，鍵盤的任何配置、物理特征或電特征可被識別為輸入設備的接觸形狀。
[0061]在704，向可與觸摸屏顯示表面一起操作的伴隨模塊傳輸鍵盤的標識符。例如，鍵盤502 (圖5)的交互模塊120 (圖1)向計算設備506的交互伴隨模塊122傳輸輸入設備(例如鍵盤)的設備標識符116。
[0062]在706，確定鍵盤在觸摸屏顯示表面上的位置和方向。例如，計算設備506的交互伴隨模塊122確定鍵盤502在計算設備的觸摸屏顯示表面504上的位置和方向，例如根據鍵盤的可識別的接觸形狀和/或基于接觸點508的定義的圖案。
[0063]在708，發起文本對象以用于在觸摸屏顯示表面上顯示。例如，當鍵盤502放置在觸摸屏顯示表面上時，計算設備506的交互伴隨模塊122產生文本對象514，以用于在計算設備506的觸摸屏顯示表面504上顯示。備選地，可響應于向鍵盤的用戶按鍵輸入而發起文本對象，以用于在觸摸屏顯示表面上顯示。
[0064]在710，在觸摸屏顯示表面上顯示的文本對象與鍵盤相關聯，在712，保持文本對象相對于鍵盤的位置。例如，計算設備506的交互伴隨模塊122將文本對象514與鍵盤502關聯，并將文本對象拴系到鍵盤，以保持相對于在觸摸屏顯示表面上的鍵盤的顯示位置。文本對象與觸摸屏顯示表面上的鍵盤一起移動和/或旋轉。
[0065]在714，在鍵盤上接收用戶按鍵輸入，在716，傳輸用戶按鍵輸入，以用于在觸摸屏顯示表面上的文本對象中作為字母數字字符而顯示。例如，鍵盤502 (例如輸入設備102)的交互模塊120接收向鍵盤的用戶按鍵輸入，并且交互模塊向計算設備506的交互伴隨模塊122傳輸用戶按鍵輸入，以用于在觸摸屏顯示表面上的文本對象中顯示為字母數字字符。
[0066]圖8圖示了物理對象檢測和觸摸屏交互的示例性方法800，并且參照在觸摸屏顯示表面上的鍵盤交互來總體上描述圖8。描述的方法中的順序不旨在被解釋為限制，而是可以任何順序來組合任何數目的方法操作和方法操作的組合，以實施方法或替代的方法。
[0067]在802，基于鍵盤與所顯示的文本對象的鄰近來選擇所顯示的文本對象，以便能夠編輯在鍵盤放置在觸摸屏顯示表面上之前所顯示的文本。例如，計算設備506 (圖5)的交互伴隨模塊122 (圖1)基于鍵盤與所顯示的文本對象的鄰近來選擇所顯示的文本對象608 (圖6)，以便能夠編輯在鍵盤放置在觸摸屏顯示表面上之前所顯示的文本。當鍵盤502放置在觸摸屏顯示表面504上時，可基于鍵盤與所顯示的文本對象的鄰近來選擇所顯示的文本對象608并將所顯示的文本對象608與鍵盤關聯。
[0068]在804，文本對象被識別為已經與鍵盤分離，并且在806，響應于文本對象已經與鍵盤分離而發起另外的文本對象，以用于在觸摸屏顯示表面上顯示。例如，計算設備506的交互伴隨模塊122識別何時文本對象與鍵盤分離時，例如何時用戶選擇和拖動文本對象514以使文本對象與鍵盤分離時。然后，創建另外的文本對象，并在觸摸屏顯示表面上顯示該另外的文本對象，并將該另外的文本對象與鍵盤關聯，以便為用戶輸入做好準備。
[0069]在808，鍵盤被識別為已被從觸摸屏顯示表面上移除，這有效地不顯示文本對象。例如，計算設備506的交互伴隨模塊122識別鍵盤502被從觸摸屏顯示表面上504移除，并且當從觸摸屏顯示表面上移除鍵盤時，不再顯示與鍵盤關聯的文本對象。在810，響應于識別出鍵盤被放置回觸摸屏顯示表面上而重新顯示文本對象。例如，計算設備506的交互伴隨模塊122識別鍵盤02被放置回觸摸屏顯示表面上，并且文本對象被顯示。
[0070]圖9圖示了物理對象檢測和觸摸屏交互的示例性方法900，并且參照在觸摸屏顯示表面上的鍵盤交互來總體上描述圖9。描述的方法中的順序不旨在被解釋為限制，而是可以任何順序來組合任何數目的方法操作和方法操作的組合，以實施方法或替代的方法。
[0071]在902，響應于鍵盤被放置在觸摸屏顯示表面上，發起用戶接口面板，以用于在觸摸屏顯示表面上顯示。例如，當鍵盤50放置在觸摸屏顯示表面上時，計算設備506的交互伴隨模塊122發起用戶接口面板516，以用于在計算設備的觸摸屏顯示表面504上顯示。用戶接口面板516可包括可選擇的文本編輯選項和/或到先前創建的文本對象的可選擇的鏈接以供用戶選擇以編輯先前創建的文本對象。
[0072]在904，用戶接口面板與鍵盤關聯，并且在906，保持用戶接口面板相對于鍵盤的顯示位置。例如，計算設備506的交互伴隨模塊122將用戶接口面板516與鍵盤502關聯，并將用戶接口面板拴系到鍵盤，以保持相對于在觸摸屏顯示表面上的鍵盤的顯示位置。用戶接口面板與觸摸屏顯示表面上的鍵盤一起移動和/或旋轉。在908，在用戶接口面板中顯示到先前創建的文本對象的可選擇的鏈接，以供用戶選擇以編輯先前創建的文本對象。例如，計算設備506的交互伴隨模塊122在用戶接口面板516中發起顯示到先前創建的文本對象的可選擇的鏈接，以供用戶選擇以編輯先前創建的文本對象。
[0073]圖10圖示了包含示例性設備1002的示例性系統1000，示例性系統1000可實施物理對象檢測和觸摸屏交互的實施方式。示例性設備1002可實施為參照圖1?9描述的設備和/或服務(例如服務器設備)中的任一個，例如任何類型的輸入設備、平板設備、計算設備、通信設備、娛樂設備、游戲設備、媒體播放和/或可實施為或包括觸摸屏顯示表面的其它類型的計算設備。例如，如圖2和圖5所示的多功能直尺202和/或平板設備206及鍵盤502、觸摸屏顯示表面504和/或計算設備506可被實施為示例性設備1002。
[0074]設備1002包括實現設備數據1006的有線和/或無線通信的通信設備1004，設備數據1006例如在設備上存儲的設備設置和數據、用戶數據和用戶接口配置設置。設備數據可包括任何類型的用戶數據和/或設備數據。通信設備1004還包括用于蜂窩電話通信和/或網絡數據通信的收發器。
[0075]設備1002還包括輸入/輸出(I/O)接口 1008，例如提供設備、數據網絡和其它設備之間的連接和/或通信線路的數據網絡接口。該I/o接口可用于將設備耦合到任何類型的組件、外圍設備和/或輔助設備，例如可與設備1002集成的觸摸屏顯示表面。該I/O接口還包括可經由其接收任何類型的數據、媒體內容和/或輸入的數據輸入端口，可經由該數據輸入端口接收的數據、媒體內容和/或輸入例如為向設備的用戶輸入、以及從任何內容源和/或數據源接收的任何類型的音頻、視頻和/或圖像數據。
[0076]設備1002包括可在硬件中至少部分地實施的處理系統1010，所述硬件例如處理可執行指令的任何類型的微處理器、控制器等。處理系統可包括集成電路、可編程邏輯設備、使用一個或多個半導體形成的邏輯設備和在硅和/或硬件中的其它實施，例如實施為片上系統(SoC)的處理器和存儲器系統。備選地或附加地，可用軟件、硬件、固件或可用處理及控制電路實施的固定的邏輯電路中的任一種或其組合來實施設備。設備1002可進一步包括任何類型的系統總線或耦合設備內的各種組件的其它數據和命令傳輸系統。系統總線可包括不同總線結構和架構及控制和數據線中的任一種或其組合。
[0077]設備1002還包括計算機可讀存儲介質1012，例如可被計算設備訪問并提供數據和可執行指令(例如，軟件應用、程序等)的永久存儲的數據存儲設備。計算機可讀存儲介質的示例包括非永久性存儲器和永久性存儲器、固定的和可移動的媒體設備和維護供計算設備訪問的數據的任何合適的存儲器設備或電子數據存儲裝置。計算機可讀存儲介質可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃存、和各種存儲設備配置中的其它類型的存儲介質的各種實現。
[0078]計算機可讀存儲介質1012提供對設備數據1006和各種設備應用1014的存儲，例如由計算機可讀存儲介質作為應用軟件來維護并通過處理系統1010實施的操作系統。在這個實施例中，設備應用還包括實施物理對象檢測和觸摸屏交互的交互模塊1016，例如當示例性設備1002實施為圖2顯示的多功能直尺202、或圖5顯示的鍵盤502時。交互模塊1016的示例包括如圖1中顯示并參照圖1描述的、通過輸入設備102實施的交互模塊120和通過計算設備104實施的交互伴隨模塊122。
[0079]設備1002還包括為音頻設備1020產生音頻數據和/或為顯示設備1022 (例如觸摸屏顯示表面)產生顯示數據的音頻和/或視頻系統1018。音頻設備和/或顯示設備包括處理、顯示和/或以其他方式呈現音頻、視頻、顯示和/或圖像數據的任何設備，例如數字照片的圖像內容。在實施中，音頻設備和/或顯示設備為示例性設備1002的集成組件。備選地，音頻設備和/或顯示設備為示例性設備的外部、外圍組件。
[0080]在實施方式中，可在分布式系統、例如在平臺1026中的“云”1024上實施所描述的用于物理對象檢測和觸摸屏交互的技術的至少一部分。云1024包括和/或表示用于服務1028和/或資源1030的平臺1026。平臺1026提取例如服務器設備(例如被包括在服務1028中)的硬件和/或軟件資源(例如作為資源1030被包括)的基本功能，并且連接示例性設備1002與其它設備、服務器等。
[0081]資源1030可包括在從示例性設備1002移除的服務器上執行計算機處理的同時被利用的應用和/或數據。另外，服務1028和/或資源1030可促進用戶網絡服務，例如通過因特網、蜂窩網絡或WiFi網絡。根據對于經由平臺實施的資源1030的需求，平臺1026還可用于提取和依比例決定到服務的資源，例如在具有在整個系統1000中分布的功能的互聯設備的實施方式中。例如，可在示例性設備1002處以及通過提取云1024的功能的平臺1026部分地實施所述功能。
[0082]雖然已經以對特征和/或方法特定的語言描述了物理對象檢測和觸摸屏交互的實施方式，但是所附權利要求書不必限于說明的具體的特征或方法。相反，公開具體的特征和方法以作為物理對象檢測和觸摸屏交互的示例性實施。
【權利要求】
1.一種輸入設備，包括: 接觸形狀，當所述接觸形狀被放置在發起對象以用于顯示的計算設備的觸摸屏顯示表面上時，所述接觸形狀可被識別為所述輸入設備，所述對象被保持在相對于所述觸摸屏顯示表面上的所述輸入設備的顯示位置； 處理系統，實施與所述計算設備的伴隨模塊對接的交互模塊，所述交互模塊被配置為: 接收向所述輸入設備的用戶輸入；以及 向所述計算設備的所述伴隨模塊傳輸所述用戶輸入以修改所述對象在所述觸摸屏顯示表面上的顯示。
2.根據權利要求1所述的輸入設備，進一步包括接觸點的定義的圖案，所述接觸點的所述定義的圖案可被識別為所述輸入設備的所述接觸形狀，并且其中根據所述接觸點的所述定義的圖案可確定所述輸入設備在所述觸摸屏顯示表面上的位置和方向。
3.根據權利要求1所述的輸入設備，其中所述輸入設備包括多功能直尺； 所述多功能直尺的所述交互模塊被配置為: 接收所述用戶輸入以作為在所述多功能直尺上的用戶形狀輸入；以及 向所述計算設備的所述伴隨模塊傳輸所述用戶形狀輸入，所述伴隨模塊發起所述對象以用于在所述觸摸屏顯示表面上作為形狀對象而顯示。
4.根據權利要求3所述的輸入設備，其中所述形狀對象是繪圖形狀模板，所述繪圖形狀模板被配置為在所述多功能直尺位于所述觸摸屏顯示表面上的同時顯示于所述觸摸屏顯示表面上。
5.根據權利要求3所述的輸入設備，其中所述形狀對象是一個或多個觸控筆引導線，所述一個或多個觸控筆引導線被配置為作為對于觸控筆輸入的引導而在所述觸摸屏顯示表面上顯示。
6.根據權利要求3所述的輸入設備，其中所述形狀對象被拴系到所述多功能直尺以保持相對于所述多功能直尺的所述顯示位置。
7.根據權利要求3所述的輸入設備，其中當從所述觸摸屏顯示表面上移除所述多功能直尺時，所述形狀對象保持被顯示為所述觸摸屏顯示表面上的繪圖元件。
8.根據權利要求3所述的輸入設備，其中所述多功能直尺的所述交互模塊被配置為響應于所述多功能直尺被放置在所述觸摸屏顯示表面上來發起數字繪圖工具的用戶接口以用于在所述觸摸屏顯示表面上顯示。
9.根據權利要求1所述的輸入設備，其中所述輸入設備包括鍵盤； 所述計算設備的所述伴隨模塊響應于所述鍵盤被識別來發起對象以用于作為文本對象而在所述觸摸屏顯示表面上顯示；并且 所述鍵盤的所述交互模塊被配置為: 接收作為向所述鍵盤的用戶按鍵輸入的所述用戶輸入；以及 傳輸所述用戶按鍵輸入以用于作為所述文本對象中的字母數字字符而顯示。
10.根據權利要求9所述的輸入設備，其中基于所述鍵盤與所顯示的文本對象的鄰近來選擇所顯示的文本對象，以便能夠編輯在所述鍵盤被放置在所述觸摸屏顯示表面之前所顯示的文本。
11.根據權利要求9所述的輸入設備，其中: 當從所述觸摸屏顯示表面上移除所述鍵盤時，不顯示所述文本對象；并且 響應于所述鍵盤被放置回所述觸摸屏顯示表面上來重新顯示所述文本對象。
12.根據權利要求1所述的輸入設備，進一步包括被配置為維護所述輸入設備的標識符的存儲器，并且其中所述輸入設備的所述交互模塊被配置為向所述計算設備的所述伴隨模塊傳輸所述標識符。
13.—種方法,包括: 當輸入設備被放置在觸摸屏顯示表面上時，基于所述輸入設備的接觸形狀來識別所述輸入設備； 發起對象以用于在所述觸摸屏顯示表面上顯示，所述對象被保持在相對于所述觸摸屏顯示表面上的所述輸入設備的顯示位置； 接收用戶輸入；以及 基于所述用戶輸入來修改在所述觸摸屏顯示表面上顯示的所述對象。
14.根據權利要求13所述的方法，其中接觸點的定義的圖案可被識別為所述輸入設備的所述接觸形狀，所述方法進一步包括: 根據所述接觸點的所述定義的圖案來確定所述輸入設備在所述觸摸屏顯示表面上的位置和方向。
15.根據權利要求13所述的方法，其中: 所述輸入設備包括多功能直尺； 接收所述用戶輸入以作為在所述多功能直尺上的用戶形狀輸入；以及 基于所述用戶形狀輸入來發起所述對象以用于在所述觸摸屏顯示表面上作為形狀對象而顯示。
16.根據權利要求15所述的方法，其中所述形狀對象為以下各項之一: 繪圖形狀模板，在所述多功能直尺位于所述觸摸屏顯示表面上的同時所述繪圖形狀模板顯示于所述觸摸屏顯示表面上；或者 繪圖元件，當從所述觸摸屏顯示表面上移除所述多功能直尺時，所述繪圖元件保持被顯示于所述觸摸屏顯示表面上。
17.根據權利要求15所述的方法，進一步包括: 響應于識別出所述多功能直尺被放置在所述觸摸屏顯示表面上來發起數字繪圖工具的用戶接口以用于在所述觸摸屏顯示表面上顯示。
18.根據權利要求13所述的方法，其中: 所述輸入設備包括鍵盤； 響應于識別出所述鍵盤來發起所述對象以用于作為文本對象而在所述觸摸屏顯示表面上顯示；以及 接收作為向所述鍵盤的用戶按鍵輸入的所述用戶輸入以用于作為所述文本對象中的字母數字字符而顯示。
19.一種多功能直尺，包括: 接觸點的定義的圖案，所述接觸點的定義的圖案在放置在計算設備的觸摸屏顯示表面上時被識別為所述多功能直尺； 實施交互模塊的處理系統，所述交互模塊被配置為: 與由所述計算設備實施并且可與所述觸摸屏顯示表面一起操作的伴隨模塊通信； 接收所述多功能直尺上的用戶形狀輸入；以及 發起對應于所述用戶形狀輸入的形狀對象以用于在所述觸摸屏顯示表面上顯示。
20.根據權利要求19所述的多功能直尺，其中: 所述多功能直尺在所述觸摸屏顯示表面上的位置和方向可根據所述接觸點的所述定義的圖案來確定；并且 基于所述多功能直尺在所述觸摸屏顯示表面上的所述位置和所述方向，所述形狀對象被保持在相對于所述多功能直尺的顯示位置。
【文檔編號】G06F3/0488GK104133581SQ201410154201
【公開日】2014年11月5日 申請日期:2014年4月14日 優先權日:2013年5月2日
【發明者】R·泰基森, T·W·庫庫爾斯基, M·W·高夫, G·C·多德, G·C·馬斯卡利諾 申請人:奧多比公司