本發明涉及售貨柜商品識別，具體涉及基于人工智能模型的售貨柜商品識別算法。

背景技術：

1、在現代零售環境中，售貨柜商品的陳列方式對消費者的購買決策具有重要影響。如何優化商品擺放策略以最大化銷售轉化率，已成為智能零售系統的重要研究方向。當前，智能零售主要依賴于商品識別、消費者行為分析、庫存管理等技術，但在實際應用中仍然存在諸多挑戰，尤其是在如何精準獲取消費者的購買意向指數，并基于此調整商品陳列方案方面存在明顯不足。

2、目前的商品陳列優化主要依賴于經驗法則和銷售數據分析，例如，售貨柜通常根據暢銷品與滯銷品的歷史銷售數據，結合市場營銷策略（如促銷活動、捆綁銷售）進行貨架陳列調整，這種方式存在以下問題：

3、滯后性：基于銷售數據的優化方法只能在事后分析商品銷量，無法在消費者決策前預測其購買意向，從而缺乏實時調整能力；

4、未考慮消費者行為因素：當前優化方案主要基于銷量數據，未充分利用消費者在購物過程中的行為特征（如觸摸交互等）來動態優化陳列。

技術實現思路

1、針對現有技術所存在的上述缺點，本發明提供了基于人工智能模型的售貨柜商品識別算法，能夠有效解決現有技術中無法結合消費者的行為特征動態優化售貨柜商品陳列的問題。

2、為實現以上目的，本發明通過以下技術方案予以實現：

3、本發明提供基于人工智能模型的售貨柜商品識別算法，包括如下步驟：

4、在商品圖像中檢測出商品區域和消費者手部區域；

5、將消費者與商品之間的交互構造成圖結構，形成交互圖，包括：

6、在候選交互事件中分別計算交并比、手部運動軌跡曲率以及加速度，其中：

7、利用擬合曲線與其導數計算手部運動軌跡曲率；

8、引入貝葉斯估計方法結合上一幀的加速度和當前幀速度變化的觀測數據，建立先驗分布和觀測概率，實現加速度的最大后驗估計，基于爾曼濾波方法，根據預測誤差動態調整過程噪聲協方差和觀測噪聲協方差，得到更新的加速度；

9、依據交并比、手部運動軌跡曲率以及更新的加速度確定綜合評分，判定圖像幀中發生的商品的交互事件；

10、將交互事件作為圖中的節點，利用時間間隔和空間距離構造邊，通過節點和邊構成圖結構，實現交互圖的構建；

11、將交互圖輸入至圖神經網絡中進行節點特征聚合，通過捕捉全局時空依賴輸出每個商品潛在的購買意向指數，并利用該購買意向指數實現商品陳列的優化。

12、進一步地，得到消費者手部區域時，對特征點跟蹤確定光流匹配點，具體如下：

13、選取圖像幀中的特征點集合，表示圖像幀中的第個特征點坐標為，表示圖像幀中選取的特征點總數；

14、求解每個特征點在下一幀中的運動位移；

15、設特征點的運動在其局部鄰域窗口內保持一致，在局部鄰域窗口內最小化誤差：

16、

17、其中，表示以特征點為中心的鄰域窗口，、分別表示特征點在和方向的位移；

18、通過找到最優的運動位移，得到光流匹配點，形成匹配點對；

19、輸入特征點匹配集；

20、計算候選變換矩陣；

21、計算所有光流匹配點的變換誤差，結合變換誤差重新確定光流匹配點。

22、進一步地，手部運動軌跡曲率的確定方法為：

23、設在連續多幀中手部中心位置序列為；

24、表示在時刻手部中心在圖像幀中的坐標，表示起始時刻，表示采集的連續幀數；

25、進行魯棒曲線擬合：

26、

27、其中，表示擬合曲線，表示擬合曲線的坐標函數，表示擬合曲線的二階導數，表示平滑參數；

28、計算手部運動軌跡曲率：

29、

30、其中，、分別表示、關于的導數，、分別表示、的二階導數。

31、進一步地，加速度的最大后驗估計的確定方法為：

32、確定當前幀的先驗估計，表示上一幀估計的加速度，表示過程噪聲協方差；

33、觀測概率：

34、

35、其中，表示觀測噪聲協方差，表示幀間時間間隔，表示正態分布；

36、計算后驗加速度分布，表示歸一化常數；

37、確定最大后驗估計：

38、

39、其中，表示在時間時通過最大后驗估計得到的加速度值，、分別表示和的逆值。

40、進一步地，得到更新的加速度的方法為：

41、確定當前幀的預測加速度，表示在時間通過最大后驗估計（map）計算得到的加速度值；

42、更新協方差：，表示預測到時間的加速度估計誤差協方差，

43、計算卡爾曼增益；

44、計算更新后的手部加速度，表示當前幀通過觀測獲得的加速度觀測值。

45、交互事件生成后，形成交互圖的方法為：

46、每個交互事件生成交互事件節點；

47、若交互事件節點與交互事件節點分別對應相鄰幀內的交互事件，則構造邊，基于交互事件節點和邊構造交互圖。

48、交互事件節點，其包含：

49、商品類別、商品位置、手部觸碰時長、手部運動速度。

50、進一步地，所述邊的特征包括：

51、節點時間間隔，、分別表示交互事件節點、的出現時刻；

52、空間距離，、分別表示交互事件節點的坐標，、分別表示交互事件節點的坐標。

53、進一步地，將交互圖輸入至圖神經網絡中進行節點特征聚合的方法為：

54、設交互圖中參與特征聚合的節點為，初始特征為；

55、圖卷積的更新公式為：

56、

57、其中，表示第層節點的特征，表示節點的鄰居節點集合，和分別表示第層的權重矩陣和偏置，表示激活函數。

58、進一步地，通過捕捉全局時空依賴輸出商品潛在的購買意向指數的方法為：

59、對每個節點計算購買意向指數：

60、

61、其中，表示第個節點的購買意向指數，表示中的第個節點的特征向量，、分別表示全連接層的權重矩陣和偏置。

62、本發明提供的技術方案，與已知的現有技術相比，具有如下有益效果：

63、基于單攝像頭視頻數據，通過連續幀間特征跟蹤后構造消費者交互圖，再利用圖神經網進行局部特征聚合，隨后通過捕捉全局時空依賴，預測出每個商品的潛在購買意向指數，利用交互圖結構化描述消費者行為，保留每次交互的詳細特征（如商品類別、位置、手部觸碰時長和運動速度），通過圖卷積和transformer實現多層次信息融合，在僅依靠單一視覺數據的前提下實現高精度的行為建模和購買意向預測，以便對商品布局進行迭代優化，使高購買意向商品優先分配至更合理的陳列位置，實現售貨柜商品的陳列配置，亦提高用戶購買體驗。

技術特征：

1.基于人工智能模型的售貨柜商品識別算法，其特征在于，包括如下步驟：

2.根據權利要求1所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，得到消費者手部區域時，對特征點跟蹤確定光流匹配點，具體如下：

3.根據權利要求2所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，所述手部運動軌跡曲率的確定方法為：

4.根據權利要求3所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，所述加速度的最大后驗估計的確定方法為：

5.根據權利要求4所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，得到更新的加速度的方法為：

6.根據權利要求5所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，所述交互事件生成后，形成交互圖的方法為：

7.根據權利要求6所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，所述交互事件節點，其包含：

8.根據權利要求6所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，所述邊的特征包括：

9.根據權利要求1所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，所述將交互圖輸入至圖神經網絡中進行節點特征聚合的方法為：

10.根據權利要求9所述的基于人工智能模型的售貨柜商品識別算法，其特征在于，通過捕捉全局時空依賴輸出商品潛在的購買意向指數的方法為：

技術總結
本發明涉及售貨柜商品識別技術領域，具體涉及基于人工智能模型的售貨柜商品識別算法。基于單攝像頭視頻數據，通過連續幀間特征跟蹤后構造消費者交互圖，再利用圖神經網進行局部特征聚合，隨后通過捕捉全局時空依賴，預測出每個商品的潛在購買意向指數，利用交互圖結構化描述消費者行為，保留每次交互的詳細特征，通過圖卷積和Transformer實現多層次信息融合，在僅依靠單一視覺數據的前提下實現高精度的行為建模和購買意向預測，以便對商品布局進行迭代優化，使高購買意向商品優先分配至更合理的陳列位置，實現售貨柜商品的陳列配置，亦提高用戶購買體驗。

技術研發人員：張維,洪旺生,張威
受保護的技術使用者：浙江嗨便利網絡科技有限公司
技術研發日：
技術公布日：2025/4/28