Skip to the content.

前視角智慧桌球系統

關鍵字: 深度學習 邊緣運算 多線程處理 幀差累積法



站內連結:

首頁與預覽
桌球3D軌跡
還原系統

前視角智慧
桌球系統

強化學習之
模擬避障

音樂歌手辨識



作品簡介:

此作品為碩士論文
此作品為進行中的產學合作計畫,因此不會透漏實際完整模型架構與實現方法。

本作品希望設計一款智慧桌球系統,結合發球機與手機端APP,讓旁觀者與使用者可以即時知道桌球打至的位置,也可以事後分析落球點統計數據,了解自己的打點,從而擬定訓練計畫。

系統特色

系統功能


運行畫面 (gif動圖):

左: 原始影像與預測heatmap; 中: 幀差累積圖; 右: 落球位置還原,紅色為最新落球點,橘色為歷史落球點)

image


球桌偵測

使用深度神經網路預測球桌的關鍵點(共6點),再透過相機校正與轉換矩陣等運算,用於還原落球點在球桌上的位置。

image


幀差累積法

結合傳統影像處理的幀差法,發展出進階的幀差累積法,能夠顯現出桌球的移動軌跡,再從軌跡中找出落球點。

image


深度模型預測

透過深度神經網路(FCOS style network)來偵測幀差累積圖中是否有落球點與其位置。

image


FCOS模型 (引用自: https://arxiv.org/abs/1904.01355)

採用的神經網路為類似於FCOS的設計,並經過各式輕量化方式與平行處理來達成能在邊緣裝置上運作。

image


更多落球點預測結果

大多情況下,包含軌跡有斷點或畫面有雜訊,深度神經網路都能預測準確。

image



回到頂部