変形ARマーカの位置・姿勢推定
変形ARマーカの高速，高精度な3次元位置・姿勢推定と組み込みボードへの実装
Project Details
- Start : 2024.4
- Collaborator : 浅野右京，合志武瑠
概要
近年，2次元コードが普及し，キャッシュレス決済やロボットの自己位置推定など様々な用途で利用されている． しかし，2次元コードは変形すると認識や位置・姿勢推定が難化する問題がある．
このような背景から，変形したARマーカの高速かつ高精度な3次元位置・姿勢推定法を提案する． 本研究では，従来手法から"物体検出器の変更"，“Augmented Autoencoder(AAE)の拡張”，“回帰の導入”，“2つのモデルの交互最適化"により高速化と高精度化を実現した． また，組み込みボードで実用性の検証を行った．
提案手法
変形ARマーカの位置・姿勢推定の流れ
提案手法は以下の流れで位置・姿勢推定を行う．
- NanoDet-Plusにより変形ARマーカを検出
- 検出した変形ARマーカからエンコーダにより潜在変数を取得
- 潜在変数からMLPにより姿勢を推定
- 変形ARマーカのバウンディングボックスと推定姿勢より位置を推定
提案手法の流れ
NanoDet-Plusの導入
変形ARマーカの検出を従来法のSingle Shot Multibox Detector(SSD)からNanoDet-Plusに変更した． NanoDet-Plusは軽量かつ高速なアンカーフリーの物体検出器である． この物体検出器を取り入れることで，高速かつ高精度な変形ARマーカの検出が可能となった．
AAEの拡張
本研究では従来法のAAEにVariational Autoencoder(VAE)を導入したAugmented Variational Autoencoder(AVAE)を用いる． 画像からノイズとなる情報を除去するAAEの機能と入力データの背後にある法則性を潜在変数に獲得するVAEを組み合わせることで， 変形ARマーカの背景や変形を除去しながら，姿勢の連続性を獲得することが期待できる．
2つのモデルの交互最適化
AVAEでは変形除去，Multi-Layer Perceptron(MLP)では姿勢推定を行う目的でモデルが構成されている． しかし，2つのモデルを同時に最適化することができないため，2つのモデルを交互に最適化する． AVAEのエンコーダとデコーダは復元画像と教師画像の誤差で重みを更新，AVAEのエンコーダとMLPを推定姿勢と正解姿勢の誤差で重みを更新することを交互に繰り返し学習する． これにより，AVAEのエンコーダでノイズとなる背景や変形を除去しながら，姿勢推定に必要な情報のみを表現する潜在変数の出力が可能となる．
2つのモデルの交互最適化
評価実験と結果
SSDとAAE，最近傍法により位置・姿勢推定を行う従来法と提案手法の位置・姿勢推定精度と処理時間を比較する． 提案手法は位置の平均誤差が26.9[%]減少し，姿勢の平均誤差が62.7[%]減少した． また，1枚あたりの処理時間は99.3[%]高速化した．
| 比較手法 | 位置推定誤差 [mm] | 姿勢推定誤差 [deg] | 処理時間 [s] | ||||
|---|---|---|---|---|---|---|---|
| x | y | z | Roll | Pitch | Yaw | ||
| 従来法 | 3.84 | 2.40 | 13.84 | 0.68 | 7.84 | 7.32 | 15.0 |
| 提案手法 | 2.51 | 1.51 | 10.68 | 0.83 | 2.61 | 2.48 | 0.102 |
実環境での変形ARマーカの位置・姿勢推定
実環境の変形ARマーカに対して位置・姿勢推定の様子を以下に示す． ワイヤーフレームの色がARマーカのIDを表し，ワイヤーフレームの大きさや向きが変形ARマーカの位置・姿勢を表している．