作者：Khang Nguyen ,Tuan Dang等

作者機構(gòu)：Robotics Laboratory, Department of Computer Science and Engineering, University of Texas at Arlington, Arlington

本文提出了一種用于具有雙目視覺的自主機器人的三維語義場景感知的端到端流程。該流程包括實例分割、特征匹配和點集配準(zhǔn)。首先，利用RGB圖像進行單視圖三維語義場景分割，將2D數(shù)據(jù)集中的常見對象類封裝為物體實例的點云。然后，根據(jù)RGB圖像中感興趣對象之間的匹配關(guān)鍵點提取兩個連續(xù)分割點云的3D對應(yīng)點。此外，利用核密度估計（KDE）估計的分布對每對3D點進行加權(quán)，從而在解決點云之間的剛性變換時給出了更少中心對應(yīng)點的魯棒性。最終，在7自由度雙臂Baxter機器人上測試了該流程，結(jié)果表明機器人可以成功分割對象、在移動時注冊多個視圖并抓取目標(biāo)對象。

讀者理解：

這篇文章介紹了一種用于移動協(xié)作機器人的RGB-D感知的端到端處理流程。該流程包括實例分割、特征匹配和對齊，旨在幫助機器人在移動過程中理解場景并執(zhí)行操作。文章提出的方法首先對場景中感興趣的對象進行分割，并在機器人移動時匹配連續(xù)的RGB圖像中的特征，然后利用深度圖獲取3D對應(yīng)關(guān)系。通過統(tǒng)計加權(quán)這些3D對應(yīng)關(guān)系，使用核密度估計（KDE）進行剛性點云對齊。實驗結(jié)果表明，在實際機器人上進行的測試中，機器人能夠成功地理解場景并抓取目標(biāo)物體，驗證了所提出方法的有效性。文章的主要貢獻在于提出了一種綜合性的處理流程，為移動機器人在復(fù)雜環(huán)境中的感知和操作提供了重要參考。

1 引言

本文介紹自我中心視覺在機器和人類視覺中的重要性，特別是在密集環(huán)境中的作用。為了改善自主機器人的操作任務(wù)，需要對感興趣物體的空間信息進行三維感知。目前的分割和配準(zhǔn)任務(wù)通常是分開進行的，但同時部署這兩個過程會導(dǎo)致計算成本高昂。因此，本文旨在實現(xiàn)輕量級的自我中心3D分割、特征匹配和場景重建流程，以提高基于視覺的室內(nèi)移動協(xié)作機器人的性能。已有的工作主要集中在學(xué)習(xí)圖像之間的匹配特征，但對于室內(nèi)移動協(xié)作機器人，還需要關(guān)注感興趣對象的空間占據(jù)信息。為了填補先前工作的空白并改善基于視覺的移動協(xié)作機器人的3D語義場景感知，本文提出了三項貢獻：

（1）一種提取和統(tǒng)計加權(quán)3D對應(yīng)點以進行剛性點云對準(zhǔn)的穩(wěn)健方法，

（2）一種用于具有雙目視覺的自我中心機器人的端到端分割、特征匹配和全局配準(zhǔn)流程，

（3）使用真實機器人系統(tǒng)進行測試，以驗證提出方法的正確性。

2 自我中心的3d對象分割

本節(jié)提出了一種算法，用于自我中心地在RGB-D幀中分割物體。該算法首先從圖像流中獲取深度圖像D和RGB圖像I，然后分割出I中的感興趣對象以獲得對象的掩碼MI。接著，對D進行孔填充以保證結(jié)果質(zhì)量，然后與I相對齊。隨后，處理對齊深度幀Dalign的像素，以校正MI之外的深度像素，并將其轉(zhuǎn)換為PM中的點。最后，通過刪除深度圖像中可能由孔造成的異常值來清理PM。

3 特征檢測與匹配

本節(jié)介紹了自我中心3D物體分割中特征檢測和匹配的算法。首先，將1D位置嵌入應(yīng)用到2D域中，以提高特征提取學(xué)習(xí)過程，并設(shè)計了特征提取網(wǎng)絡(luò)。然后，利用分割掩碼提供SuperPoint每個對象的掩碼RGB圖像，以確保特征掃描區(qū)域在掩碼區(qū)域內(nèi)。接著，為兩個連續(xù)幀中的每個對應(yīng)對象創(chuàng)建相應(yīng)對象的掩碼RGB圖像，并在每對圖像上應(yīng)用重新訓(xùn)練后的SuperPoint，以提取和匹配每個對象實例內(nèi)的2D關(guān)鍵點。最后，聚合匹配的特征并計算點云之間的3D對應(yīng)關(guān)系。這一方法避免了特征在不相關(guān)對象之間的匹配，并且提高了物體實例的準(zhǔn)確性和一致性。

4 點云對齊與配準(zhǔn)

本節(jié)詳細(xì)介紹了點云對齊與配準(zhǔn)的過程，主要包括兩個關(guān)鍵步驟：3D對應(yīng)關(guān)系的重要性加權(quán)和剛性運動的點云對齊。

3D對應(yīng)關(guān)系的重要性加權(quán)：

權(quán)重初始化：根據(jù)每個點周圍特定半徑內(nèi)的鄰近點數(shù)初始化該點的權(quán)重。

密度估計：使用KDE和ISJ算法估計未知分布的密度，以獲得魯棒性。

權(quán)重更新：根據(jù)密度函數(shù)更新每個點的權(quán)重，以更好地表示其重要性。

剛性運動的點云對齊：

計算平移向量：計算加權(quán)質(zhì)心，用于平移點云。

計算旋轉(zhuǎn)矩陣：通過奇異值分解得到旋轉(zhuǎn)矩陣，用于旋轉(zhuǎn)點云。

定義剛性變換矩陣：將平移向量和旋轉(zhuǎn)矩陣組合成剛性變換矩陣。

點云對齊：應(yīng)用剛性變換矩陣，將兩個多視點云進行對齊。

5 實驗

SuperPoint with Positional Embedding的性能：在MS COCO 2014數(shù)據(jù)集上，使用2D位置嵌入重新訓(xùn)練了SuperPoint，并在MagicPoint標(biāo)記的興趣點上進行了微調(diào)。通過對圖像進行調(diào)整和增強，如隨機亮度和對比度、高斯噪聲、陰影和運動模糊，訓(xùn)練了具有128維度的位置嵌入的SuperPoint。訓(xùn)練過程在NVIDIA RTX 4090 GPU上進行了10個時期（300,000次迭代）。實驗結(jié)果顯示，SuperPoint在HPatches數(shù)據(jù)集上表現(xiàn)出色，具有較強的魯棒性，尤其在亮度變化和視角變化等常見場景下。

多角度下的點云對齊誤差：通過在距離場景2米的平面表面上移動攝像機，包括0°（初始位置）、±10°、±20°、±30°和±45°等不同角度，計算了兩個對應(yīng)點集Kt?1和Kt之間的均方根誤差（RMSE）。實驗結(jié)果表明，隨著偏移角度的增加，RMSE變大，同時證明了KDE在減小對齊誤差方面的有效性。

在Baxter機器人上的部署實驗：

實驗設(shè)置：在Baxter機器人上安裝Intel RealSense D435i RGB-D相機，并設(shè)置了一個桌子、一把椅子、一個包和兩個塑料杯的場景。

機器人移動與多視角拍攝：Baxter先站在一個位置拍攝一個視角，然后移動到另一個角度拍攝另一個視角，其運動由Dataspeed移動底座支持，通過ROS消息進行同步。

多視角點云分割與對齊：在捕獲多視角點云后，Baxter首先對場景中的對象進行分割，然后匹配兩個視圖之間的3D對應(yīng)關(guān)系，最后解決了權(quán)重3D對應(yīng)關(guān)系的剛性對齊，最終獲得了對場景的理解。

靠近和抓取目標(biāo)物體：Baxter演示了使用3D語義場景感知進行機器人抓取的可行性，當(dāng)目標(biāo)物體在機器人的工作空間內(nèi)時，Baxter可以有效地抓取這些物體。

在傳統(tǒng)硬件上的時間復(fù)雜度：使用OpenVINO庫在Intel HD Graphics 4000上部署了YOLOv8n，評估了分段、關(guān)鍵點提取和匹配、關(guān)鍵點加權(quán)以及點云對齊等步驟的時間復(fù)雜度和運行時間。

?

6 結(jié)論

本研究提出了一種用于RGB-D感知移動協(xié)作機器人的端到端流程，包括實例分割、特征匹配和對齊。通過在實際機器人上進行的實驗，驗證了該方法的有效性，機器人能夠理解場景并執(zhí)行操作。

?

審核編輯：黃飛

?