人的手指VS本文提出的OmniTact新型觸覺傳感器

觸覺對于機器人的靈巧操作十分重要，近年來凝膠觀測（GelSight）傳感器由于低成本和豐富的觸覺信號吸引了基于學習的機器人領域研究人員的大量關注。GelSight被用于USB線纜插入、擲骰子、物體抓取等領域的研究。

GelSight傳感器在基于學習的方法下工作良好主要是由于它可以輸入高分辨率的觸覺圖像，從中可以獲取包括目標幾何外形、表面紋理、法向量、剪切力等豐富的特征，這些信息對于機器人的控制十分重要。

觸覺圖像可以利用標準的計算機視覺卷積網(wǎng)絡進行處理，由此出現(xiàn)了一系列廣泛的研究成果：Calandra等人基于GelSight數(shù)據(jù)利用自監(jiān)督的方法訓練了抓取成功分類器的模型；Tian等人則提出了基于視頻預測的控制算法Visual Foresight，使得機器人可以基于純粹觸覺圖像來擲骰子；Lambeta等人還提出了一種基于GelSight圖像的強化學習算法應用于手工操作。

但將GelSight傳感器應用于實際工作中還受限于尺寸和視場問題。目前的GelSight傳感器都只有單個方向具有傳感能力，同時尺寸較大不方便在實際操作中使用。在這篇文章中，研究人員提出了一種更為緊致的全向傳感器，可以實現(xiàn)像人類手指一樣的全方位感知，為感知運動學習提供了新的思路。

GelSight傳感器

下圖顯示了先前的觸覺傳感器和目前的新型傳感器對比圖，左圖是標準的GelSight傳感器，基于webcam來捕捉硅膠外殼形變的高分辨率圖像，內部由不同顏色的光照射，為觸覺提供了豐富的彩色圖像。可以看到其視野只有朝向外部的一個方向，并且傳感器的尺寸較大表面較為平滑，感受野較小，分辨率較低（～400x400 pixels），不適宜較小物體的觸覺感知。而商用的OptoForce力傳感器則只能提供比較單一的力矢量，無法滿足精細化的操作要求。

GelSight標準傳感器和本文提出的OmniTact傳感器的比較

OmniTact Sensor

而OmniTact的設計則克服了這些確定，它配備了多個方向攝像頭和高分辨率的感知結果，同時彎曲硅膠曲面包裹的傳感器更為緊湊適應性更好（上圖中右側灰色矩形代表了攝像頭，橙色線則表示感知視野）。與GelSight相似，OmniTact也利用了嵌入在硅膠外殼內的攝像頭來捕捉形變信息，可以提供包括剪切－法向力、目標位姿、幾何形狀、材料特性等豐富的信息。

OmniTact的特點在于使用了多個相機同時實現(xiàn)高分辨率和多方向感知能力，制作成像手指一樣小巧外形的傳感器可以被集成到夾爪或者機器手上。OmniTact利用了內窺鏡中的微型相機來保證了傳感器的小型化，并將硅膠直接灌注在了相機表面。下圖顯示了傳感器獲取的接觸圖案：

上圖顯示了不同目標的觸覺圖樣，下圖顯示了不同角度在齒條上的觸覺圖樣。