Porównanie i łączenie cech deskryptorów chmur punktów w rozpoznawaniu statycznych układów dłoni

W pracy omówiono metodę rozpoznawania statycznych układów dłoni przy użyciu trzech deskryptorów chmur punktów: Viewpoint Feature Histogram (VFH), Global Radius-Based Surface Descriptor (GRSD) oraz Ensemble of Shape Functions (ESF). Deskryptory te opisują chmury punktów wykorzystując siatkę prostopadłościennych, wolumetrycznych elementów (ang. voxel grid), wektory normalne wyznaczone dla powierzchni chmury, rozkłady odległości punktów od ich sąsiadów oraz promienie sfer wpisanych we fragmenty powierzchni. Przeprowadzono testy walidacji krzyżowej uzyskując w ten sposób zestawienie wyników skuteczności klasyfikacji dla pojedynczych cech każdego deskryptora, łączonych cech tego samego i różnych deskryptorów. Testy przeprowadzono na zbiorze danych zawierającym 1000 map głębi: 10 różnych układów dłoni wykonanych 10 razy przez 10 osób. Przed przystąpieniem do procesu ekstrakcji cech każda chmura punktów jest wstępnie przetwarzana, włączając w to: segmentację (w celu oddzielenia dłoni od pozostałych fragmentów chmury), rotację względem środka dłoni oraz najdłuższego z wysuniętych palców (w celu uniezależnienia metody od obrotów dłoni wokół osi prostopadłej do obiektywu kamery) oraz redukcję punktów (w celu przyspieszenia obliczeń). Zestawienie wyników testów uzupełniono o dodatkową informację – rozmiar wektora cech wykorzystanego przy klasyfikacji, co pozwala odnaleźć kombinację cech będącą punktem kompromisu pomiędzy
skutecznością klasyfikacji a ilością wymiarów danych.

Pełny tekst (pdf)

[1] Bay H., Ess A., Tuytelaars T., Van Gool L.: Speeded-Up Robust Features, Computer Vision and Image Understanding, tom 110, wydanie 3, czerwiec 2008, pp. 346-359.
[2] Bellman, R. E.: Adaptive Control Processes, Princeton, NJ. Press, 1961.
[3] Dominio F., Donadeo M., Zanuttigh P.: Combining multiple depth-based descriptors for hand gesture recognition, Pattern Recognition Letters, tom 50, grudzień 2014, pp. 101-111.
[4] Kapuscinski T., Oszust M., Wysocki M.: Recognition of signed dynamic expressions observed by ToF camera, Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA): pp. 291-296, Poznan 2013.
[5] Kapuscinski T., Oszust M., Wysocki M., Warchol D.: Recognition of hand gestures observed by depth cameras, International Journal of Advanced Robotic Systems, 2015.
[6] Keskin C., Kirac F., Kara Y. E., Akarun L.: Real time hand pose estimation using depth sensors, Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, pp. 1228-1234, Barcelona 2011.
[7] Larose, D. T.: Discovering knowledge in data: an introduction to data mining, John Wiley & Sons, 2014, pp. 90-106.
[8] Marton Z.C., Pangeric D., Blodow N., Beetz M.: Combined 2D-3D categorization and classification for multimodal perception systems, International Journal of Robotics Research, tom 10, wydanie 11, wrzesień 2011, pp. 1378-1472.
[9] Marton Z.C., Pangeric D., Blodow N., Kleinehellefort J., Beetz M.: General 3D modelling of novel objects from a single view, Intelligent Robots and Systems(IROS), 2010 IEEE/RSJ International Conference on, pp. 3700-3705, Taipei 2010.
[10] Marton Z.C., Pangeric D., Rusu R. B., Holzbach A., Beetz M.: Hierarchical object categorization and appearance classification for mobile manipulation, Humanoid Robots (Humanoids), 2010 10th IEEE-RAS International Conference on, pp. 365-370, Nashville 2010.
[11] Molina J., Escudero-Vinolo A., Signoriello A., Pardas M., Ferran C., Bescós J., Marqués F., Martínez J. M.: Real-time user independent hand gesture recognition from time-of-flight camera video using static and dynamic models, Machine Vision and Applications, tom 24, wydanie 1, styczeń 2013, pp. 187-204. 
[12] Oprisescu S. R.: Automatic static hand gesture recognition using ToF cameras, European Signal Processing Conference, pp. 2748-2751, Bucharest 2012.
[13] Ren Z., Yuan J., Zhang Z.: Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera, MM '11 Proceedings of the 19th ACM international conference on Multimedia, 2011, pp. 1093-1096.
[14] Rusu R. B., Blodow N., Beetz M.: Fast point feature histograms (FPFH) for 3D registration, Robotics and Automation, 2009. ICRA '09. IEEE International Conference on, pp. 3212-3217, Kobe 2009.
[15] Rusu R. B., Bradski G., Thibaux R.: Fast 3D recognition and pose using the Viewpoint Feature Histogram, Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference on, pp. 2155-2162, Taipei 2010.
[16] Rusu R. B., Cousins S.: 3D is here: Point Cloud Library (PCL), Robotics and Automation (ICRA), 2011 IEEE International Conference on, pp. 1-4, Shanghai 2011.
[17] Rusu R. B., Holzbach A., Beetz M..: Detecting and Segmenting Objects for Mobile Manipulation, Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on, pp. 47-54, Kyoto 2009.
[18] Rusu R., Marton Z. C., Blodow N.: Learning informative point classes for the acquisition of object model maps, Control, Automation, Robotics and Vision, 2008. ICARCV 2008. 10th International Conference on, pp. 643-650, Hanoi 2008.
[19] Uebersax D., Gall J., Van den Bergh M.: Real-time sign language letter and word recognition from depth data, Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on, pp. 383-390, Barcelona 2011.
[20] Van den Bergh M., Van Gool L.: Combining RGB and ToF cameras for real-time 3D hand gesture interaction, Applications of Computer Vision (WACV), 2011 IEEE Workshop on, pp. 66-72, Kona 2011.
[21] Wohlkinger W., Vincze M.: Ensemble of Shape Functions for 3D object classifications, Robotics and Biomimetics (ROBIO), 2011 IEEE International Conference on, pp. 2987-2992, Phuket 2011.
[22] http://kinectexplorer.blogspot.com (aktualizacja 13 grudzień 2011).