Les robots verront même les objets en partie cachés

Des chercheurs de l’Institut des sciences et technologies de Gwangju ont développé un cadre permettant à la vision robotique de détecter des objets partiellement ou complètement occultés.

La vision robotique a fait ces dernières années d’incroyables progrès, atteignant un niveau de sophistication avec des applications dans des tâches complexes et exigeantes. Lorsqu’ils rencontrent des scènes où les objets ne sont pas entièrement visibles, les systèmes d’intelligence artificielle (IA) doivent toutefois faire des estimations basées uniquement sur les parties visibles des objets. Mais cela conduit à des erreurs de détection, et de grandes données d’apprentissage sont nécessaires pour reconnaître correctement de telles scènes.

Des chercheurs de l’Institut des sciences et technologies de Gwangju (GIST ; Corée du Sud) ont développé une structure qui permet à la vision robotique de détecter, avec succès, des objets partiellement ou complètement occultés, et ce de la même manière que nous les percevons.

Dans une nouvelle étude acceptée à la conférence internationale IEEE 2022 sur la robotique et l’automatisation, l’équipe de recherche dirigée par le professeur associé Kyoobin Lee et le doctorant Seunghyeok Back (voir photographie ci-dessous) a développé un modèle appelé « segmentation d’instance amodale d’objets invisibles » (Unseen Object Amodal Instance Segmentation ou UOAIS) pour détecter des objets occultés dans des scènes encombrées.

Pour entraîner le modèle à identifier la géométrie de l’objet, l’équipe a développé une base de données contenant 45 000 images synthétiques photo-réalistes contenant des informations de profondeur. Avec ces données (limitées), le modèle a pu détecter une variété d’objets occultés. Lorsqu’il rencontre une scène encombrée, il sélectionne d’abord l’objet d’intérêt, puis détermine si l’objet est occulté en segmentant l’objet en un « masque visible » et un « masque amodal ».

« Les méthodes précédentes se limitaient soit à détecter uniquement des types d’objets spécifiques, soit à détecter les seules régions visibles sans raisonner explicitement sur les zones occultées. Notre méthode permet une réduction des efforts de collecte de données tout en améliorant les performances dans un environnement complexe », compare Seunghyeok Back.

Pour activer le « raisonnement d’occultation » dans leur système, les chercheurs ont introduit un schéma de « modélisation d’occlusion hiérarchique » (Hierarchical Occlusion Modeling ou HOM). Il attribue une hiérarchie à la combinaison de plusieurs caractéristiques extraites et à leur ordre de prédiction. En testant leur modèle par rapport à trois points de référence, ils ont validé l’efficacité du schéma HOM avec des performances dignes de l’état de l’art.