Ajouter une modalité complementaire sans annotations

L'entrainement de reseaux de neurones profonds pour la vision par ordinateur necessitent des jeux de donnees de grande taille, dont l'annotation est particulierement couteuse et depend de la tâche visee. Nous nous interessons dans cet article a l'ajout d'une nouvelle modalite dans les donnees, et proposons une methode tirant parti de cette nouvelle modalite pour offrir des performances accrues sans pour autant necessite une nouvelle phase d'annotation. Plus precisement, nous suggerons de reutiliser les donnees precedemment annotees sur une seule modalite a l'aide d'un pseudo-etiquetage via un auto-entrainement, en generant d'une part des pseudo-labels sur nos donnees avec les deux modalites, et d'autre part une estimation de la seconde modalite pour les donnees etiquetees. Nous illustrons l'interet de cette methode pour la segmentation semantique sur des donnees RVB-Profondeur, et montrons qu'il peut etre plus interessant d'ajouter une modalite sans annotation plutot que de n'utiliser qu'une sous-partie annotee d'un jeu de donnees.