Techniques de retouche (inpainting) des vidéos, contrôlées par des mesures perceptuelles de la qualité

Abstract

L'inpainting est une technique couramment utilisée dans le traitement d’image et l'infographie. Sa finalité principale est de restaurer les zones manquantes ou endommagées d'une image ou d'une vidéo en les remplissant d'un contenu approprié, cohérent avec le reste de l'image ou de la vidéo. Cette technique a un large éventail d'applications, allant de la reconstruction de zones endommagées à la restauration de parties manquantes, en passant par la suppression d'objets indésirables ou la modification du contenu. De plus pour la vidéo, inpainting est utilisé dans la post-production cinématographique, la restauration de vieux films et comme traitement de post-stabilisation dans les vidéos médicales diffusées. Cette thèse effectue une analyse exhaustive des approches actuelles d'inpainting d'images et de vidéos, mettant également l'accent sur leur évaluation. Nos majeures contributions consistent en la Proposition d'une mesure novatrice de la qualité des images retouchées, nommée B-IIQA (Blind Image Inpainting Quality Assessment). Cette approche est basée sur la continuité des structures locales. Face à la lacune de mesures dédiées à l'évaluation de la qualité des vidéos retouchées, nous avons jugé pertinent d'étendre la mesure B-IIQA à un contexte vidéo, créant ainsi B-VIQA (Blind Video Inpainting Quality Assessment). Cette adaptation intègre les caractéristiques spatio-temporelles propres à la vidéo. De même, l'absence d'une base de données généralisable, correctement étiquetée et intégrant les méthodes contemporaines d'inpainting des vidéos s'est avérée être un défi. Nous avons comblé cette lacune en proposant une base de données de vidéos dédiée à l'inpainting. Nos travaux ont été soumis et publiés, consolidant ainsi leur contribution significative à la littérature dans le domaine.