Content-Based Image Enhancement for Eye Fundus Images Visualization

Un nombre croissant de maladies peuvent être détectées par l'analyse de la rétine humaine, et ce même à des stades de celles-ci où le patient pourrait ne pas encore avoir de symptômes visibles. Comme les traitements sont généralement plus intrusifs et coûteux pour les stades les plus avancés des maladies, il est préférable pour sa santé et ses finances que le patient soit soigné au plus tôt. C'est pourquoi le dépistage régulier de la population est considéré comme un des moyens les plus efficaces pour limiter le nombre de cas extrêmes. Étant donnée la quantité d'examens de la rétine que l'on voudrait alors effectuer chaque année, l'amélioration du processus de dépistage est un sujet important. Les propositions à ce sujet cherchent généralement soit à automatiser l'analyse, soit à aider les médecins à faire leur diagnostic. Ce mémoire propose d'améliorer le processus de dépistage grâce à une méthode d'amélioration des images de fond d'oeil pour faciliter leur visualisation et leur diagnostic par un examinateur humain. Les principaux problèmes que peuvent présenter les images de fond d'oeil et dont la correction peut aider à simplifier leur diagnostic sont liés à du contenu flou, des artefacts de réflexions, des défauts d'illumination et de contraste ou encore à une importante variabilité de taille, de forme ou de couleurs entre les images. L'objectif de notre travail est de proposer une méthode qui permette de mieux observer les éléments présents dans ces images afin de faciliter leur analyse tout en s'assurant que l'apparence des images reste plausible, en particulier en termes de couleurs, de telle sorte que l'examinateur ne soit pas gêné par les changements. Nous cherchons également à réduire la variabilité en couleurs entre les images en leur faisant toutes partager la même palette de couleurs. Les précédents travaux portant sur l'amélioration des images de fond d'oeil se concentrent sur la correction des artefacts dans les images comme le flou ou les problèmes d'illumination et de contraste non uniformes. Bien que les méthodes proposées améliorent la visibilité des éléments dans les images, elles ne sont généralement pas adaptées pour la visualisation par un examinateur mais plutôt pour être utilisées comme pré-traitement pour d'autres méthodes automatiques qui peuvent mettre à profit ces améliorations. En effet, l'apparence de leurs résultats sur les images couleurs a tendance à être trop différente des images habituelles et les examinateurs ont donc des difficultés à travailler sur les images produites. L'un des principaux problèmes est la disparition de certains éléments des images lors du traitement, comme par exemple la fovéa, qui peuvent ne pas être nécessaires pour certains algorithmes automatiques mais qui sont des points de repère importants pour les examinateurs. De plus, les couleurs des images produites ne sont pas naturelles, ce qui gêne les examinateurs pour faire leur v diagnostic. Nous nous intéressons alors à un autre domaine d'amélioration d'images au travers des techniques de transfert de couleurs par l'exemple qui modifient une image source pour qu'elle utilise les couleurs d'une image de référence. Cette approche est généralement utilisée pour le transfert de style ou d'ambiance entre des images naturelles et n'a pas encore été appliquée aux images de fond d'oeil. Des travaux récents proposent d'utiliser le contenu des images pour guider le transfert de couleurs et présentent donc des résultats dans lesquels les différents éléments partagent les couleurs des éléments correspondants dans l'image de référence. Comme notre objectif est de modifier uniquement l'apparence des images et non leur contenu, l'usage d'une méthode de modification des couleurs est approprié. Ce travail propose d'étendre et d'adapter au contexte des images de fond d'oeil une méthode de transfert de couleurs qui utilise les textures dans les images pour guider le transfert. L'algorithme original utilise une valeur de similarité entre les pixels calculée à l'aide d'un descripteur de textures pour guider le transfert de couleurs. Les images ainsi produites ont des couleurs proches de l'image de référence mais sont globalement trop sombres et n'utilisent pas les couleurs attendues pour le réseau vasculaire. Pour résoudre le premier problème, nous proposons d'utiliser une segmentation de la région d'intérêt pour ne plus utiliser les pixels noirs en dehors du champ de l'appareil de capture lors du transfert. La teinte globale des résultats est alors plus proche de l'image de référence mais les couleurs du réseau vasculaire restent trop différentes de la référence. C'est pourquoi nous proposons de modifier la mesure de similarité entre les pixels pour utiliser une segmentation des réseaux vasculaires afin d'augmenter la similarité entre les pixels des réseaux. Les vaisseaux dans nos résultats ont alors des couleurs plus proches de ceux de l'image de référence. Nous présentons une expérience avec des ophtalmologistes dans le but de mesurer l'effet de notre méthode sur leurs performances en termes de vitesse et de précision de diagnostic. Bien que les résultats de notre expérience montrent une accélération pour un des médecins avec les images améliorées par notre méthode, nous ne pouvons pas conclure que cette différence est le fruit de nos améliorations à cause de certains biais liés à notre protocole. Cela nous a cependant permis d'identifier les limites et les biais de notre protocole qui devront être pris en considération pour une éventuelle prochaine itération de celui-ci. La méthode proposée remplit les objectifs fixés d'augmenter la lisibilité des images et de réduire la variabilité en couleurs entre elles. De futurs travaux s'intéressant à l'utilisation d'un descripteur à plusieurs échelles pourraient permettre d'améliorer encore le transfert de couleurs, en particulier pour les plus petits éléments dans les images pour lesquels le descripteur actuel n'est pas toujours adapté. Pour améliorer le processus de dépistage, de nouvelles approches de visualisation peuvent aussi être considérées comme la mise en valeur vide régions de l'image pour guider l'oeil de l'examinateur vers les zones où il est le plus probable de trouver des éléments utiles pour son diagnostic.

Abstract

Analyzing a patient's retina allows to check for an increasing number of diseases and conditions, especially at their early stages when the patient may not notice any symptoms. Usually, the sooner a disease is treated the better it is, both for the patient's health as well as their finances, as treatments tend to become more intrusive and costly the more advanced the condition is. For these reasons, regular screening of the population is a common recommendation to reduce the number of extreme cases. Considering the objective to test the maximum number of people each year, improving the screening process is important. The improvements proposed usually either automate the diagnosis or help the graders in making their diagnosis. This thesis focuses on improving the screening process by proposing an image enhancement method for eye fundus photography images visualization to make it easier for the graders to make their diagnosis. Eye fundus images present many problems whose correction could help in making their diagnosis easier such as blurred content, reflection artifacts, non-uniform luminosity and contrast as well as variability in size, shape and colors. With our method, we want to make the elements in the images more visible to facilitate their localization and recognition while maintaining a plausible appearance for the whole image, especially in terms of colors, so as to not confuse the grader. We also want to have all the images using the same color palette to reduce the variability among images. Previous works for the enhancement of eye fundus images have focused on correcting artifacts such as blur or luminosity and contrast issues. While these methods do bring improvement to the visibility of the elements in the images, they are usually better suited as preprocessing steps to other automated methods that leverage these enhancements to improve their own results. Indeed, they fail at maintaining the natural appearance of the color images and produce results that are difficult to analyze for a human expert as they do not share enough visual resemblance with regular images. In particular, they tend to make some parts of the image disappear such as the fovea which may not be necessary for some automated algorithms but that is used as a landmark by the graders. Also the colors of the resulting images are unnatural which bother the graders when they make their diagnosis. We then consider another field of image enhancement in the by-example color manipulation methods that allow to change a source image to use the colors of a given target image. This approach is usually used to change the tone or the style of regular photographs and has not yet been adapted to the context of eye fundus images. Recent works propose methods that transfer viii the colors differently depending on the content and thus produce results where elements in the resulting image share the colors of the corresponding elements in the target image. As we want to modify only the appearance and not the content of the images, using a color manipulation method is appropriate. This work expands on a color transfer method that uses the textural content in the images to guide the color transfer and adapts it to the context of eye fundus images. The original algorithm computes a similarity metric for each pixel based on a texture descriptor and uses this metric to guide the color transfer. This produces results that have colors close to the target but that are generally too dark and for which the vascular network in particular does not have the expected colors. In order to solve the first issue, we propose to use a Region Of Interest (ROI) segmentation to not take into account the black pixels outside of the camera field of view when applying the transfer. This improves the global tone of the results that is then closer to the target but the colors of the vessels still are not close enough to those of the target. We then propose a modification of the similarity metric with a segmentation of the vascular network to make pixels from the vessels to be considered more similar. This modification allows for the vessels in our results to have colors closer to those of the vessels of the target. We conduct a user study with ophthalmologists in order to measure the effect of our method on the performances of grading in terms of speed and precision. While the experiment shows an increased grading speed for one of the ophthalmologists with our enhanced images, we cannot conclude on the impact of our method on the grading performances as some biases related to our protocol prevent us from being sure of the origin of this acceleration. This however allows us to identify the limits and biases of our protocol that should be taken into consideration for a potential future iteration of the user study. The proposed method reaches both the objectives of enhancing the readability of the images and of reducing the variability in colors among images. Using a multiple scales descriptor could improve the color transfer on the smallest elements in the images for which the current descriptor is not always adapted. In order to further improve the screening process, other visualization methods could be considered such as region highlighting to guide the grader's eyes to suspect areas in the images.