S’informer avant de réaliser pour la première fois une évaluation de programme en promotion de la santé

par Valéry Ridde, Ph. D., Chercheur post-doctoral, Unité de santé internationale, Université de Montréal

---

Voici une question que je me suis posée il y a plus de dix ans. Je me trouvais au Sud du Vietnam avec quelques collègues d’une organisation non gouvernementale (ONG). Nous devions rédiger ensemble une proposition de programme pour soutenir la prise en charge globale de personnes ayant été victimes de la lèpre. Avant de me rendre sur le terrain et rejoindre mes collègues, je n’avais pas su à quelle porte cogner pour m’informer et répondre à la question composant le titre de cet article

Après une quinzaine d’années d’expériences internationales en évaluation de programme et quelques diplômes de plus en poche, je souhaite par le présent article orienter les néophytes dans ce domaine vers les cinq ressources informatives qui, selon moi, sont essentielles à consulter avant de réaliser un processus évaluatif. Je ne surprendrai personne en affirmant que le choix de ces sources d’informations a été délicat, tant ce domaine est vaste et sa littérature abondante. En outre, il n’existe aucun consensus entre les experts sur la terminologie employée dans ce champ de connaissances J’aurais pu me limiter aux informations accessibles sur internet. De multiples guides et conseils sont maintenant offerts sur ce support. Cependant, j’ai choisi de centrer mes choix sur les ressources informationnelles qui me paraissent les plus pertinentes pour les débutants et donc pas forcément les plus accessibles gratuitement sur le Web. Cela étant dit, au risque de déplaire à l’éditeur en chef de la Revue, l’originalité de cet article est qu’il ne se limitera pas à cinq ressources d’informations, mais à cinq thèmes cruciaux qui doivent être connus et maîtrisés par les novices : les concepts fondamentaux; le processus préparatoire à l’évaluation (phase préévaluative); la pratique de l’évaluation en promotion de la santé; l’évaluation participative; l’utilité des évaluations.

J’ai ainsi décidé de vous orienter vers des documents en français et en anglais. Il me faudra donc proposer dix références. L’objectif sous-jacent est de montrer que la littérature francophone sur le sujet existe ; mes collègues hispanophones pourront en faire autant.

Les concepts fondamentaux

La connaissance des concepts fondamentaux en évaluation de programme constitue un point de départ que d’aucuns jugeront incontournable. Il s’agit d’appréhender le domaine, de maîtriser les concepts et la démarche évaluative. Mais surtout, ce qui est le plus délicat, il faut tenter de s’y retrouver dans ce dédale de termes employés différemment selon les auteurs et les interlocuteurs. En ce qui me concerne, je pense que le plus important est de s’approprier le vocabulaire, de connaître l’étendue de son utilisation pour, ensuite, pouvoir s’entendre avec nos collaborateurs sur les termes employés. Pour cela, l’ouvrage le plus clair et le plus complet dans le domaine a été écrit par Desrosiers et ses collègues (1998). Vous y découvrirez ce qu’est l’évaluation, quelles sont les différentes approches et types communément utilisés et comment entreprendre un processus d’évaluation étape par étape. Outre que cet ouvrage vous initie aux concepts de base, les auteurs ont voulu appliquer les notions présentées à l’évaluation des programmes en promotion de la santé et de la toxicomanie. Vous aurez donc accès à de nombreux cas concrets, ce qui est fort utile pour intégrer les notions apprises. Si vous voulez poursuivre l’apprentissage en anglais, l’outil primordial est la très récente et première du genre « Encyclopedia of Evaluation » (Mathison, S., 2004). Plus de 100 personnes ont contribué à cette aventure éditoriale où tous les grands noms de ce domaine ainsi que tous les courants théoriques sont présentés dans cette encyclopédie qui comporte plus de 600 entrées. C’est une très bonne introduction à la matière, et, selon vos besoins d’approfondissements, vous serez en mesure de trouver des références complémentaires. De surcroît, plusieurs des concepts présentés sont illustrés par des études de cas internationales fort intéressantes.

Le processus préparatoire à l’évaluation

Maintenant que vous en savez un peu plus, vous pouvez prétendre à répondre à une demande d’évaluation. Cependant, avant même de démarrer l’évaluation proprement dite, il vous faut nécessairement passer par une phase préévaluative (evaluability assessment). Cette phase vous permettra de mieux appréhender les besoins de vos partenaires, de comprendre le contexte et le programme, et de vérifier que vous serez en mesure de porter un jugement sur ce dernier. Pour savoir comment effectuer cette approche préliminaire, l’article francophone le mieux placé pour vous aider a été écrit par Beaudry et Gauthier (1992). C’est le premier document, à ma connaissance, qui traduit le concept anglophone d’evaluability assessment et l’explique de manière parfaitement intelligible. Ce chapitre a malheureusement disparu de la dernière version de l’ouvrage collectif dans lequel il a été publié. Il vous faudra donc chercher dans vos bibliothèques, ce qui ne posera pas de problème tant l’ouvrage a été bien diffusé. Très récemment, deux auteurs canadiens (Thurston, W.E. et L. Potvin, 2003) ont publié une nouvelle discussion et présentation de la manière dont il faut procéder lors de cette phase préévaluative. Vous y trouverez plusieurs informations complémentaires, d’autant plus utiles que les auteurs adoptent une position spécifiquement orientée vers le changement social, ce qui est le fondement, selon moi, de nos interventions en promotion de la santé.

La pratique de l’évaluation en promotion de la santé

Justement, il s’est développé, ces dernières années, de multiples entreprises visant à améliorer les pratiques d’évaluation spécialement mises en œuvre pour les projets de promotion de la santé. Le déplacement du paradigme des données probantes (evidence-based) de la médecine vers la promotion de la santé est une des explications à cette volonté d’accroître les pratiques évaluatives dans ce domaine et de montrer que les actions sont efficaces. Comment juger de l’efficacité des programmes de promotion de la santé ? Pour savoir où en sont les débats sur cette question, le seul document récent et relativement complet édité en langue française est le numéro spécial de la revue Promotion & Éducation (IUHPE, 2004). Il s’agit des actes d’un colloque tenu en décembre 2003 à Paris. Il vous donnera accès à des réflexions théoriques mais également à des informations plus pratiques sur la manière dont il est possible (ou pas !) d’évaluer l’efficacité des programmes en promotion de la santé. Ce colloque fait suite à d’autres initiatives sur le sujet et notamment à un processus de consultations et de réflexions de nombreux experts organisé par l’OMS Europe. Ce travail de longue haleine s’est concrétisé par un ouvrage indispensable, publié en anglais seulement, sur l’évaluation en promotion de la santé (Rootman, I et al., 2001). Il s’agit, je crois, de l’ouvrage récent le plus complet sur le sujet, tant d’un point de vue théorique que pratique.

L’évaluation participative

Dans ce livre publié grâce à l’OMS, on y apprend notamment qu’en promotion de la santé, l’approche participative est probablement la plus appropriée pour évaluer les programmes. Mon expérience personnelle dans ce domaine, au Sud comme au Nord, me permet de confirmer cette hypothèse. Mais l’évaluation participative ne s’apprend pas que dans les livres, il faut la pratiquer. Pour cela, un guide publié en trois langues (français, anglais, espagnol) m’a toujours été très utile. L’approche participative présentée par Judi Aubel (2001) et testée depuis dix ans dans de nombreux pays, me paraît incontournable à étudier. Certes, il ne s’agit pas de s’enfermer en suivant strictement la démarche proposée en sept phases. Tout comme je l’ai fait à plusieurs reprises (Ridde, 2005), il faut adapter le processus à votre contexte particulier. Il n’en demeure pas moins qu’il s’agit là d’un des meilleurs guides existants pour effectuer une évaluation participative. Mais, la manière de pratiquer l’évaluation participative n’est pas univoque, il en existe de multiples formes. Pour s’y retrouver, tant d’un point de vue historique que conceptuel et pratique, il faut lire le numéro spécial de la revue américaine « New directions for evaluation » (1998). Ce numéro a été coordonné par l’une des personnes les plus entreprenantes dans ce domaine depuis bien longtemps, Elizabeth Whitmore.

L’utilité des évaluations

Judi Aubel nous dit d’emblée dans son guide qu’elle doit beaucoup aux travaux de Michael Q. Patton. Je ne peux qu’être d’accord avec cette assertion, tant la lecture de ses nombreux ouvrages que son approche phare dans ce domaine guident ma pratique de l’évaluation de programme en promotion de la santé. Il me semble donc que tout débutant en évaluation doit connaître la manière dont Patton conçoit la démarche évaluative. Patton, qui s’inscrit dans le courant de l’évaluation de quatrième génération centrée sur la négociation et le pluralisme des points de vue, affirme que l’élément fondamental d’une évaluation est qu’elle doit être utile et utilisée. Il s’agit donc d’effectuer une évaluation en l’orientant sur l’utilisation de ses résultats. Malheureusement, les écrits francophones sur cette façon de procéder sont inexistants, à ma connaissance. Mon objectif de dix ressources informationnelles n’est donc pas atteint... Malgré le fait que Patton parle le français, son ouvrage n’est disponible qu’en anglais (Patton, M.Q., 1997). Même le document produit à la suite de sa formation lors de la première conférence de l’Association Africaine d’Évaluation est écrit en anglais (Patton, M.Q., 1999). Peut-être qu’une personne lisant cet article et préoccupée par l’accessibilité pour les francophones de cet ouvrage aura la bonne idée d’en financer la traduction ?

Après toutes ces lectures passionnantes, il ne vous reste plus qu’à agir et associer l’utile à l’agréable et la rigueur.

¹ Pour avoir une idée sur la diversité, voir trois références parmi d’autres : 1/Scriven, M. (1991) Evaluation Thesaurus (fourth edition) Inverness, Cal: Edgepress ; 2/Glossary Resources (http://ec.wmich.edu/glossary/index.htm); 3/Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats (http://www.oecd.org/dataoecd/29/21/2754804.pdf)