Il est d'autres cas cependant où les stratégies marquent des évolutions sensibles, il y a lieu de reconstituer autant de diagrammes des effets qu'il y a de stratégies différentes de la Commission Européenne. Il convient particulièrement pour connaître le degré de satisfaction des bénéficiaires finaux. le facilitateur : il assiste le groupe dans la conduite des différentes phases de l'analyse. la géographie entendue comme la proximité géographique par rapport à un partenaire (ex : pays voisin de l'Europe) ou à des circuits commerciaux (ex : pays disposant d'infrastructures portuaires situées sur des routes maritimes importantes). C'est une nécessité "sine qua non" de l'étude de cas, l'évaluateur devant avoir une perception directe des phénomènes qu'il étudie. outil d'analyse de l'impact d'un programme, notamment à l'échelle locale. Cette information est collectée auprès d'un échantillon représentatif de la population visée par l'évaluation. Le recours à un outil de prise de décision tels que le diagramme des décisions permettrait d'organiser le processus de conception, notamment pour ce qui concerne la prise en compte des informations clés, l'intervention des parties prenantes et la gestion du calendrier. pour identifier et analyser des problématiques. ), Les menaces sont les problèmes, obstacles ou limitations extérieures, qui peuvent empêcher ou limiter le développement du pays ou d'un secteur (ex : l'industrie). L'évaluation pays est souvent confrontée à la difficulté du grand nombre d'acteurs à rencontrer : institutionnels en amont, opérateurs et acteurs de la mise en œuvre, bénéficiaires, etc. L'usage du diagramme des décisions est soumis à trois importantes conditions. L'outil a été surtout développé à partir des années 50. de comparaison entre pays (ex : pas de référence du niveau d'un même indicateur dans des pays voisins). être fiable de telle sorte que les acteurs aient confiance en cette information. Elle passe par : Des réponses provisoires aux questions seront formulées sur la base des informations recueillies. Les évaluateurs et responsables de l'évaluation peuvent estimer raisonnable de s'en tenir aux programmes correspondant au dernier document de stratégie. Dans les deux cas, la construction des diagrammes des objectifs et impacts devrait constituer l'une des toutes premières tâches de l'évaluation. Les dires des auteurs et autres responsables consultés ont-ils été confrontés aux sources écrites et les points de vue ont-ils été croisés ? Les documents rassemblant les réactions du gouvernement partenaire aux projets explicitent parfois les priorités gouvernementales. Le diagramme présente de manière explicite les objectifs/effets et les différents rangs auxquels ils se situent, de l'objectif global à plus ou moins long terme à l'ensemble des actions entreprises ou prévues pour sa réalisation. Quel que soit l'usage qui en est fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu d'une opinion spontanée. Même lorsque des éléments potentiellement explicatifs sont fournis (intervention des autres donneurs, priorités du gouvernement, par exemple), les relations de causalité ne sont pas toujours explicites. Ces diagrammes guident la recherche d'informations et la conduite d'entretiens visant à approfondir la connaissance du programme ou de la stratégie à évaluer. Il conviendrait de mieux exploiter les bases de données d'indicateurs lors des évaluations pays réalisées par la Commission Européenne. rechercher les causes de blocage du groupe. L'analyse multicritère est une méthode qui permet d'orienter un choix sur la base de plusieurs critères communs. Il est basé avant tout sur la typologie suivante, avec un focus particulier sur les indicateurs de résultats: Le but assigné à la production et au suivi de ces indicateurs est double et nécessite le monitorage de deux séries distinctes d'indicateurs pour : C'est surtout la première série qui intéressera les " évaluateurs pays " pour identifier des indicateurs de contexte. Trois types d'entretiens : Il est donc primordial de prévoir suffisamment de temps à affecter à ces entretiens, avant et après les sessions du panel d'experts. Un profil de socio-anthropologue est donc requis dans l'équipe d'évaluation. Lorsqu'il est évalué en termes d'efficacité, ce qui est le cas le plus général, ses résultats directs et/ou impacts qu'il a produit sont rapportés aux objectifs ou impacts attendus de tous ordres qu'il s'est fixé. On peut en outre envisager, si l'information est suffisante, d'établir un diagramme pour chacune des priorités ou secteurs de concentration de l'aide. Les spécialistes de l'analyse multicritère se sont rapidement heurtés à des difficultés lorsque les actions en compétition étaient peu, voire pas comparables entre elles (ex : dans un programme de santé une action de vaccination et une action d'information). Leur forme est plutôt dichotomique. Il établit la hiérarchie raisonnée du système des objectifs tels qu'ils sont présentés dans les cadres logiques ou ont été reconstitués dans le diagramme des objectifs affichés. A-t-on organisé des formations ou des réunions d'encadrement ? Il permet en cela de mieux considérer ce que certains membres du " groupe " pensent comme non ou mal compensable. D'autres formes ont été développées. Qu'est-ce que d'autres font beaucoup mieux que nous ? Prévoir s'il sera nécessaire de recontacter la personne. L'équipe d'évaluation est amenée à présenter ses travaux (méthode et résultats) à différentes audiences (groupe de référence de l'évaluation, ateliers de restitution). C'est particulièrement le cas pour les focus groups réunissant des bénéficiaires finaux. L'idéal est de disposer d'un répertoire bibliographique ou de bulletins signalétiques qui font le point, périodiquement, sur les publications consacrées à un pays ou une région du monde. Le cadre logique et l'arbre des objectifs, Utilisation du cadre logique dans l'évaluation, Submitted by kgr, on Tue, 20/01/2015 - 03:05 Ces entretiens ont un double objectif : d'une part, les personnes interrogées peuvent fournir des contacts intéressants et des orientations bibliographiques et d'autre part, ils permettent de récolter des informations complémentaires et ainsi, de construire une grille de questions plus pointues. Le panel d'experts est un groupe de spécialistes indépendants et reconnus dans au moins un des champs concernés par l'objet à évaluer. Un rôle de gestionnaire : il doit s'assurer que les ressources disponibles sont suffisantes et bien employées, et il veille à ce que les réunions des panels ont été bien préparées. Malheureusement ils peuvent être soit indisponibles soit d'accès malaisé. De ce fait, celles-ci ont fort peu de chance d'être utilisées en évaluation pays et sont mentionnées ici pour mémoire. Cox et Jacobson, " The anatomy of influence : decision making in international organization", 1973. Les personnes à rencontrer susceptibles de fournir les informations recherchées seront choisies sur cette base. Cette organisation permet aux deux interlocuteurs de gagner du temps et d'être plus à l'aise. Elles permettent de faciliter le travail des experts et de leur procurer des informations sur le programme évalué. Attention : le répondant peut se réfugier dans cette proposition, pour éviter de répondre. Pour des interventions visant un large objectif dont la réalisation repose sur des effets parallèles, l'analyse se révèle inadaptée ou trop partielle. Par exemple, la première ligne du tableau suggère que les diagrammes des objectifs et des effets impliquent ou peuvent impliquer la réalisation d'entretiens individuels et de focus groups. L'exploitation des questionnaires fermés risque de ne pas produire les résultats attendus. L'Association Internationale pour le Développement IDA (" International Development Association ") a proposé dans un document récent, intitulé "IDA Results Measurements System : Progress and Proposal April 2003", une série d'indicateurs pour améliorer le monitorage des résultats des pays, en particulier pour ceux devant disposer d'un Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP). Un point capital pour que ce groupe puisse fonctionner est qu'il doit y avoir accord entre les membres sur l'objectif global de l'intervention (ex : améliorer la protection de l'environnement naturel de telle zone). L'évaluation ne prétend pas faire une analyse exhaustive des sociétés dans lesquelles elle a à se prononcer sur la stratégie de l'Union Européenne. La comparaison à l'intérieur du pays entre ce qui fonctionne très bien et ce qui fonctionne moins bien, peut permettre d'aider à identifier ce que sont les meilleures pratiques. Submitted by kgr, on Tue, 27/01/2015 - 21:52 L'administration du questionnaire dépend beaucoup du contexte : Rappelons que pour des raisons linguistique (surtout auprès des bénéficiaires finaux) et de temps de préparation, il est vivement conseillé aux évaluateurs d'avoir recours à un partenaire local capable de mettre à disposition les ressources humaines - enquêteurs, statisticiens, démographes, etc. Elle peut inclure l'examen de documents, de données statistiques ou de mise en oeuvre, mais elle inclut surtout l'observation directe du phénomène à étudier et des entretiens auprès de personnes directement concernées en tant qu'acteurs institutionnels ou bénéficiaires. Le choix du type d'étude de cas est-il argumenté ? Elle peut donc également avoir sa place au moment de la rédaction des CSP (Country Strategy Paper) et lors de leur évaluation. Selon les cahiers MEANS de la Commission Européenne, un bon indicateur donne : Selon l'USAID, les indicateurs doivent être cohérents, comparables dans le temps dans différentes situations et doivent être : Les indicateurs de contexte ont l'avantage de permettre : Les ressources en temps sont celles de la recherche d'indicateurs existant déjà. Les documents ne sont pas toujours très explicites sur la manière dont les différents types de problème sont pris en compte. Cette forme de structuration du " groupe " sera peu développée dans les évaluations pays dans la mesure où elle complexifie l'organisation de l'étude et peut augmenter son coût. L'analyse multicritère, également nommée " aide multicritère à la décision ", connaît un développement très important depuis la deuxième moitié des années 1970 et peut être désormais considérée comme un outil scientifique à part entière. Où peut-on retrouver les documents d'analyse des problèmes ? L'exercice de priorisation des résultats attendus, ainsi que de quantification et d'homogénéisation des indicateurs de résultat constituent des étapes nécessaires dans le cadre d'une évaluation pays. Il est important de vérifier avec l'animateur et avant la séance que tous les termes et les expressions utilisés dans le guide d'animation sont bien compris. trouver un partenaire local efficace, neutre par rapport à la chose à évaluer, et compétent sur les sujets à étudier et les méthodes d'évaluation. une réponse qui par sa formulation "attire" inconsciemment, par exemple en exprimant une position moyenne. Place des diagrammes d'objectifs dans la conduite d'une évaluation axée sur les questions d'évaluation. L'équipe d'évaluation ne dispose généralement pas d'une connaissance suffisante de la situation du pays ou de la région pour estimer le degré de pertinence de l'analyse qui en est faite, du caractère prioritaire attribué à certains problèmes, du choix du problème principal et de l'organisation logique des problèmes prioritaires. L'équipe d'évaluation est ainsi conduite à considérer qu'une relation entre deux objectifs est logique lorsqu'elle est reconnue comme telle par les experts du domaine concerné et par les responsables de l'exécution de la stratégie ou de la politique évaluées. l'analyse de faits extérieurs (évènements majeurs, situation du pays). Ainsi, les constituants opérationnels d'un programme (projets envisagées et/ou engagés) trouvent leur justification dans le système des objectifs que présentent les documents stratégiques ou politiques dont ils relèvent. Le tableau ci-dessous présente donc dans la colonne de droite une fourchette très ouverte de jours de travail. Il peut alors être utile, par l'étude des documents de définition et de programmation, de reconstituer un diagramme en donnant une représentation raisonnée. Il est souvent utile de mobiliser des personnes ressources pour aider l'évaluateur à sélectionner les participants et identifier les leaders du futur groupe. une bonne maîtrise des techniques d'entretien : la capacité à saisir le point de vue de l'interviewé pour mieux s'ajuster : quel est son intérêt dans l'entretien ? Comme ceux retenus par la Direction Générale du Développement de la Commission Européenne, ces indicateurs sont plus orientés vers les résultats que vers les ressources. Dans la bibliographie sur l'analyse multicritère, il est courant de trouver les quatre familles de critères suivantes, facilement applicables à tous les domaines : A ces familles, peuvent s'ajouter si nécessaire des critères technologiques liés en particulier à la fiabilité de certaines technologies et des critères d'utilité du programme. des acteurs qui ont une vision plus large sur les effets. Dans la mise en œuvre d'un focus group, l'évaluateur devra donc prévoir la journée de travail supplémentaire nécessaire à la transcription de la séance.