Quelles en sont les conditions « impératives » d’une « vraie » évaluation ?

Michel BASS

AIR FORMATION 21 septembre 2012

Nous sommes envahis par l’injonction à évaluer : évaluation des politiques publiques, évaluation du niveau scolaire, évaluation en vue d’accréditation ou de certification, etc. Mais peut-on réellement tout évaluer, répondre à toutes ces injonctions ? Ces demandes insistantes, nécessitant souvent beaucoup de temps et d’énergie, finissent par prendre plus de temps et parfois même plus de budget que l’action elle-même…

Mon propos est d’éclaircir le sens du mot et de la méthodologie de l’évaluation pour conclure sur une perspective critique de ce que l’on nomme évaluation. Le caractère non évaluable d’un projet ou d’une action ne tient pas tant au contenu de l’action elle-même ou de l’objet à évaluer que du contexte institutionnel, méthodologique et humain dans lequel s’inscrit la démarche de l’évaluation.

Au fondement de toute évaluation il y a une question que l’on se pose. Cette question nous pose problème et l’on voudrait bien avoir une réponse afin d’améliorer notre réponse au problème. Evaluer est donc un processus de connaissance. Nous verrons que ce processus de connaissance est toujours partiel. Mais prenons un premier exemple qui devrait être facilement compréhensible : je voudrais savoir si mon fils est grand ou petit (c’est-à-dire que savoir s’il est grand ou petit me préoccupe et a de l’importance pour moi).

En fait, pour répondre à cette interrogation, j’ai mesuré mon fils. Il mesure 80 cm. Ai-je ma réponse ? Est-il grand ou petit ?

Non, bien entendu, je n’ai pas ma réponse : une simple mesure de sa taille est insuffisante pour répondre à ma question. En effet, quel âge a-t-il ?

Donc je précise : mon fils de 4 ans mesure 80 cm : est-il grand ou petit ?

En regardant les courbes de croissance du carnet de santé je m’aperçois qu’il « devrait mesurer » entre 95 et 110 cm. Dois-je commencer à m’inquiéter (il est objectivement petit) ?

Bien sûr, depuis sa naissance, sa courbe de croissance l’a toujours montré plus petit que son âge. Sa courbe de croissance est d’ailleurs parallèle à la courbe du carnet de santé.

J’avais juste oublié de préciser : mon fils est un enfant adopté, et il vient de la tribu des pygmées.

Chercher une réponse à ma question suppose donc une série d’investigations successives dont aucune n’est en soi l’évaluation mais dont chacune est nécessaire au processus de connaissance. Ainsi l’évaluation n’est pas la mesure (la taille), n’est pas la comparaison à un référentiel ou une norme à un âge donné (les courbes de croissance du carnet de santé), n’est pas la multiplication des indices (il est d’origine pygmée) mais bien l’interprétation que l’on va faire de tous ces éléments dans un contexte social, culturel ou politique, mais aussi dans un contexte cognitif (par exemple le fait que la question soit posée a un médecin n’aura pas le même sens que si elle est posée au couturier, chacun va avoir un système de référence qui lui est propre) où la taille d’un garçon va avoir de l’importance. Ce n’est pas seulement que s’inquiéter de la taille (ou du niveau de mathématique, peu importe) va être considéré comme sensé, mais plus encore que l’interprétation du résultat va conditionner l’appréciation ou le regard que l’on porte sur la situation, et in fine l’action à mener. Il ne suffit pas de s’inquiéter de savoir si les médecins mesurent bien régulièrement la taille de leurs patients si on n’examine pas le résultat de la mesure en termes d’interprétation et de sens[1]. Une simple notion de « taille notée dans le dossier » est tout aussi insuffisante que le fait de savoir que mon fils mesure 80 cm. L’ensemble de mes investigations, c’est autant d’indices qui vont me permettre de me faire une opinion (comme le détective qui recherche des indices). C’est dire l’importance de ces indices et donc de la manière dont on va les identifier et les utiliser.

L’évaluation est donc bien un jugement qui, reprenant plus ou moins rigoureusement un certain nombre d’indices, les interprétant dans un contexte de sens, va être opéré sur la valeur d’une action ou d’une situation. L’enfant « trop petit » ne l’est que par rapport à des références culturelles, des normes et des nécessités que l’on se donne ou pas d’agir. La taille notée dans le dossier peut être fausse, et l’absence de notification dans le dossier ne signifie par forcément que le médecin n’a pas fait son travail.

1- Le sens de l’évaluation

Le jugement est « l’essence » de l’acte évaluatif[2], le mot EVALUER contient sémantiquement ce sens.

En effet, si on sépare le E du début du reste du mot (E / VALUER), il reste « VALUER » qui est une anagramme de VALEUR.

Autrement dit, évaluer c’est faire ressortir la valeur d’un événement, d’une pratique. Il faut donc se mettre d’accord au préalable sur ces 2 notions : faire ressortir et valeur.

Commençons par la valeur : rappelons que chacun de nous a des conceptions sur tout, dès sa plus tendre enfance. Dans nos conceptions, outre les savoirs, les connaissances, l’expérience, nous avons des valeurs, c’est-à-dire des préférences dont les origines sont souvent lointaines. Ces préférences sont le plus souvent tacites. C’est leur caractère caché, non dit qui rend l’analyse de certains faits si difficile. Ainsi en est-il de ce « contrôle au faciès » reproché à la police : est-il un résultat objectif lié au fait que la majorité des actes de délinquance ont lieu dans des quartiers difficiles dans lesquels vivent en majorité des étrangers ? Ou s’agit-il d’une tendance au racisme dans la police nationale ? L’éventuel racisme de certains policiers ne va en général pas s’exprimer ouvertement (sauf exceptions). Il va plutôt s’exprimer à travers des actes qu’eux-mêmes jugent normaux. La « valeur » racisme est donc peut-être à l’œuvre dans la pratique policière. Si l’on veut essayer de comprendre pourquoi certaines catégories de population sont arrêtées plus souvent que d’autres par la police on ne peut donc pas ignorer la possibilité que le racisme soit vraiment à l’œuvre (y a-t-il racisme ou pas ? Est-ce une valeur portée par les policiers en  tant que corps social ?). Mais pour pouvoir aller au bout de cette interrogation, il faut être simultanément convaincu du caractère négatif du racisme (sinon pourquoi s’intéresser au racisme ?). Autrement dit, la question des valeurs est de première importance pour comprendre les pratiques sociales (rappelons-nous le schéma en 3 pôles de la pratique professionnelle).

Mais notre société moderne (disons depuis le 19^e siècle) a tenté d’éliminer, en la rationalisant, la question des valeurs : l’être humain moderne débarrassé des valeurs serait un être calculateur motivé par son intérêt. Nous agirions rationnellement en fonction de la loi de l’intérêt, c’est-à-dire la loi économique. L’examen des valeurs au travers de LA valeur économique conduit à définir une valeur par son prix sur un marché de l’échange[3], c’est-à-dire que n’aurait de valeur que ce qui aurait un prix. Quelques exemples montrent aisément que la question du prix est insuffisante à objectiver notre système de valeurs : pourquoi sommes-nous prêt à payer plus cher une BMW qu’une Peugeot ? Pourquoi attachons-nous des valeurs « sentimentales » à des objets sans valeur économique (la valeur, l’importance d’un cadeau ne tient pas exclusivement, loin de là, à sa valeur marchande). Des expériences marketing célèbres avaient été faites par les montres Swatch qui avaient vendu la même montre (fabriquée quelque part en Asie par cette firme suisse) un prix différent selon qu’il était marqué « fabriqué à Taïwan » ou « fabriqué en Suisse » (je vous laisse deviner pour lequel des 2 les gens étaient prêts à payer le plus cher).

Le prix n’est donc qu’un reflet très partiel et incertain des valeurs qui ont essentiellement une dimension symbolique, construite sur des représentations sociales.

En résumé, la valeur dont il est question en évaluation concerne le sens et l’importance que les gens attribuent à un objet, un service, une personne. La hiérarchie des valeurs symboliques est parfaitement arbitraire. L’évaluation consiste à « faire émerger » la nature et le sens des valeurs qui mobilisent les gens ce qui est évidemment difficile puisque leur objectivation par la science économique – considérée comme la seule vraie science humaine par certains du fait de ses modélisations mathématiques – n’a pas résolu le problème. Il s’agira de comprendre pourquoi :

-  1 mort en avion compte beaucoup plus qu’un mort en voiture.

-  Les hommes préfèrent les blondes

-  Il faut être maigre (ou au contraire obèse … pour une femme touareg)

-  Il faut être bronzé (ou pâle … au 19^e siècle).

-  Le bac général vaut plus que le bac techno, et le bac S a plus de valeur que le bac L, les maths plus que le dessin.

Nous voyons bien que ces valeurs sont le résultat de constructions collectives, parfois manipulées (par le marketing, par les politiques, par les religions, par les médias) et le plus souvent implicites.

Evaluer c’est donc mettre en évidence ces implicites qui guident nos préférences afin de pouvoir opérer un jugement sur la valeur. En essayant de ne pas faire ce qu’on appelle un jugement de valeur qui relèverait de l’arbitraire (c’est-à-dire considérer ces implicites comme allant de soi).

Faire ressortir des valeurs : la question des analyseurs

Avant de commencer un processus d’évaluation je dois aussi m’interroger sur les raisons qui me poussent à me poser telle ou telle question ainsi que le cadre général de pensée dans lequel je construis mon interrogation.

La CNSA et l’ANESM[4], organismes de tutelle des établissements pour personnes âgées ou handicapées, se sont légitimement intéressées aux prescriptions faites par les médecins aux personnes âgées. Les prescriptions de médicaments, particulièrement chez les personnes âgées posent en effet de graves problèmes de santé publique : le nombre de médicaments prescrits est si important (10 en moyenne par résident et par jour) que l’on estime que la moitié des accidents de santé chez ces personnes sont iatrogènes[5]. Cependant le référentiel construit par les tutelles s’intéressent exclusivement à la forme des prescriptions : l’ordonnance comporte-t-elle les coordonnées complètes du praticien, le nom et le prénom du malade, son poids, sa date de naissance, le nom du médicament, sa posologie, la durée du traitement, etc. Toutes choses évidemment indispensables, mais dont le plus ou moins grand respect n’influe pas radicalement sur l’état de santé des personnes considérées (le pharmacien vient faire un filtre expert et efficace). L’analyse de la pertinence des prescriptions ne fait pas partie du référentiel.

Par là, je signifie une chose d’importance : ce à quoi (et pourquoi) implicitement ou explicitement je m’intéresse (en tant qu’acteur, ou en tant que tutelle, et bien évidemment en tant qu’évaluateur) conditionne le regard que je vais porter sur la réalité. Mes cadres de référence (théoriques, mais aussi culturels ou idéologiques) vont m’orienter vers tel ou tel centre d’intérêt, et développer certaines méthodes plutôt que d’autres (je n’ai pas le même regard sur l’IVG selon que je milite au planning familial ou que je suis un fondamentaliste chrétien). Mon regard est entraîné, de par ma formation et mon expérience, vers tel ou tel aspect de la situation que je veux observer.

Or il est impossible de balayer l’intégralité de la réalité que l’on voudrait observer, c’est-à-dire d’être un expert total et omnipotent. Que signifierait une telle possibilité ? Un tel désir de connaissance, d’objectivation totale d’une réalité relève d’une conception totalitaire de la société : tout savoir pour tout contrôler, et tout maîtriser. C’est une position normale pour le petit enfant qui présente un délire de toute puissance. Mais pour un adulte, cela relève d’une névrose grave, malheureusement très répandue.

Il faut donc bien affirmer que l’évaluation ne peut pas tout savoir, tout objectiver, tout montrer.

Ne pouvant observer qu’une petite partie de la situation qui nous intéresse, et les motifs de notre intérêt étant très complexes, la première étape d’une évaluation devrait donc être de clarifier autant que possible les modes de compréhension de la réalité que nous utilisons implicitement et explicitement (nos conceptions, nos points de vue sur les choses). Se lancer dans une évaluation impose donc de clarifier les présupposés tant des évaluateurs que des acteurs concernés par cette évaluation (valeurs et approches théoriques) : un économiste libéral n’aura pas le même regard sur le fonctionnement d’une entreprise qu’un économiste alternatif, et encore moins qu’un sociologue ou un psychologue du travail. Les soubassements théoriques de nos regards sont fondamentaux à expliciter. Cette explicitation suppose de construire de manière explicite ce que nous appelons, à l’AFRESC, des analyseurs, outils d’aide à la compréhension des cadres de référence théoriques mis en œuvre dans les méthodes d’évaluation que l’on développera en tant qu’évaluateur.

Il ne peut donc y avoir en évaluation de questionnaires tous prêts, de référentiels fournis par les institutions, sans que l’on puisse en analyser les soubassements conceptuels et identifier les valeurs de leurs auteurs. Autrement dit, les méthodes de mesure, les outils de l’évaluation ne peuvent être valablement utilisés que si cette étape d’explicitation a été sérieusement réalisée et a permis de construire la méthodologie d’observation, de mesure, d’interprétation.

La définition provisoire que je pourrai donner de l’évaluation est la suivante : l’évaluation est un processus de connaissance, jamais abouti, jamais total, qui nous aide à entrevoir un peu mieux la réalité qui nous entoure et dans lequel l’évaluateur doit rendre explicite ses analyseurs et mettre en évidence les valeurs qui sous-tendent l’agir des acteurs. Ces explicitations sont le premier temps obligé de l’évaluation. Evidemment rarement réalisé…

2- Comment évaluer : la question des indicateurs, des critères et des normes, ou la méthodologie de l’évaluation

Si acteurs et évaluateur ont pu expliciter les valeurs, ont pu présenter et expliquer leur cadre de référence théorique, déterminer l’objet de leur recherche, alors peut se mettre en place la méthodologie de l’évaluation, c’est-à-dire la manière, les outils et les techniques d’observation et de mesures qui vont nous permettre de mieux comprendre cette réalité qui nous entoure.

Cette méthodologie peut être illustrée par l’exemple suivant : comment est-ce que je réagis si mon fils qui est en 4^e a eu un contrôle de connaissance en mathématiques et que sa note est 9,5 sur 20.

En fait nous en tirons quasi immédiatement des conclusions :

-  Il n’a pas assez travaillé

-  Il n’a pas compris

-  Et sa dernière note

-  Et la moyenne de la classe

Ces conclusions montrent l’importance que nous attribuons à ce résultat.

Aurions-nous réagi de la même manière s’il s’agissait d’une note en dessin ?

Mais pour pouvoir faire ces commentaires et juger notre fils, il nous a fallu un certain nombre d’outils et de méthodes :

-  Une norme : être performant en maths. Pour quoi faire ?

-  Une valeur : on accorde plus d’importance aux maths qu’au dessin (dans les familles, dans la société, dans les établissements, voire dans les barèmes de notation)

-  Un indicateur : le niveau dans la discipline

-  Une mesure : 9,5

-  Un instrument de mesure : le contrôle (devoir sur table)

-  Une méthode de mesure (le barème attribué à chaque question et à chaque réponse)

-  Un critère : 10/20 est la « moyenne » qu’il faut atteindre pour être au niveau (de passer dans la classe supérieure, de réussir son examen).

-  Une démarche de comparaison (avant / après, ici et ailleurs).

C’est bien l’ensemble de ces éléments qui nous permet de juger le résultat. Ces éléments constituent la méthodologie de l’évaluation et sont tous arbitraires. En effet

-  Si, dans notre société on faisait la promotion de la poésie plutôt que des mathématiques, le jugement porté sur le 9,5 en maths serait très différent.

-  De même peut-on contester l’indicateur niveau de connaissance en mathématiques : n’y a-t-il pas d’autres manières de percevoir si un enfant a fait son travail – compréhension, travail pour essayer de comprendre, intérêt qu’il porte au sujet ? En cherchant à objectiver d’autres éléments de l’apprentissage d’une discipline, on change de regard sur l’enfant et son avenir. Autrement dit le choix de l’indicateur est déterminant pour l’observation et la mesure, et cette observation peut être déterminante dans la vie d’une personne ou d’une institution.

-  La note est le résultat d’une mesure obtenue grâce à un instrument de mesure et une méthode de mesure. 9,5 est un peu arbitraire et peu de chose le sépare de 10. Un autre correcteur aurait peut-être dispatché les points autrement (d’où la double correction parfois). Si en maths les choses semblent à peu près « objectives », que dire de la philo ou des évaluations nationales de niveau ? Malgré ces réserves, la mesure est rarement contestée tant la méthode de mesure semble simple et évidente (un contrôle de maths, des exercices faits en classe et en temps limité, cela va de soi). Il est facile de comprendre à quel point la mesure peut varier en fonction du contexte, de l’environnement de la mesure. Le poids d’une personne, dont la mesure consiste simplement à faire monter une personne sur une balance, change de manière importante selon l’heure de la journée (entre le matin et le soir, avant ou après le repas, habillé ou nu, etc.). Il faudrait pouvoir répéter la mesure dans les mêmes conditions exactement pour pouvoir les comparer. La tension artérielle varie selon l’heure, le stress, la fatigue, l’exercice ou l’activité physique ou intellectuelle ; quels sont les médecins qui en tiennent vraiment compte dans la mise en route d’un traitement antihypertenseur ? On peut en dire autant des conditions dans lesquelles se déroule la mesure ayant conduit à noter l’élève : un examen est souvent stressant et la « performance » de l’élève très différente de sa réelle capacité. Autrement dit, une mesure n’est jamais objective, et son résultat est le produit de facteurs indépendants de la technique de mesure, aussi sophistiquée soit-elle. Les ordinateurs des traders, qui réagissent à des milliards d’information à la seconde sont quand même pilotés par les émotions du trader, ses idées et sa manière d’envisager les choses.

S’il faut une mesure pour faire de l’évaluation, la mesure est en tout point un instrument imparfait, qui ne montre qu’une toute petite partie d’une réalité (même si elle peut servir d’alerte) et qui ne mesure que ce que l’on a décidé de mesurer (l’indicateur choisi détermine la mesure, et donc le résultat de la mesure[6]). D’où l’importance de la négociation sur les indicateurs et leur mesure dans tout processus d’évaluation.

-  Le barème est encore plus arbitraire, de même l’échelle de la mesure. On s’aperçoit par exemple que l’échelle de notation de 0 à 20 et le critère de 10/20 conduisent les enseignants à éliminer les notes extrêmes (entre 0 et 4 et entre 16 et 20. La répartition statistique des notes entre 0 et 20 a tendance à suivre une courbe de Gauss). Certains enseignants notent en fait entre 8 et 12. Mais pourquoi choisir 10/20 ? Cela n’est pas toujours le cas. Ainsi, au temps où je passais le Bac, la note minimum pour réussir sans oral de rattrapage était 12/20. Mais à l’oral, la note de 10/20 était suffisante. Les professeurs se sont vite aperçus que les élèves ayant entre 10 et 12 seraient forcements reçus à l’oral, ce qui a conduit au changement du critère.

D’autres manières d’élaborer des barèmes existent : par exemple le concours (ce n’est plus la note en soi, le résultat de la mesure qui compte, mais l’ordre des notes des différents candidats). Ou plus sophistiqué : le barème de la question est inversement proportionnel au pourcentage de candidats qui répondent correctement à la question, c’est-à-dire que plus le nombre de bonnes réponses est élevé, et plus le nombre de points attribué à la question est faible. La note n’est plus interprétable comme « niveau de connaissance » mais sert seulement, comme dans les concours, à étalonner les candidats entre eux. Mais de manière oh combien plus subtile. Dans les concours comme le CAPES, il se peut que des candidats ayant 4/20 soient admissibles. On construit donc des barèmes permettant que le dernier reçu ait juste 10/20. Il suffit pour cela d’un bon algorithme. Le critère est lui aussi parfaitement arbitraire et repose sur un consensus rarement débattu (en 68, on a voulu supprimer le critère en notant de A à E. On a vu apparaître rapidement le critère discriminant « C – »).

La question des critères et de leur élaboration est cruciale en évaluation  : à partir de quand estime-t-on qu’une personne est diabétique ? Ou hypertendue ? Pour le diabète, ces dernières années, les indicateurs se sont diversifiés, et les critères se sont distendus.

Ainsi, plusieurs indicateurs décrivent maintenant le diabète (taux de sucre instantané, taux de sucre moyen, fonctionnement des reins, du cœur et des artères, état des pieds, état du fond d’œil). Les critères ont aussi acquis un peu de souplesse et varient selon l’âge : si le taux moyen de sucre doit être inférieur à 6 % (indicateur hémoglobine glyquée) pour les moins de 60 ans, il est de 6 à 8 % pour les personnes âgées. D’où vient alors cette variabilité du critère (même indicateur, même instrument de mesure) ? Elle provient essentiellement de 2 ordres de raison : la valeur qui sous-tend l’action (dans le cas du diabète il s’agit de la valeur longévité de la santé publique) et les conséquences de l’action ou de l’inaction sur cette valeur (il est plus dangereux d’avoir une glycémie déréglée quand on est jeune que quand on est vieux, car les effets secondaires du diabète se développent dans la longue durée).

-  L’interprétation des résultats va nécessiter le plus souvent non pas 1 seule mesure, mais un ensemble de mesures successives : le 9,5 en maths ne prend pas la même signification selon que les notes précédentes étaient constamment entre 15 et 20 ou entre 0 et 5. De même cette note n’a pas le même sens selon que c’est la meilleure note de la classe ou la plus mauvaise.

Evaluer, c’est donc tenter de mesurer un phénomène et pour cela définir ce qu’on va mesurer (l’indicateur), la méthode de mesure (l’examen, le QCM, le questionnaire, …) et la norme d’interprétation du résultat (le critère). Cette mesure ne constitue que le substrat nécessaire à l’élaboration d’un jugement qui dépend de comparaisons entre différentes mesures.

Evaluer un nouveau médicament nécessite de comparer les effets positifs et négatifs du médicament, relativement à d’autres médicaments. En France on compare le médicament à un placébo, ce qui rehausse l’idée que l’on se fait de l’efficacité du médicament. Dans d’autres pays, on compare tout nouveau médicament au médicament de référence dans la classe thérapeutique. La différence de critère est nette et ses effets sur la décision sont parlant  : si le nouveau médicament est plus efficace que le placébo (ce qui est quand même en général le cas), il reçoit le jugement label « service médical rendu positif ». Dans les autres cas, le nouveau médicament n’apporte que très rarement un effet réellement significatif par rapport au médicament déjà existant, et le jugement serait « service médical rendu insuffisant ».

Chaque étape, chaque dimension de ce processus de connaissance qu’est l’évaluation pose donc de sérieux problèmes :

-  Les cadres de références théoriques et normatifs de l’analyse (les analyseurs) doivent être explicites

-  Les indicateurs doivent refléter correctement la question posée, y répondre au moins en partie et être relativement facilement mesurables

-  Les critères doivent être élaborés de telle manière que les résultats de la mesure puissent être interprétés sans trop de flou

-  Les méthodes de mesure doivent être relativement fiables et permettre par leur rigueur d’établir les comparaisons. Elles ne doivent pas pour autant conduire à trop simplifier les questions que l’on se pose et les indicateurs que l’on choisit.

3- Conclusions politiques et morales

On l’aura compris, l’évaluation est un enjeu politique dans les pratiques socio-économiques.

Selon le cadre de référence de l’évaluateur, selon les indicateurs choisis, les critères retenus, le jugement porté sur la situation peut grandement varier.

C’est ainsi que les acteurs de l’évaluation sont nécessairement les acteurs de l’action elle-même pour non pas réaliser eux-mêmes l’ensemble du processus, mais être partie prenante des étapes successives :

-  Faire en sorte que l’évaluateur explicite ses conceptions, ses valeurs, son cadre de référence

-  Faire le choix de l’objet à évaluer (on ne peut pas tout évaluer)

-  Négocier les indicateurs, les critères, les méthodes de mesure

-  Contribuer à l’analyse des résultats

-  Etre des sortes « d’assesseurs » dans la production du jugement.

C’est à ces conditions qu’une évaluation est non seulement faisable, mais qu’elle fera sens pour les acteurs et donc qu’elle produira des effets.

Il y donc de l’inévaluable : non pas tant une situation, un projet ou une action particuliers, mais bien plutôt des situations contextuelles qui ne permettent pas cette élaboration collective et coopérative.

Les évaluations prônées par les tutelles dans lesquelles les référentiels arrivent tout prêts, préparés par des technocrates sont essentiellement des non évaluations. Peut-être des contrôles administratifs, mais cela serait dévaluer l’idée du contrôle administratif que de laisser faire un contrôle sur des bases non rigoureuses en termes de méthode d’observation.

Autrement dit, nombre de procédures dites évaluatives ne permettent pas en réalité une production collective d’un jugement sur la valeur, et en conséquence ne disent rien sur la pertinence ou la qualité d’une action. Je dirai que ces situations « impossibles » à évaluer sont inévaluables. Construire une évaluation dans un contexte rendant l’évaluation impossible en réalité est donc une erreur, malheureusement faite couramment, sinon presque constamment.

La rigueur suppose que la réalité à observer soit suffisamment connue pour que le référentiel soit en cohérence avec les pratiques réelles et locales. Or la seule manière de bien connaître une réalité est de la vivre.

En anthropologie, la production du savoir par l’anthropologue se fait par l’immersion longue dans le milieu social et culturel qu’il s’agit d’observer.

Dans les organismes internationaux comme la banque mondiale, on mandate des experts pour faire l’évaluation de projets de développement … en 3 semaines à partir de schémas préétablis et reproduits dans tous les territoires.

Si tout projet ou toute situation est techniquement évaluable, je reconnais que nombre de situations concrètes, réelles, sont parfaitement inévaluables. Ces situations ou l’évaluation peut être rigoureusement impossible sont des situations ou les conditions de co-élaboration des indicateurs et des critères ne sont pas respectées, où les valeurs des acteurs ne sont pas explicitées, et ou les cadres de référence théoriques de l’analyse restent flous.