1.2 - Evaluation



















Des outils et des hommes - Evaluation
Dans le cadre national d’évaluation des politiques publiques, l'Etat a confié une mission à l'Agence des Aires marines protégées : mettre en oeuvre le tableau de bord des AMP à l'échelle des eaux françaises afin de disposer d'un cadre national d'évaluation du réseau des AMP en termes de couverture, de réprésentativité et d'efficacité (cf. fiche exemple tdb)

Plus récemment, l’UICN a créé la "Liste verte des aires protégées" qui est un nouveau système de labellisation de la qualité de la gestion et de la gouvernance des aires protégées, sur la base de critères (indicateurs) définis à l'échelle mondiale. Elle vise à reconnaître, encourager et célébrer les aires marines protégées qui réalisent une conservation efficace de la nature, des écosystèmes associés et des valeurs culturelles. Pour pouvoir prétendre faire partie de cette liste, les ENP doivent pouvoir démontrer l'efficacité de leur gestion en répondant à des standards de qualité dont un concerne la mise en place d'un système de contrôle du bon maintien des valeurs du site, à savoir un tableau de bord (cf . fiche exemple)


Facteurs clés de réussite - Evaluation
- Prendre en compte l’évaluation a priori et non a posteriori.
- Ne pas limiter l’évaluation à un niveau de réalisation des opérations du PG, mais bien à son efficacité en termes de résultats.






Points de vigilance - Indicateurs

Un indicateur va à l’essentiel et permet d’établir un diagnostic : il ne doit pas faire figurer les données brutes directement, mais bien une synthèse et une interprétation de ces données grâce une grille de lecture.

Il est important de le distinguer des « métriques » (variables) qui le composent, qui constituent des données de base recueillies sur le terrain à l’aide de dispositifs de suivi spécifique.


Facteurs clés de réussite - Définir des indicateurs de qualité

Un indicateur est jugé de qualité s'il :

- Est pertinent par rapport à l’objectif concerné
- Est robuste, fiable, précis et donc spécifique : l’interprétation doit être stable et cohérente dans le temps
- Est sensible : il doit refléter effectivement les variations de ce qu'il est censé synthétiser ou mesurer
- Est compréhensible, simple et utilisable par tous les acteurs (Protocole simple et applicable dans le temps)
- Présente un coût acceptable

 








Cf. Exemple d’indicateur de pression d’urbanisation à l’échelle du site et de son territoire
Fiche exemple Programme Rhoméo





























Le tableau de bord

Au sein des AMP et dans l’ensemble des RNN (terrestres et marines) Cet outil se met en place.
Le tableau de bord offre à travers le jeu d’indicateurs sélectionnés une vue synthétique des résultats obtenus sur le terrain au vu des enjeux et de la responsabilité de l’ENP. C’est la colonne vertébrale du plan de gestion qui permet au gestionnaire de vérifier qu’il est sur la bonne trajectoire : qu’est ce qui est attendu, a-t-on bien fait, comment faire mieux ?
Le tableau de bord est un outil multi-fonctions (cf. fiche exemple).

 

mise à jour: 11/09/2015

 

Objectif : appréhender la démarche « d’évaluation » tout au long de l’élaboration et de la mise en œuvre du plan de gestion. Distinguer les différents types d’évaluations, leur utilité, le moment où les mobiliser… en fonction de ce que l’on veut évaluer.

Un aperçu de la démarche globale d’évaluation est donné afin d’en présenter les grandes lignes et de bien saisir les articulations entre les différents types d’évaluations. Les renvois sont donnés sur les parties détaillées relatives aux différents aspects de l’évaluation traitée ici.

 

 

Pourquoi évaluer le plan de gestion ?

L’évaluation est une obligation réglementaire pour certains ENP, notamment pour les réserves naturelles (article R 332-22 CE), pour les sites Natura 2000 (article R414-11-6 CE) ou les parcs naturels marins (article R334-33 CE).

Mais cette obligation ne fournit pas les clés de l’évaluation, pourtant essentielle à la bonne conduite du plan de gestion (de son élaboration à sa mise en œuvre et à sa révision).

L’évaluation aide en effet les gestionnaires à la prise de décision pour atteindre les objectifs et cibles visées et assure un suivi régulier et des points d’arrêt et de prise de recul sur la situation permettant de réorienter au besoin les objectifs et/ou les actions prévues. Elle contribue de ce fait au développement d’une gestion adaptative.

L’évaluation garantit une volonté affichée de transparence de la gestion locale en fournissant des leviers permettant de prioriser les actions, d’identifier les menaces et les problèmes sous le contrôle du gestionnaire et ceux qui le dépassent tout en appréciant les résultats obtenus au regard des moyens alloués et mis en œuvre. Elle permet ainsi de simplifier et communiquer sur des problématiques complexes et accroître la sensibilisation à une problématique donnée

Elle agit comme un système d’alarme pour détecter et anticiper les problèmes (alerter notamment sur une problématique qui ne relèverait pas de l’ENP mais d’une autre politique).

Par ailleurs, elle joue un rôle primordial dans le rapportage nécessaire auprès des différents partenaires impliqués dans la démarche de gestion sur le site (financiers, techniques…), et afin de répondre aux enjeux nationaux, communautaires et internationaux en matière de suivi et d’évaluation des stratégies et politiques de conservation de la nature.


 

Qu'est-ce que « l’évaluation » ?

L'évaluation du plan de gestion permet de déterminer la réussite de la mise en œuvre de ce plan de gestion (réalisation, efficacité des actions pour réduire les pressions) et l’atteinte des résultats qui étaient attendus (état des enjeux).

Evaluer quoi ?

Dans le cadre d’un plan de gestion, l’évaluation porte principalement sur :

  • L’évaluation de l’efficacité de la gestion aux regards de l’atteinte des objectifs à long terme fixés : a-t-on atteint le résultat escompté ?

  • L’évaluation de la mise en œuvre de la stratégie d’action (réalisation des actions, atteinte des objectifs opérationnels, bilan financier) : a-t-on mis en œuvre les actions prévues ?


Evaluer quand ?

L’évaluation a lieu tout au long de la vie de l’ENP

  • L’évaluation chemin faisant permet de rendre compte à l’organe de gouvernance et aux financeurs des actions réalisées, des difficultés rencontrées et des premiers résultats observés. Elle permet une éventuelle réorientation si des problèmes techniques ou de nouvelles pressions sont identifiés (traduite au travers du rapport d'annuel d'activité).
  • L’évaluation pluriannuelle au terme du plan de gestion ou d’un plan d’action constitue une étape plus formelle de bilan des actions menée et des niveaux d’atteinte des objectifs opérationnels. C’est une étape nécessaire à la définition d’un nouveau plan de gestion.
  • L’évaluation des objectifs à long terme ne pourra être interprétée à l’issue du premier plan de gestion, mais elle permet de s’assurer que les protocoles sont bien en place et permettent de calculer les bons indicateurs.

 

Evaluer comment ?

Les indicateurs : des éléments clés dans le processus d’évaluation

Qu’est-ce qu’un indicateur ?


Un indicateur peut être défini comme une valeur calculée à partir d'une ou plusieurs métriques (valeur mesurée) qui mesure la progression vers les objectifs au regard de l'écart à la cible à atteindre.

Le concept d'indicateur est à l'interface entre science et politique. Cette double dimension scientifique et politique implique un choix intégrant d'une part les exigences de la rigueur scientifique et d'autre part les contraintes opérationnelles.

La qualité de ce compromis implique un travail de co-construction avec les scientifiques et l’organe de gouvernance.

Il est donc important de toujours préciser la nature de l'indicateur, son objet, et le(s) message(s) censé(s) être délivré(s). Un indicateur est un élément quantitatif qui vise à alimenter le débat et non à le remplacer.

De nombreuses typologies d’indicateurs existent en fonction des types de sites, de méthodologies…

Ici, il est proposé la typologie suivante basée sur le modèle PER qui peut ensuite être décliné en modèle DPSIR (cf. fiche exemple ) :

Le modèle PER se fonde sur la notion de causalité. Il met en relation :

les pressions exercées sur l'environnement par la société humaine ;
l'état ou la condition de l’environnement qui en résultent ;
la réponse de la société à ces conditions afin d'atténuer ou de prévenir les impacts négatifs résultant des pressions.

Les indicateurs de pression, d’état et de réponse sont des outils qui peuvent être utilisés pour suivre la dynamique d’ensemble du système complexe qu’est la biodiversité, en en donnant une représentation simplifiée. Ces indicateurs prennent du sens par rapport à une valeur de référence choisie et construite (norme/seuil/objectif visé).

Faire la distinction entre indicateurs de pression et d’état peut parfois s’avérer délicat, notamment lorsque le suivi de paramètres biologiques est employé pour percevoir et estimer les pressions anthropiques exercées (bioindication). S’accorder explicitement sur leurs définitions et différences est donc un préalable nécessaire : les indicateurs de pression décrivent des facteurs susceptibles d’influer sur la biodiversité, tandis que les indicateurs d’état s’attachent à décrire l’état de la biodiversité, que ce soit en termes d’écosystèmes, d’espèces ou de gènes.

 N.B. :L’amélioration de la compréhension des interactions entre pression et état de la biodiversité est un objectif pour de nombreux travaux de recherche aujourd’hui. Les mécanismes en jeu pourront difficilement être appréhendés de façon générique à une échelle nationale. Ils ne sont donc pas l’objet principal de cette étude.
Des activités, processus et comportements humains (Forces motrices) sont à l’origine des pressions (Pressions) sur la biodiversité dont l’état (Etat), par conséquent, change. Dès lors cela induit des impacts sur les services écologiques fournis par la biodiversité et donc sur la société qui utilise ces services (Impacts). C’est pourquoi, en réponse à ces changements, des politiques sont définies et des actions sont mises en œuvre (réponses), pour agir sur les quatre maillons précédents (source : UICN France).

Indicateur de pression

Ils reflètent la pression exercée par les activités humaines et/ou les processus naturels qui provoquent des changements sur les enjeux.

Exemple d’indicateur de pression : taux d’habitat piétiné, pourcentage de recouvrement d’espèces invasives, taux de nitrate élevé

Indicateur d’état (situation de la biodiversité)

Ils informent de l’effet de la pression sur l’état des enjeux. Ils offrent une description de la situation de la biodiversité ou des enjeux socio-économiques à un instant donné (notamment au moment de la rédaction du plan de gestion) ainsi que les changements d’état dans le temps.

Exemples : Etat de conservation de tel ou tel habitat (surface, fragmentation…) ; Etat des populations d’oiseaux (effectif diversité…)

Indicateur de réponse

Il s’agit d’indicateurs de la réponse apportée par le gestionnaire (réalisation obtenue par les moyens déployés).

Exemple : surface aménagée, linéaire de haie replantée, nombre de contrats signés, surface de terrain réaménagée, etc. ;

Quel jeu minimal d’indicateurs est nécessaire pour évaluer ?

 

 

Alors que l’absence d’indicateur génère une source d’incertitude pour la prise de décision, leur excès crée un effet de répulsion et provoque le doute sur la conduite à tenir. Pour que les indicateurs soient vraiment performants eu égard à un objectif, il est donc capital d’en limiter le nombre. Ils peuvent être élaborés et choisis à partir de trois questions simples traitées avec les acteurs du territoire concerné :

→ Comment les indicateurs permettent-ils de faire le lien entre les objectifs de gestion, les actions à mettre en œuvre et les résultats attendus ?

→ Ces indicateurs font-ils sens auprès des acteurs du territoire, peuvent-ils permettre d’améliorer la qualité des discussions autour de certaines thématiques clés ?

→ Existe-t-il des données pour renseigner ces indicateurs et, sinon, est-il facile de collecter les données nécessaires ?

Socle minimal – Evaluation

✔ Identification des enjeux pour lequel l’ENP a une responsabilité (cf. fiche 3.1)

✔ Définition d’objectifs à long terme assortis de niveaux d’exigence quantifiables (cf. fiche 4.1)

✔ Évaluation de l’efficacité de la gestion au regard des objectifs fixés. (cf. fiche 4.1)

✔ Évaluation de la mise en œuvre du plan de gestion (annuellement et à l’issue du PG) reprenant l’état d’avancement des opérations (niveau de réalisation), les résultats et perspectives, les coûts, le temps passé… (cf. fiche 5.1)

bliogrie

Bibliographie

EDEN 62, Guide

Présentation Delphine Danancher, forum des gestionnaires 2014, Indicateurs de pression de la boite à outil Rhoméo

MEDD/GIP Aten Guide méthodologique pour l’évaluation. Version provisoire.

Espaces Naturels n°33, 2011. Dossier : Indicateurs de biodiversité – Pourquoi faire ? Comment faire ? Janvier 2011. Javelle A., Souheil H. et Popy S.

Aten, 2005. Guide méthodologique pour le bilan-évaluation de la mise en œuvre des DocOb.

Popy S., 2010. Etude de préfiguration d’un Observatoire Régional de la Biodiversité pour le Languedoc-Roussillon. Bases de réflexion pour la constitution d’un jeu d’indicateurs – Rapport final

Espaces Naturel, n°15. Changement climatique…

Aten, CT n°83 Mémento de terrain

Tempesta M., Otero M. 2013. Guide pour l’évaluation rapide de la gestion des AMP méditerranéennes. WWF Italie, UICN. 68 pages

Jailloux A., 2010.  Les suivis dans les parcs nationaux français, une contribution originale pour l’évaluation de la biodiversité ?

Hockings M., Stolton S., Leverington F., Dudley N. & Courrau J., 2006. Évaluation de l’efficacité – Un  cadre pour l’évaluation de l’efficacité de la gestion des aires protégées 2ème édition. IUCN, Gland, Switzerland and Cambridge, UK. xiv + 105 pp

Levrel, H., 2007. Quels indicateurs pour la gestion de la biodiversité ? Les cahiers de l’IFB. Octobre 2007.

Région Languedoc-Roussillon & Réseau ENP L-R, Les espaces naturels protégés une chance pour le développement de nos territoires. 35 exemples concrets en Languedoc-Roussillon – Guide à l'usage des élus. Édition Réseau des gestionnaires d’espaces naturels protégés du Languedoc-Roussillon, décembre 2011.

 

Table des matières