8.14 - Le tableau de bord : un outil pour l'évaluation de la gestion











L’Etat a des attentes particulières en matière d’évaluation des politiques publiques puisqu’il s’agit d’éléments particuliers qui ont justifié la création de l’espace protégé et pour lesquels il dote legestionnaire de moyens. C’est à partir de ces enjeux hiérarchisés que va découler l’ensemble de la stratégie de gestion de l’ENP dont l’efficacité doit être évaluée au regard des moyens effectivement déployés.

 









































































































































































































Les gestionnaires d’AMP pourront être guidés dans leurs choix en consultant le Catalogue national des indicateurs (en cours d’élaboration par l’AAMP). L’objectif de cet outil n’est pas de tendre vers un recensement exhaustif mais de cibler les indicateurs pertinents pour évaluer l’efficacité de la gestion en mutualisant les connaissances et les retours d’expériences des gestionnaires d’AMP. Le catalogue propose également des éléments de diagnostic sur la pertinence et l’efficacité des indicateurs recensés. 

Catalogue national des indicateurs

 


Dans l’idéal, les dispositifs de suivi devraient être mis en place avant la création de l’ENP et l’établissement des premières mesures de gestion. Ces précautions sont les garantes de l’obtention de résultats robustes d’un point de vue statistique dans l’évaluation de l’efficacité de la gestion. Afin de pouvoir évaluer statistiquement les effets d’un ENP il est indiqué d’appliquer une procédure BACIPS (Before After Control Impact Paired Series) (Osenberg et al., 19922). Le principe de la méthode de suivi BACIPS repose sur le suivi conjoint de deux zones, avant et après la mise en gestion de l’une des deux et l’observation de l’évolution temporelle des indicateurs retenus pour caractériser la zone en gestion et celles en dehors de la gestion. Il faudra donc tenter de disposer de points de suivi à l’extérieur de l’ENP pour comparer son efficacité avec une zone témoin en dehors.




Un suivi correspond à « la collecte et l’analyse d’observations et de mesures répétées dans le but de détecter des tendances d’évolution »

Les premiers retours d’expérience démontrent que la totalité des indicateurs ne peut être construit dès la phase de rédaction du plan de gestion. Le gestionnaire pourra d’ailleur planifier un certain nombre d’actions pour finaliser la construction des indicateurs et leur mise en œuvre (échanges avec les partenaires scientifiques, définition de protocoles, test sur le terrain,..) .

RNF/AAMP

mise à jour: 07/10/2015

 


Pourquoi un tableau de bord ?

L’évaluation est une obligation règlementaire pour certains espaces naturels protégés (voir Fiche n° 1.2). De plus en plus de cadres communs d’évaluation se développent pour répondre au besoin grandissant d’évaluation des politiques publiques visant un rapportage national de l’efficacité individuelle des espaces naturels protégés et celles du réseau qu’elles constituent. C’est dans ce cadre qu’est déployée, depuis 2009, la démarche de tableau de bord dans le réseau des aires marines protégées (AMP) qui s’élargit aujourd’hui à tous les espaces naturels protégés (ENP).

C’est quoi un tableau de bord ?

Un tableau de bord d’ENP est un outil de gestion, de pilotage et d’évaluation du site. Il est consitué d’un ensemble d’indicateurs qui offre au gestionnaire une vue synthétique de la situation et des tendances observées sur le terrain afin d’améliorer ou de reconsidérer la gestion. Ce jeu d’indicateurs fournit rapidement au lecteur l’information essentielle sur l’efficacité des mesures prises sur le terrain au regard de ce qui est en jeu sur le site et des résulats attendus à long terme.


A quoi sert un tableau de bord ?

Le tableau de bord permet à différents publics cibles (gestionnaire, ministère, instance de gouvernance,usagers) de trouver les réponses à 4 questions clefs : Où en sommes-nous aujourd’hui ? Où voulons-nous aller ? A-t-on bien fait ? Comment faire mieux ?

Ainsi il pemet d’interroger de manière itérative à la lecture d’indicateurs, sur la bonne mise en œuvre du plan de gestion ansi que l’atteinte des objectifs visés (voir schéma n°@).

Ainsi les indicateurs du tableau de bord :

  • permettent d’évaluer si l’état souhaité pour chaque enjeu et les résultats attendus grâce aux mesures de prises sont atteints ;
  • jouent un rôle essentiel en matière de choix stratégique et de gestion adaptative du site en réorientant au besoin les objectifs visés et/ou les actions prévues ;
  • répondent aux besoins de suivi et d’évaluation des politiques de conservation de la nature à diverses échelles (local, national, international) ;
  • jouent un rôle déterminant en matière de communication en sensibilisant le public aux enjeux du site et aux efforts de gestion mise en œuvre sur le terrain ;
  • sont le garant d’une volonté affichée de transparence de la gestion locale concernant les résultats obtenus par l’ENP.

Quels liens entre tableau de bord et plan de gestion ?

Le tableau de bord et le plan de gestion sont deux entités qui ne peuvent être dissociées l’une de l’autre (voir schéma n°@). L’élaboration du tableau de bord va s’enclencher systématiquement pour chaque enjeu de l’ENP à partir duquel seront déployés les deux axes temporels du plan de gestion (OLT et OO).

Les indicateurs du tableau de bord serviront à mesurer l’écart entre :

  • l’état initial de l’enjeu (partie diagnostic du plan de gestion) et l’état ciblé de l’enjeu décliné en objectifs à long terme dans le plan de gestion ;
  • l’état initial des menaces (partie diagnostic du plan de gestion) et les résultats attendus concernant leur réduction à moyen terme par la mise en place de mesures de gestion (plan d’action/ opérations).

 

 

Quels sont les indicateurs du tableau de bord ?

Qu’est-ce qu’un indicateur ?

Un indicateur est une quantité mesurable directement ou calculable indirectement à partir de données de terrain qui permet d’établir un diagnostic. Il est défini pour répondre à une question spécifique.
Le rôle de l’indicateur est de simplifier un message plus complexe. Le lien entre l’indicateur et ce message doit être suffisamment simple à comprendre et une seule interprétation doit être possible.

Afin qu’il puisse être utilisé pour réaliser un diagnostic, cet indicateur doit posséder certaines qualités statistiques qui peuvent être évaluées par des analyses de données. Il doit notamment être précis, non biaisé et robuste à la variabilité naturelle des données. Un indicateur est pertinent s’il existe un lien fort, direct ou indirect, entre l’état du processus observé et la réponse de l’indicateur préconisé à une pression ciblée. La pertinence scientifique d’un indicateur quantifie le lien entre l’indicateur et l’effet auquel il est supposé se rapporter.

 

Quels types d’indicateurs pour le tableau de bord d’un ENP ?

Pour la majeure partie des ENP, la démarche de tableau de bord vise prioritairement à renseigner sur l’état de conservation du patrimoine naturel qui a justifié la désignation du site et pour lequel le gestionnaire porte une responsabilité particulière (état de conservation des habitats d’intérêt européen pour les sites Natura 2000, etc.).

Toutefois, le tableau de bord de l’ENP peut difficilement se limiter aux seuls indicateurs d’état dont les temps de réponse aux mesures de gestion prises à court terme ne seront pas immédiat. A titre d’exemple, une réduction de l’effort de pêche va rapidement se répercuter sur la structure de taille des espèces ciblées par la pêche alors que son impact sur la structure générale des communautés via des interactions trophiques sera significatif après un temps beaucoup plus long.

L’évaluation de l’efficacité de la gestion doit donc être complété par d’autres types d’indicateurs ayant un lien avéré avec l’état de l’enjeu. Ceux-ci pourront renseigner notamment le niveau de pressions vis-à-vis desquels des actions de gestion auront été ciblées pour les faire diminuer à court et moyen terme.

Ainsi, les indicateurs du tableau de bord de l’ENP doivent permettre au gestionnaire de répondre à un certain nombre de questions évaluatives posées à différentes étapes de l’élaboration du plan de gestion. Elles sont de plusieurs ordres :

  • Vérification : Comment vérifier que je progresse vers mon OLT ?

Indicateurs d’ETAT (E) des enjeux

Ils informent sur l’état de l’enjeu à un instant donné (ex : Etat de conservation du récif corallien)

  • Obstacles : Qu’est-ce qui m’empêche d’atteindre mon OLT ?

Indicateurs de PRESSION (P) sur les enjeux

Ils sont le reflet de la pression excercée par les activités humaines et/ou processus naturels qui provoquent des changements sur les enjeux (ex : l’ancrage des bateaux de plongée sur le récif entraine sa dégradation)

  • Actions : Comment je vais agir pour atteindre mon OLT ?

Indicateurs de REPONSE / REALISATION DE GESTION

Ils informent de la réalisation effectuée par les moyens déployés (ex : signature de chartes de bonne conduite par les clubs de plongée, installation de mouillage organisé…)

C’est ce jeu complet d’indicateurs regroupés dans le tableau de bord qui permettra au gestionnaires d’évaluer à moyen et long-terme l’efficacité de la gestion menée sur le site. Celui-ci correspond au modèle PER (Pression-Etat-Réponse).

Il existe un autre modèle plus complet d’indicateurs, le modèle DPSIR (voir Fiche n° 8.12) pouvant être également utilisé. Il repose sur des indicateurs d’éléments Déterminants (facteurs responsables d’une pression), de Pression (nature de la pression), de Situation (état des enjeux), d’Impact (changements, services rendus), de Réponse (mesure mise en œuvre pour améliorer la situation).

Choisir les bons indicateurs

Un indicateur est un élément quantitatif qui vise à alimenter le débat et non à le remplacer ; il doit toujours être replacé dans la perspective plus large d'une analyse qualitative par ses utilisateurs. Aussi, la double dimension politique et scientifique associée aux indicateurs implique de réaliser un compromis entre fournir une information simple à un large public, et conserver le maximum de rigueur scientifique.

Pour cette raison, il est nécessaire de trouver un équilibre entre plusieurs critères de qualité d’un bon indicateur qui devrait être : reproductible (applicable à différents contextes/zones géographiques), fiable scientifiquement, interprétable (associé à une grille de lecture), sensible, spécifique, robuste, compréhensible/simple, pertinent, adaptable aux échelles d’étude (ex : une AMP versus le réseau des AMP), mesurable/réaliste avec les moyens humains et financiers disponibles. Toutes ces qualités sont rarement réunies, certaines sont incontournables d’autres dépendent de l'utilisation locale de l'indicateur. Tout choix d’indicateur réside en un compromis intimement lié à la question posée.

Alors que l’absence d’indicateurs génèrerait une source d’incertitude pour la prise de décision, leur excès provoquerait le doute sur la conduite à tenir et induirait l’inaction. Par ailleurs, les « usines à gaz d’indicateurs » créent un effet « répulsion » auprès de l’organe de gouvernance et des acteurs locaux. Pour que le tableau de bord soit vraiment performant et approprié, il est capital de limiter le nombre d’indicateurs. Ils peuvent être priorisés à partir de trois questions simples traitées avec les acteurs du territoire concerné1:

→  Comment les indicateurs permettent-ils de faire le lien entre les objectifs de gestion, les actions à mettre en œuvre et les résultats attendus ?
→ Ces indicateurs font-ils sens auprès des acteurs du territoire, peuvent-ils permettre d’améliorer la qualité des discussions autour de certaines thématiques clés ?
→ Existe-t-il des données pour renseigner ces indicateurs et, sinon, est-il facile de collecter les données nécessaires ?

Le choix des indicateurs doit prioritairement s’appuyer sur l’existant en la matière. La démarche vise également à optimiser l’utilisation des données et suivis existants, trop peu souvent exploités. A qualité égale, la sélection portera préférentiellement sur des indicateurs qui :

- s’intègrent dans les dispositifs de suivi et d’observatoires réalisés à des échelles supérieures (régionale, sous-région marine, internationale) ;
- reposent sur des dispositifs de suivi existants et harmonisés (protocoles standardisés RNF, DCE, DCSMM, réseau INSU, Wetlands…) afin de garantir des comparaisons et une interprétation intersites.

Quels dispositifs de suivis pour le tableau de bord ?

Les suivis menés sur les territoires des ENP doivent répondre en priorité aux besoins de l’évaluation de la gestion avec le renseignement des indicateurs du tableau de bord.

La collecte de nouvelles données opérée par le gestionnaire pour renseigner son tableau de bord doit s’inscrire sur le long terme et ne doit pas être remise en cause par la stratégie d’action. Elle nécessite d’être mise en cohérence avec les réseaux d’observations et de suivis déjà existants (surveillance, administrations, organismes de recherche, organisation de professionnels) afin de les compléter efficacement.


Comment faire vivre le tableau de bord ?

Organiser et sécuriser la collecte des données

Seule la définition de protocoles de collecte de données garantira au gestionnaire de calculer les indicateurs du tableau de bord avec une précision et une justesse adéquate tout en respectant les contraintes logistiques. L’ensemble des données collectées pour renseigner les indicateurs du tableau de bord seront stockées dans des bases de données interopérables garantissant les échanges, le transfert vers des plateformes de calcul et le partage entre gestionnaires et scientifiques.

Mobiliser l’expertise scientifique et technique

La mise en place du tableau de bord demande un investissement de l’équipe de gestion continu, collectif s’inscrivant dans la durée une fois le plan de gestion adopté.

L’élaboration et la finalisation des indicateurs nécessiteront dans la très grande majorité des cas de compléter les connaissances disponibles (manque d’état de référence, protocole non définis, indicateur à développer…) et de continuer le travail de recherche et développement durant les premières années de mise en œuvre du plan de gestion. Ainsi les premières années, le programme d’action de l’ENP ciblera de manière prioritaire la finalisation des indicateurs (métriques, valeurs-seuils, protocoles, dispositifs de suivi) afin de consolider le plus rapidement possible le cadre évaluatif de l’ENP.

L’expertise scientifique et technique (gestionnaires, professionnels, scientifiques, usagers, services de l’Etat…) sera mobilisée et consultée collégialement pour :

- proposer des indicateurs ou juger de la pertinence de ceux qui seront utilisés dans le tableau de bord de l’ENP ;

- identifier les suivis existants ou élaborer de nouveaux dispositifs de suivi soutenant le renseignement des indicateurs du tableau de bord et qui soient réalisables au vu des moyens humains et financiers du Parc ;

- définir les grilles de lecture des indicateurs et les seuils associés permettant d’estimer si le niveau atteint à un instant donné doit être considéré comme mauvais, moyen ou bon par rapport au but recherché.

- Restituer les résultats

On pourra distinguer deux types de restitution ou rapportage réalisé par le gestionnaire à partir des indicateurs du tableau de bord :

Celui destiné à rendre compte à la tutelle, aux partenaires techniques et scientifiques. Il contient l’ensemble des indicateurs calculés permettant d’apprécier la pertinence et l’efficacité des actions au regard de l’OLT fixé et de l’enjeu sur le site. Il permet également au gestionnaire d’adapter sa stratégie d’action. C’est le tableau de bord technique.

Celui destiné aux instance locales et au grand public. Le livret grand public du tableau de bord offre une interface de lecture pédagogique de l’état des enjeux de l’ENP et des indicateurs grâce à l’utilisation de fresques, de pictogrammes et de textes vulgarisés. C’est l’étape ultime du tableau de bord.

Extrait du livret grand public du tableau de bord de la RNN Cerbère-Banyuls (2013) illustrant les enjeux sur le site et l’évaluation de leur état.


Apprivoiser la démarche tableau de bord

Les premiers retours d’expériences (RNN, PNM) pointent la nécessité de mener un travail pédagogique et de sensibilisation continu concernant la démarche de tableau de bord tant auprès des chargés de mission que des différentes instances (gouvernance, scientifique, service de l’état et partenaires). Seules une appropriation du cadre méthodologique de l’évaluation et une réflexion itérative entre « enjeux-OLT- indicateurs-facteurs d’inffluence » garantiront un déroulement optimal des réflexions.

L’ensemble des choix effectués par l’équipe de gestion au cours des différentes étapes d’élaboration du tableau de bord (niveau d’exigence de l’OLT, priorisation des indicateurs métriques, choix des protocoles et dispositifs de suivi, coût de mise en oeuvre) devront être justifiés et consignés autant que possible afin de disposer d’arguments transparents et pertinents face aux critiques qui seront naturellement émises.

Le partage et retour d’expérience est essentielle afin de forger une culture commune de l’évaluation des plans de gestion, du vocabulaire et des concepts, et de les partager avec l’ensemble des catégories d’espaces protégés.


Tableau de bord et Liste verte (UICN)


Dans cette même logique, un système de certification international de la qualité de la gestion et de gouvernance des aires protégées, a été mis en place par l’UICN en 2014 (Fiche 8.13).

Il s’agit de la Liste verte des aires protégées3 qui a pour finalité de faire progresser la qualité de gestion et de gouvernance de l’ensemble des aires protégée à l’échelle mondiale, en valorisant les sites et les pratiques exemplaires. Cette initiative promeut une approche positive de la conservation, et vise à reconnaître, encourager et valoriser les succès obtenus par les gestionnaires d’aires protégées. Lancée officiellement en 2014 à l’occasion du Congrès mondial des parcs, elle est appelée à devenir une référence mondiale pour l’ensemble de la communauté de la conservation de la nature.

L’UICN engage les gestionnaires qui le souhaitent dans un processus d’évaluation de la gestion, sur la base de critères et d’indicateurs rigoureux. L’un des 4 piliers de cette démarche d’évaluation repose sur la capacité du gestionnaire à avoir :

- défini des seuils de performance (=indicateurs) vérifiables pour chacune des valeurs clés (=enjeux) ;
- mis en place un programme afin de surveiller et d’évaluer l’atteinte des objectifs de conservation et sociaux de l’aire protégée pour être en mesure d’évaluer l’efficacité de la gestion. Cela implique notamment la mise en place de dispositifs de suivi efficaces et appropriés, ainsi qu’une mise à jour des données pour suivre les seuils de performance.

Ainsi la démarche de tableau de bord fait partie des critères UICN qui visent à récompenser les sites bien gérés en leur offrant le nouveau label Liste Verte.

                                                                                                          

1 Espaces Naturels n°33, 2011. Dossier : Indicateurs de biodiversité – Pourquoi faire ? Comment faire ? Janvier 2011. Javelle A., Souheil H. et Popy S

2 Osenberg, C.W., and S.J. Holbrook (1992) Implication from the design of environmental assessment studies. Perspective on the marine environment, proceeding from a Symposium on the Marine Environment of Southern California. Grifman, P.M. and S.E. Yoder (eds) USC Sea Grant Program, Los Angeles (USA).

Table des matières