Étape 9. Évaluation de l’efficacité

En raison de l’importance du suivi et de l’évaluation de l’efficacité dans la gestion adaptative, la COI/UNESCO a publié en 2014 un Guide pour l’évaluation des plans de l’espace marin. La description de cette étape du processus de PEM actualise le guide original avec de nouveaux éléments issus du guide d’évaluation de la COI.

Il existe au moins deux types de suivi pertinents dans le domaine de la planification de l’espace marin : (1) l’évaluation de l’état du système, par exemple : « Quel est l’état de la biodiversité dans l’aire de gestion marine ? » ; et (2) la mesure de l’efficacité des mesures de gestion, autrement dit : « Les actions de gestion mises en œuvre produisent-elles les résultats escomptés ? » Ces deux formes de suivi sont étroitement liées.

La qualité de conception des programmes de suivi dépend des facteurs suivants :

• Les objectifs du programme de suivi doivent être formulés clairement, de façon à poser des questions significatives pour le public et à fournir une base pour les mesures ;
• Outre la collecte de données, il convient d’accorder de l’attention à la gestion, l’analyse, la synthèse et l’interprétation de celles-ci ;
• Il faut disposer de ressources suffisantes pour la collecte de données mais aussi pour la réalisation d’analyses détaillées et d’évaluations sur le long terme ;
• Les programmes de suivi doivent être assez souples pour être modifiés lorsque c’est nécessaire au regard de l’évolution des conditions ou de nouveaux éléments ; et
• Il faut prendre les mesures nécessaires pour communiquer les informations de suivi à toutes les parties concernées sous une forme qui leur soit utile.

Il est important de ne pas surestimer l’utilité des programmes de suivi. Le milieu marin étant complexe et changeant, il est difficile de faire la distinction entre les effets des activités humaines et les variations naturelles (Carneiro 2013). Cette difficulté et les autres problèmes qui se posent dans ce domaine ne sont pas un argument contre le suivi des résultats des mesures de gestion mais invitent à avoir des attentes réalistes, à soigner la conception, à mener des évaluations périodiques et à assurer un engagement continuel de ressources.

La planification de l’espace marin (PEM) est un processus continu et adaptatif qui doit inclure le suivi et l’évaluation de l’efficacité comme éléments essentiels du processus global de gestion (Ehler et Douvere 2009). Plutôt qu’attendre l’élaboration d’un plan de gestion de l’espace marin pour commencer à réfléchir au suivi et à l’évaluation, il convient de les envisager dès le début du processus de planification, et non à la fin.

La plupart des efforts de planification marine dans le monde prétendent appliquer la gestion adaptative – définie simplement comme « l’apprentissage par la pratique ». Quelles sont les mesures de gestion qui fonctionnent, celles qui ne fonctionnent pas, et pourquoi ? Une approche adaptative de la planification et de la gestion de l’espace marin est indispensable pour faire face à l’incertitude de l’avenir et pour intégrer différents types de changement, notamment le changement au niveau mondial (changement climatique), ainsi que les changements technologiques, économiques et politiques. Par exemple, les recommandations finales de 2010 du Groupe de travail interagences sur la politique océanique des États-Unis stipulent que… « les objectifs de la PEM et les progrès accomplis dans la réalisation de ces objectifs seraient évalués de manière régulière et systématique, avec la participation du public, et adaptés pour garantir l’obtention des résultats environnementaux, économiques et sociétaux souhaités » (voir Documents clés de la PEM).

Le changement climatique aura une influence certaine sur la localisation de zones et d’espèces biologiques et écologiques importantes au cours des 30 à 100 prochaines années et au-delà, tandis que l’évolution technologique (et le changement climatique) modifiera considérablement l’exploitation de zones marines auparavant inaccessibles telles que l’Arctique ou la haute mer. Les buts et objectifs de la PEM, ainsi que les plans et mesures de gestion, feront inévitablement l’objet de modifications pour répondre à ces changements, faute de quoi les plans deviendront rapidement inefficaces, non rentables, infaisables et, en fin de compte, non pertinents.

L’un des 10 principes de la PEM, tels que définis dans la « Feuille de route pour la planification de l’espace maritime » de l’Union européenne (voir Documents clés de la PEM), prévoit par exemple d’« introduire le contrôle et l’évaluation dans le processus de planification » et reconnaît que « … la planification suivre l’évolution des connaissances » (Commission européenne 2008). Conformément à ces exigences de politique de PEM, tous les plans des États-Unis (Massachusetts), de l’Allemagne et de la Norvège, souvent considérés comme des modèles de bonnes pratiques, font référence soit à une approche adaptative, soit au suivi et à l’évaluation en tant qu’éléments essentiels d’une approche adaptative.

Cependant, malgré l’importance d’une approche adaptative de la PEM, peu d’efforts ont été faits pour définir les réelles implications d’une telle approche (Douvere & Ehler 2010). Une approche adaptative nécessite un suivi et une évaluation de l’efficacité des plans de l’espace marin, mais peu de recherches ont été menées sur la manière dont un tel suivi et une telle évaluation de l’efficacité peuvent conduire à des résultats significatifs, ou encore pour savoir si les initiatives actuelles de PEM possèdent les caractéristiques essentielles, par ex. des objectifs mesurables, pour permettre cela. Ce dernier point est pourtant crucial car de plus en plus de pays tentent de tirer des enseignements des pratiques existantes en matière de PEM et certains pays (Belgique, Pays-Bas, Norvège) ont achevé leurs plans de « deuxième ou troisième génération ».

Comment reconnaître le « succès » de la PEM ?

La « réussite » de la PEM a souvent été définie dans la pratique comme étant simplement l’adoption d’un plan de gestion (un résultat) ou la mise en œuvre de nouvelles actions de gestion de l’espace (également des résultats). Parfois, le fait d’atteindre les objectifs et cibles du plan de gestion constitue la définition du succès. Selon une analyse de 16 exemples pratiques de PEM (Collie et al. 2012) du Groupe de travail sur la science et la gestion des écosystèmes pour l’Agence américaine d’observation océanique et atmosphérique (NOAA), la réussite de la PEM se définit comme un continuum. La plupart des plans américains, par exemple ceux du Massachusetts et du Rhode Island, considèrent que le succès est l’adoption du plan ; de nombreux plans marins européens considèrent quant à eux que c’est l’atteinte des objectifs du plan de gestion qui dénote le succès, c’est-à-dire que le plan n’est pas une fin en soi mais un processus visant à atteindre les objectifs et à produire les résultats souhaités. Le rapport pour la NOAA a également révélé que la plupart des efforts de planification marine intègrent un certain niveau de surveillance. Plusieurs plans ont déclaré qu’ils utiliseraient les programmes de surveillance existants, mais seul un certain nombre a rattaché les objectifs et mesures de gestion à des indicateurs d’efficacité spécifiques. Parmi les plans qui comportaient des indicateurs d’efficacité, seuls quelques-uns avaient préalablement identifiés des niveaux de référence.

Le suivi et l’évaluation de l’efficacité réussiront si des progrès sont réalisés pour atteindre les objectifs de gestion à travers le processus de PEM. Quelques critères supplémentaires peuvent être mis en évidence :

• Les parties prenantes sont activement impliquées et engagées dans le processus de PEM. Leur implication dans l’identification des problèmes, la définition des buts et objectifs de la PEM, la sélection des actions de gestion, ainsi que le suivi et l’évaluation permet de soutenir le processus global de PEM ;
• Des progrès sont faits vers la réalisation des buts et objectifs de gestion. La PEM étant un processus de planification à objectifs multiples, la réalisation d’un objectif peut nécessiter des compromis avec les résultats d’autres objectifs. En l’absence d’au moins une indication de progrès sur une période de temps raisonnable, il n’est guère justifié de poursuivre le processus de PEM tel qu’il a été conçu à l’origine ;
• Les résultats du suivi et de l’évaluation de l’efficacité sont utilisés pour ajuster et améliorer les mesures de gestion ; et
• La mise en œuvre du plan est conforme aux autres textes applicables faisant autorité. Dans le cas contraire, des perturbations dans le processus de planification et de mise en œuvre sont inévitables. Une perte de confiance de la part parties prenantes est probable, menant éventuellement à un retrait de leur soutien, à une perte de financement et potentiellement des litiges.

Si les parties prenantes n’approuvent pas le processus de PEM, ses produits et ses résultats, alors le processus n’a pas réussi ; si les résultats du suivi et de l’évaluation de l’efficacité ne sont pas utilisés pour modifier les révisions des plans futurs, alors le processus n’a pas réussi.

Identifier le besoin de suivi et d’évaluation de l’efficacité

Avant de concevoir et de mettre en œuvre un processus de suivi et d’évaluation de l’efficacité, il est important de déterminer qui souhaite obtenir les résultats que pourra fournir cette évaluation. Qu’est-ce qui motive le besoin d’évaluation – est-elle exigée par la législation ? S’agit-il d’une exigence de financement ? Les cadres et administrateurs de haut niveau souhaitent-ils disposer d’informations sur lesquelles fonder leurs décisions futures ? Y a-t-il un défenseur dans les branches exécutive ou législative du gouvernement qui souhaite utiliser les informations de l’évaluation ? Qui bénéficiera de l’évaluation : les administrateurs, les législateurs, les auditeurs, le public et les organisations non gouvernementales ? Qui n’en bénéficiera pas ? Qui la réalisera ?

Déterminer qui doit faire partie de l’équipe de suivi et d’évaluation de l’efficacité

Une première étape consiste à former l’équipe de suivi et d’évaluation de l’efficacité. Le responsable général du processus de PEM ou un évaluateur professionnel expérimenté doit diriger l’équipe. En outre, celle-ci peut être composée de :

• Des membres professionnels du domaine de la PEM, dont des spécialistes des sciences naturelles et sociales ;
• Des représentants des agences en charge de la PEM ;
• Un expert en mesure, soit d’une des agences en charge de la PEM, soit d’un contractant externe (de préférence familier avec le processus de PEM) ; et
• Un expert en traitement de l’information.

Votre équipe de suivi et d’évaluation de l’efficacité ne devrait pas dépasser les 10 à 12 membres. Ces derniers doivent s’engager dans le processus pendant environ un à deux ans, en travaillant de façon fréquente et régulière. Vous devez faire preuve de souplesse au cas où vous seriez amenés à ajouter des membres et des experts à l’équipe, si nécessaire.

Une fois votre équipe formée, lancez une phase initiale de planification ou de cadrage pour clarifier la nature et la portée du processus de suivi et d’évaluation de l’efficacité. Au cours de cette tâche, il convient d’établir l’objectif principal du suivi et de l’évaluation, les parties prenantes à consulter et le calendrier des résultats. Il s’agit d’une période d’exploration. Les questions clés sont identifiées dans les domaines suivants : identification des partenaires de gestion et autres parties prenantes, examen de la documentation existante, et identification des actions de gestion connexes susceptibles d’influencer le programme. Les hypothèses qui sous-tendent l’évaluation doivent être identifiées.

A la fin du cadrage initial, l’équipe doit avoir une connaissance suffisante du contexte relatif à l’évaluation pour pouvoir décider d’une approche générale. Le fondement de la planification de l’évaluation est la phase de conception de l’évaluation, qui aboutit au plan d’évaluation. C’est généralement une bonne pratique de présenter et de discuter de la conception générale avec les partenaires de gestion et autres parties prenantes clés avant de compléter le plan de suivi et d’évaluation de l’efficacité. Il ne doit pas y avoir de surprises ; cela doit favoriser l’adhésion et le soutien de l’évaluation.

Action 1. Reconfirmer les objectifs de la PEM

Tout bon système de suivi de l’efficacité suppose en premier lieu un ensemble clair d’objectifs bien définis en matière de planification de l’espace marin. Ces objectifs étant susceptibles d’être modifiés au cours du processus de planification (étapes 4 à 7), ils doivent être confirmés avec les parties prenantes et les décideurs et, si nécessaire, actualisés avant d’entamer le processus de suivi.

Action 2. S’accorder sur les résultats à mesurer

Les résultats sont les répercussions les plus intéressantes et importantes à mesurer pour les pouvoirs publics et les parties prenantes car ils indiquent la voie à suivre. Le fait de mettre l’accent sur les résultats contribue à constituer une base de connaissance sur les types de mesures qui fonctionnent – ou non – et pourquoi. Cela peut aider à assurer la transparence et la responsabilité dans le processus de planification et de gestion.

---

DÉFINITION. Un résultat est le produit attendu de la mise en œuvre d’une mesure de gestion de l’espace marin.

---

Action 3. Définir les principaux indicateurs d’efficacité à suivre

La définition d’indicateurs a pour objectifs principaux de mesurer et suivre les progrès accomplis dans la réalisation des buts et objectifs de la PEM et d’en rendre compte. Les indicateurs offrent de nombreuses utilisations et possibilités pour améliorer la gestion. Ils permettent notamment de suivre et d’évaluer les conditions et tendances, de prévoir les évolutions et tendances (par ex. la fourniture d’informations d’alerte rapide) et aident à évaluer l’efficacité des mesures de gestion. Chaque action de gestion identifiée doit avoir son indicateur d’efficacité.

---

DÉFINITION. Un indicateur d’efficacité est une mesure quantitative ou qualitative du degré de réalisation des buts fixés, c’est-à-dire des objectifs ou résultats. Les trois fonctions principales des indicateurs sont la simplification, la quantification et la communication.

---

La sélection d’indicateurs pertinents et concrets (mesurables) est l’un des aspects essentiels de l’approche de la planification axée sur les objectifs (voir Étape 3 – Organisation du processus de PEM). Le tableau ci-dessous présente un certain nombre de caractéristiques des indicateurs de qualité.

Caractéristiques des indicateurs de qualité

Facilement mesurables	Dans les délais requis pour appuyer la gestion, à l’aide des instruments déjà en place, des programmes de suivi et des outils d’analyse disponibles.
Économiques	Les ressources consacrées au suivi sont généralement limitée.
Concrets	Les indicateurs directement observables et mesurables (plutôt que ceux qui reflètent des propriétés abstraites) sont souhaitables, car bien plus faciles à interpréter et accepter par les différents groupes de parties prenantes.
Interprétable	Les indicateurs doivent refléter des propriétés intéressant les parties prenantes ; leur signification doit être comprise par un éventail aussi large que possible de parties prenantes.
Fondés sur la théorie	Les indicateurs doivent être fondés sur une théorie scientifique largement acceptée plutôt que sur des liens théoriques mal définis ou non validés.
Sensibles	Les indicateurs doivent être sensibles aux variations des propriétés surveillées (par ex. capacité à repérer des tendances relatives aux propriétés ou aux impacts.
Réactif	Les indicateurs doivent mesurer les effets des actions de gestion afin de fournir des informations rapides et fiables sur leur efficacité et leurs incidences.
Spécifiques	Les indicateurs doivent prendre en compte les propriétés qu’ils sont censés mesurer plutôt que d’autres facteurs. En d’autres termes, il faut pouvoir faire la distinction entre les effets d’autres facteurs et les réactions observées.

Il faut faire preuve de prudence et ne pas définir un trop grand nombre d’indicateurs. Choisir les bons indicateurs est souvent une approche par tâtonnements qui peut prendre plusieurs itérations. Les indicateurs peuvent être modifiés, mais pas trop souvent.

Quels sont les principaux types d’indicateurs ?

Les indicateurs de gestion de l’espace marin peuvent être organisés en trois types :

• Les indicateurs de gouvernance mesurent l’efficacité des phases du processus de PEM, par ex. l’état de la planification et de la mise en œuvre de la gestion de l’espace marin, la participation des parties prenantes, la conformité et l’application, ainsi que l’avancement et la qualité des actions de gestion et du plan de gestion de l’espace marin lui-même ; les indicateurs de gouvernance sont particulièrement importants au début du processus de PEM, avant que les résultats réels puissent être mesurés (Ehler 2003) ;
• Les indicateurs socio-économiques reflètent l’état de la composante humaine des écosystèmes côtiers et marins, par ex. le niveau d’activité économique, et constituent un élément essentiel dans le développement des plans de PEM. Ils permettent d’évaluer dans quelle mesure la PEM permet de gérer les pressions exercées par les activités humaines de manière à améliorer non seulement l’environnement naturel, mais aussi la qualité de vie dans les zones côtières et marines ou encore le nombre d’emplois créés ou perdus, ainsi que les avantages socio-économiques durables ; et
• Les indicateurs écologiques ou environnementaux reflètent les tendances des caractéristiques de l’environnement marin. Ils sont de nature descriptive s’ils décrivent l’état de l’environnement par rapport à un problème particulier, par ex. l’eutrophisation, la perte de biodiversité ou la surpêche.

Pour des exemples de ces types d’indicateurs, voir le Guide de la COI pour l’évaluation des plans de l’espace marin (2014).

Action 4. Définir des données de référence pour les indicateurs

L’une des questions clés de la PEM est la suivante : Où en sommes-nous ? Définir et décrire à quel stade nous en sommes est essentiel à la fois pour l’analyse et l’évaluation des actions de gestion individuelles avant leur mise en œuvre, ainsi que pour le suivi et l’évaluation de l’efficacité après la mise en œuvre du plan.

Il est essentiel de définir des données de référence pour déterminer les conditions actuelles et mesurer les résultats futurs. Les mesures effectuées à partir des données de référence aideront les décideurs à savoir si les objectifs sont en voie de réalisation. Ces données peuvent être recueillies à partir de rapports, d’entretiens, d’observations directes, d’enquêtes ponctuelles, d’entretiens avec des experts et d’expérimentations directes, selon le temps et les ressources disponibles. Il est nécessaire de disposer d’informations de référence sur chacun des indicateurs sélectionnés à l’étape précédente avant de commencer le suivi effectif des indicateurs.

---

DÉFINITION. Une base de référence est la situation avant le début d’un plan de gestion de l’espace marin ; c’est le point de départ du suivi et de l’évaluation de chaque indicateur d’efficacité.

---

Les données relatives à l’efficacité doivent être communiquées afin de les comparer aux données antérieures et aux données de référence. En ce qui concerne l’analyse et la communication des données, plus les mesures sont nombreuses, plus le degré de certitude attaché aux tendances, orientations et résultats est élevé.

Il est essentiel de définir une bonne stratégie de communication pour diffuser et partager l’information avec les principales parties prenantes. Le fait de leur transmettre des informations aide à les impliquer dans l’action des pouvoirs publics et peut contribuer à instaurer un climat de confiance.

Références utiles :

Caneiro, C., 2013. Evaluation of marine spatial planning. Marine Policy. 37, 214-229.

Collie, J.S., W.L. Adamowicz, M.W. Beck, B. Craig, T.E. Essington, D. Fluharty, J. Rice, & J.N. Sanchirico, 2013. Marine spatial planning in practice. Estuarine, Coastal and Shelf Science. 117. 1-11.

Conservation Measures Partnership, 2013. Open Standards for the Practice of Conservation. Version 3.0. 47 p.

Douvere, F., and C. Ehler, 2010.The importance of monitoring and evaluation in maritime spatial planning. Journal of Coastal Conservation. Vol 15, No. 2. pp. 305-311.

Elher, C. 2014. A Guide to evaluating marine spatial plans. IOC Manuals and Guides, 70. 97 p.

Hatry, H.P., 1999, 2006. Performance Measurement: Getting Results. Washington, DC: Urban Institute Press. 326 p.

Kusek, J.Z., and R.C. Rist, 2004. Ten Steps to a Results-based Monitoring and Evaluation System. The World Bank: Washington, DC. 247 p.

Margoluis, R., and N. Salafsky, 1998. Measures of Success: Designing, Managing, and Monitoring Conservation and Development Projects. Island Press: Washington, DC. 362 p.