Paso 9. Monitorización y evaluación de resultados

¿Qué debe conseguirse en este paso?

• Un sistema de seguimiento de monitorización diseñado para medir indicadores de la ejecución (éxito o fracaso) de las medidas de gestión espacial marina y del plan especial en general;
• Información sobre la ejecución de las medidas de gestión espacial marina que se utilizarán a efectos de la evaluación; y
• Informes periódicos para los responsables de la toma de decisiones, los grupos de interés y el público sobre la ejecución global del plan de gestión espacial marino.

Introducción

La información de base para una evaluación de la ejecución de la PEM puede proceder de muchas fuentes, pero la monitorización puede representar una contribución especialmente importante para pro-porcionar los datos básicos que deben sostener cualquier evaluación.

DEFINICIÓN. La monitorización es una actividad de gestión continua que utiliza la recopilación sistemática de datos sobre indicadores seleccionados para que gestores y actores tengan información sobre el grado de cumplimiento de las metas y los objetivos de gestión.

A la vista de la importancia de el seguimiento y la evaluación del rendimiento para la gestión adaptativa, la COI/UNESCO publicó en 2014 una Guía sobre la evaluación de los planes espaciales marinos. La descripción de este paso del proceso de PEM actualiza la guía original con material nuevo procedente de la guía de evaluación de la COI.

Hay al menos dos tipos de seguimiento relevantes para la planificación espacial marina: 1) evaluación del estado del sistema, por ejemplo, «¿cuál es el estado de las condiciones generales actuales en la zona de gestión marina?»; y 2) medición del rendimiento de las medidas de gestión, es decir, «¿están teniendo las acciones de gestión que hemos adoptado los resultados deseados?». Estos dos tipos de monitorización están estrechamente relacionados, y ambos son importantes.

Un diseño de un buen programa de seguimiento depende de varios factores:

• Los objetivos del programa de seguimiento tienen que estar claramente articulados para que planteen cuestiones con sentido para el público y proporcionen la base para la medición.;
• No sólo deben recopilarse datos, sino también hay que poner atención en su gestión, análisis, síntesis e interpretación;
• Se necesitan recursos adecuados no sólo para la recopilación de datos sino también para su análisis pormenorizado y evaluación a largo plazo;
• Los programas de seguimiento deben ser sufi cientemente fl exi-bles para que se puedan modifi car cuando se producen cambios en las condiciones o nueva información así lo sugiere; y
• Hay que tomar medidas para asegurarse de que toda la informa-ción del seguimiento llega a todas las personas interesadas en un formato que les sea útil.

No exagere la utilidad de los programas de seguimiento. El medio marino es complejo y variable. Es difícil separar los efectos de las actividades humanas de la variabilidad natural (Carneiro 2013). Esta dificultad y otras no son argumentos en contra de la monitorización de los resultados de las medidas de gestión, pero sí son un argumento a favor de plantear expectativas realistas, de apurar el diseño, de llevar a cabo seguimientos regulares y de comprometer medios de manera sostenida.

La planificación espacial marina (PEM) es un proceso continuo y adaptativo que debería incluir el seguimiento y la evaluación del rendimiento como elementos esenciales del proceso de gestión general (Ehler y Douvere 2009). En lugar de esperar a tener el plan de gestión espacial desarrollado para empezar a pensar en el monitorización y la evaluación del rendimiento, estos aspectos deberían considerarse al inicio del proceso de planificación, no al final.

La mayor parte de los esfuerzos de planificación marina en todo el mundo dicen respaldar la gestión adaptativa, definida simplemente como «aprender haciendo». ¿Qué acciones de gestión funcionan? ¿cuáles no? y ¿por qué? Es indispensable adoptar un enfoque adaptativo respecto de la planificación y gestión espacial marina para abordar la incertidumbre del futuro e incorporar varios tipos de cambios, incluido el cambio global (cambio climático), así como el cambio tecnológico, económico y político. Por ejemplo, las Recomendaciones finales de 2010 de la Interagency Ocean Policy Task Force de los EE.UU. establecieron que… «los objetivos PEM y el avance hacia esos objetivos se evaluarían de una manera periódica y sistemática, con aportaciones del público, y se adaptarían para garantizar la consecución de los resultados medioambientales, económicos y sociales deseados» (ver Documentos clave de la PEM).

El cambio climático claramente influirá en la ubicación de zonas y especies biológicas y ecológicas importantes en los próximos 30–100 años y más allá, mientras que el cambio tecnológico (y el cambio climático) alterarán considerablemente la explotación de zonas marinas antes inaccesibles como son el Ártico o la alta mar. Los objetivos y metas de la PEM, y los planes y acciones de gestión inevitablemente tendrán que modificarse para dar respuesta a estos cambios —o los planes se volverán rápidamente ineficaces, poco económicos, inviables y, en última instancia, irrelevantes.

Uno de los 10 principios de la PEM, tal y como se define en la «Hoja de ruta para la ordenación del espacio marítimo» de la Unión Europea (véase los Documentos clave de la PEM), por ejemplo, incluye la «Incorporación del seguimiento y la evaluación en el proceso de ordenación» y reconoce que «… las necesidades de ordenación evolucionan con el conocimiento» (Comisión Europea 2008). De conformidad con estos requisitos de política de la PEM, todos los planes espaciales marinos de Estados Unidos (Massachusetts), Alemania y Noruega que a menudo se citan como referencia de buenas prácticas incluyen referencias bien a un enfoque adaptativo bien al seguimiento y a la evaluación como elementos esenciales de un enfoque adaptativo.

Sin embargo, a pesar de la importancia de adoptar un enfoque adaptativo en la PEM, se han hecho pocos esfuerzos por definir lo que realmente implica este enfoque (Douvere & Ehler 2010). Un enfoque adaptativo requiere el seguimiento y la evaluación del rendimiento de los planes espaciales marinos, pero poco se ha investigado sobre el modo en que dicho seguimiento y evaluación del rendimiento pueden dar lugar a resultados significativos y si las iniciativas de la PEM actuales cuentan con las características esenciales, tales como objetivos mensurables, para permitirlo. Esto último, sin embargo, es crucial a medida que cada vez más países intentan aprender de la práctica de PEM existente y algunos países (Bélgica, Países Bajos, Noruega) han finalizado planes espaciales marinos de «segunda o tercera generación».

¿Cómo se reconoce el «éxito» en la PEM?

En la práctica se ha definido con frecuencia la PEM «de éxito» como la mera adopción de un plan de gestión (un producto) o la puesta en marcha de nuevas acciones de gestión espacial (también productos). En ocasiones, alcanzar los objetivos y metas del plan de gestión constituyen la definición de éxito. Según un análisis de 16 ejemplos prácticos de planificación espacial marina (Collie et al. 2012) realizado por el Grupo de Trabajo de Ciencia y Gestión de los Ecosistemas de la Administración Nacional Oceánica y Atmosférica (NOAA), una PEM de éxito se define como un proceso continuo. La mayoría de los planes estadounidenses, por ejemplo, los de Massachusetts y Rhode Island, consideran que el éxito es la adopción del plan, mientras que el cumplimiento de los objetivos del plan de gestión denota el éxito en muchos de los planes marinos europeos, es decir, el plan no es un fin en sí mismo, sino un proceso para cumplir los objetivos y conseguir los resultados deseados. El informe para la NOAA reveló que la mayoría de los esfuerzos de planificación marina incorporan cierto nivel de seguimiento. Varios planes afirmaban que iban a utilizar programas de seguimiento existentes, pero solo unos pocos vincularon sus objetivos y las acciones de gestión a indicadores de rendimiento específicos. De los planes que tenían indicadores de rendimiento, solo unos pocos tenían antecedentes o niveles de referencia previamente identificados.

El seguimiento y la evaluación de los resultados solo tendrán éxito si se avanza hacia la consecución de los objetivos de gestión a través del proceso de PEM. Cabe destacar algunos criterios adicionales:

• Los grupos de interés participan activamente y se comprometen con el proceso de PEM. La participación de los grupos de interés en la identificación de problemas, la especificación de las metas y objetivos de la PEM, la selección de las medidas de gestión y el seguimiento y la evaluación contribuyen al proceso general de la PEM;
• Se está avanzando hacia la consecución de los objetivos y metas de gestión. Dado que la PEM es un proceso de planificación con varios objetivos, lograr el resultado de un objetivo puede suponer compensar con los resultados de otros objetivos. En ausencia de al menos algún indicio de progreso durante un período de tiempo razonable, existe poca justificación para continuar con el proceso de PEM diseñado originalmente;
• Los resultados del seguimiento y la evaluación de los resultados sirven para ajustar y mejorar las medidas de gestión; y
• La aplicación del plan espacial marino es coherente con otras autoridades aplicables. De lo contrario, las perturbaciones en el proceso de planificación y implementación son inevitables. Es probable que se produzca una pérdida de confianza entre los grupos de interés, y posiblemente muchos retiren su apoyo, usted pierda financiación y, posiblemente, el asunto acabe en los tribunales.

Si los grupos de interés no respaldan el proceso de PEM ni sus productos y resultados, el proceso no ha tenido éxito. Si los resultados de seguimiento y evaluación de la ejecución no se utilizan para modificar las revisiones de planes futuros, el proceso no ha tenido éxito.

Identificar la necesidad de seguir y evaluar los resultados

Antes de diseñar y poner en marcha un proceso de seguimiento y evaluación, es importante determinar quién quiere los resultados que la evaluación puede proporcionar. ¿Qué es lo que está impulsando la necesidad de evaluación? ¿Es un requisito legal? ¿Es un requisito de financiación? ¿Quieren los ejecutivos y administradores de alto nivel la información para utilizara como base de decisiones futuras? ¿Hay algún defensor en la parte ejecutiva o legislativa del gobierno que quiera utilizar la información de evaluación? ¿Quién se beneficiará de la evaluación: administradores, legisladores, auditores y organizaciones públicas no gubernamentales? ¿Quién no se beneficiará de la evaluación? ¿Quién llevará a cabo la evaluación?

Identificar quién debería estar en el equipo de seguimiento y evaluación de los resultados

Un primer paso es formar el equipo de seguimiento y evaluación. El equipo debería estar liderado por el responsable general del proceso de PEM o por un evaluador profesional experimentado. Además, el equipo podría constar de:

• miembros del personal profesional de PEM, incluyendo científicos tanto naturales como sociales;
• representantes de agencias responsables de la PEM;
• un experto en mediciones, ya sea de una de las agencias responsables de la PEM, o de un contratista externo (preferiblemente familiarizado con el proceso de PEM); y
• un experto en tratamiento de información.

Su equipo de seguimiento y evaluación no debe superar los 10 12 miembros. Los miembros del equipo deben comprometerse con el proceso durante aproximadamente uno o dos años, trabajando con frecuencia y con regularidad. Debería ser flexible a la hora de sumar miembros y experiencia al equipo, según sea necesario.

Una vez que haya reunido a su equipo, inicie una fase inicial de planificación o exploración para aclarar la naturaleza y el alcance del proceso de seguimiento y evaluación de los resultados. Durante esta tarea, debe establecerse el objetivo principal del seguimiento y la evaluación, los grupos de interés a los que debe consultarse y el plazo para los resultados. Se trata de un período exploratorio. Las cuestiones clave se identifican desde la perspectiva de los socios de gestión y otros grupos de interés, una revisión de la documentación existente y las acciones de gestión relacionadas que pueden afectar al programa. Deben identificarse los supuestos que subyacen a la evaluación.

Al final de la exploración inicial, debería haber suficiente conocimiento del contexto de la evaluación como para decidir un enfoque general. El núcleo de la planificación de la evaluación es la fase de diseño de la evaluación, que culmina en el plan de evaluación. Por lo general, constituye una buena práctica presentar y debatir el diseño general con los socios de gestión y otros grupos de interés clave antes de finalizar el Plan de seguimiento y evaluación de los resultados. No debería haber sorpresas, y debería generar aceptación y apoyo para la evaluación.

Acción 1. Reconfirmar los objetivos de la PEM

Un sistema de seguimiento efectivo empieza con un conjunto de objetivos de planifi cación bien definidos. Dado que puede que los objetivos de la planifi cación espacial hayan sido modificados durante el proceso (Pasos 4-7), hay que confirmarlos de nuevo con los actores y los tomadores de decisiones y, si procede, actualizarlos antes de empezar la monitorización.

Acción 2. Acordar los resultados a evaluar

Los productos son los resultados más interesantes e importantes para su medición por parte de gobiernos y actores. Centrarse en los productos ayuda a construir la base de conocimientos sobre qué medidas funcionan, las que no funcionan, y porqué. Puede ayudar a incrementar la transparencia y la responsabilidad en el proceso de planificación y gestión.

DEFINICIÓN. Un producto es el resultado anticipado de la implementación de una medida de gestión espacial marina.

Acción 3. Identificar los indicadores clave para monitorizar

El propósito principal de los indicadores es el de medir, monitorizar e informar sobre el progreso en relación al cumplimiento de las metas y los objetivos de la PEM. Los indicadores tienen numerosos usos y potencial para mejorar la gestión. Incluyen la capacidad de monitorizar y evaluar condiciones y tendencias, predecir cambios y tendencias (proporcionando, por ejemplo, información de alerta temprana), así como ayudar a evaluar la efectividad de las medidas de gestión. Cada acción de gestión que identifique debe tener un indicador de rendimiento.

DEFINICIÓN. Un indicador es una medida, cuantitativa o cualitativa, de lo cerca que se está de conseguir lo que se propuso lograr, eso es, los objetivos y los productos. Las tres funciones principales de los indicadores son la simplificación, cuantificación y comunicación.

La selección de indicadores pertinentes y prácticos (es decir, medibles) constituye uno de los elementos más importantes de un enfoque de planificación basado en los resultados (véase el Paso 3, Organización del proceso de PEM). El siguiente cuadro identifica algunas de las características de indicadores buenos.

CARACTERÍSTICAS DE BUENOS INDICADORES

Tenga cuidado de no definir demasiados indicadores. Elegir los indicadores correctos a menudo es un proceso de prueba y error, y puede llevar varias iteraciones. Los indicadores pueden cambiarse, pero no con demasiada frecuencia.

¿Cuáles son los principales tipos de indicadores?

Los indicadores de gestión espacial marina pueden organizarse en tres tipos:

• Los indicadores de gobernanza miden el rendimiento de las fases del proceso de PEM, por ejemplo, el estado de la planificación y implementación de la gestión espacial marina, la participación de los grupos de interés, el cumplimiento y la aplicación, así como el progreso y la calidad de las medidas de gestión y del propio plan de gestión espacial marina; los indicadores de gobernanza son especialmente importantes al inicio del proceso de PEM, antes de que se puedan medir los resultados reales (Ehler 2003);
• Los indicadores socioeconómicos reflejan el estado del componente humano de los ecosistemas costeros y marinos, como, por ejemplo, el nivel de actividad económica, y constituyen un elemento esencial del desarrollo de los planes de PEM. Ayudan a medir la medida en que la PEM sirve para gestionar con éxito las presiones de la actividad humana de un modo que suponga no solo una mejora del entorno natural, sino también una mejora de la calidad de vida en las zonas costeras y marinas o del número de puestos de trabajo obtenidos o perdidos, así como de beneficios socioeconómicos sostenibles; y
• Los indicadores ecológicos o medioambientales reflejan tendencias en las características del medio marino. Tienen un carácter descriptivo si describen el estado del medio ambiente en relación con un aspecto concreto como, por ejemplo, la eutrofización, la pérdida de biodiversidad o la sobrepesca.

Puede consultar ejemplos de estos tipos de indicadores en la Guía de la COI sobre la evaluación de los planes espaciales marinos de 2014.

Acción 4. Determinar las líneas de base para referenciar los indicadores

Una de las preguntas clave de la PEM es: ¿En qué punto nos encontramos ahora? Definir y describir dónde estamos ahora es fundamental tanto para analizar y evaluar las acciones de gestión individuales antes de su implementación, como para hacer un seguimiento y evaluación de los resultados después de la implementación del plan espacial marino.

La determinación de las líneas de base para referenciar los indicado-res es clave para defi nir condiciones actuales y medir el rendimiento futuro. Referenciar los resultados frente a las líneas de base ayudará a los tomadores de decisiones a saber si están en el buen camino con respecto al cumplimiento de los objetivos. Las líneas de base se pue-den conseguir de informes, entrevistas, observaciones directas, estu-dios aislados, entrevistas con expertos y experimentos directos en el campo, dependiendo del tiempo y de otros recursos disponibles. Es necesario establecer una base de referencia de información sobre cada uno de los indicadores seleccionados en el paso anterior antes de llevar a cabo el seguimiento efectivo de los indicadores.

DEFINICIÓN. La base de referencia es la situación previa al inicio del plan de gestión espacial marina; es el punto de partida para el seguimiento de los resultados y la evaluación de cada indicador de rendimiento.

Los indicadores de ejecución deben contextualizarse en comparación con datos anteriores y líneas de base existentes. En el análisis, informe y comunicación de datos, cuantas más mediciones se hayan realizado, más certeza habrá en las tendencias, direcciones y resultados.

Una buena estrategia de comunicación es esencial para difundir y compartir información con los actores claves. Compartir información con ellos estimula su participación en los asuntos de gobierno y genera confi anza. Las evaluaciones deben ser abiertas, transparentes y disponibles para todos los actores.

Referencias útiles:

Caneiro, C., 2013. Evaluation of marine spatial planning. Marine Policy. 37, 214-229.

Collie, J.S., W.L. Adamowicz, M.W. Beck, B. Craig, T.E. Essington, D. Fluharty, J. Rice, & J.N. Sanchirico, 2013. Marine spatial planning in practice. Estuarine, Coastal and Shelf Science. 117. 1-11.

Conservation Measures Partnership, 2013. Open Standards for the Practice of Conservation. Version 3.0. 47 p.

Douvere, F., and C. Ehler, 2010.The importance of monitoring and evaluation in maritime spatial planning. Journal of Coastal Conservation. Vol 15, No. 2. pp. 305-311.

Elher, C. 2014. A Guide to evaluating marine spatial plans. IOC Manuals and guides, 70. 97 p.

Hatry, H.P., 1999, 2006. Performance Measurement: Getting Results. Washington, DC: Urban Institute Press. 326 p.

Kusek, J.Z., and R.C. Rist, 2004. Ten Steps to a Results-based Monitoring and Evaluation System. The World Bank: Washington, DC. 247 p.

Margoluis, R., and N. Salafsky, 1998. Measures of Success: Designing, Managing, and Monitoring Conservation and Development Projects. Island Press: Washington, DC. 362 p.