HomeRevistaArtigosAvaliação por pares ou amigos-críticos: O caso do projeto "Coordenadas para a Cidadania Global"

Avaliação por pares ou amigos-críticos: O caso do projeto "Coordenadas para a Cidadania Global"

Ana Castanheira1, Antónia Barreto2, Filipe Santos3, Maria Inês Santos4 & Mónica Silva5

 
Resumo: Os projetos de índole social são cada vez mais complexos e de forma a gerir essa complexidade têm-se privilegiado as denominadas parcerias sociais. Estas parcerias são uma forma de ação colaborativa onde organizações de vários setores interagem para resolver problemas mútuos, identificados de alguma forma com itens da agenda política pública. Contudo, há ainda um longo caminho a percorrer quanto à exploração das potencialidades e desafios de gestão deste tipo de projetos – quer pela heterogeneidade das organizações parceiras (que podem ser públicas, privadas e organizações da sociedade civil), quer pela variedade de âmbitos dos projetos – locais, regionais, nacionais e internacionais. Um projeto de Educação para o Desenvolvimento que está a ser implementado em parceria é o projeto “Coordenadas para a Cidadania Global”, que visa a construção e dinamização de rotas turísticas pedagógicas. Com a sua implementação previu-se experimentar uma metodologia de gestão de projeto inovadora: avaliação on-going feita por “parceiros-pares” que participam no projeto como consultores e como avaliadores. Estes elementos tinham o nome de “avaliadores-pares”. Uma vez que este projeto procurava implementar novas metodologias a nível da avaliação, a parceria tinha grande interesse em estudar e validar cientificamente a sua implementação. Neste artigo faz-se uma sistematização da história do projeto e apresenta-se uma análise ao trabalho de avaliação realizado ao longo do 1º ano do projeto. Esta análise baseou-se em informação recolhida nas reuniões do projeto e na análise de documentos formais (relatórios) e informais (emails) gerados pelo mesmo. Esta análise verificou que a figura de avaliador-par que pretendia ser testada neste projeto correspondia, em larga medida, à figura do “amigo-crítico”, uma forma de monitorização e avaliação frequente usada em algumas áreas (como a da educação) mas que ainda está a dar os seus primeiros passos no mundo dos projetos sociais. O artigo finaliza com uma reflexão sobre as potencialidades e desafios desta nova figura nos projetos de índole social e as alterações que implicam no desenho do próprio projeto.

Palavras-chave: Metodologia de Projeto; Amigo-Crítico; Sistemas de Monitorização e Avaliação.

 

Resumen: Los proyectos de índole social son cada vez más complejos y de forma a gestionar esa complejidad se han privilegiado las denominadas colaboraciones sociales. Estas alianzas son una forma de acción colaborativa donde las organizaciones de varios sectores interactúan para resolver problemas mutuos, identificados de alguna forma con elementos de la agenda política pública. Sin embargo, todavía queda un largo camino por recorrer en cuanto a la explotación de las potencialidades y desafíos de gestión de este tipo de proyectos - bien por la heterogeneidad de las organizaciones asociadas (que pueden ser públicas, privadas y organizaciones de la sociedad civil), bien por la variedad de ámbitos de los proyectos - locales, regionales, nacionales e internacionales.

Un proyecto de Educación para el Desarrollo que está siendo implementado en colaboración es el Proyecto "Coordenadas para la Ciudadanía Global", que busca la construcción y dinamización de rutas turísticas pedagógicas. Con su implementación se previó experimentar una metodología de gestión de proyectos innovadora: evaluación on-going hecha por "socios-pares" que participan en el proyecto como consultores y como evaluadores. Estos elementos tenían el nombre de evaluadores-pares. Una vez que este proyecto buscaba implementar nuevas metodologías a nivel de la evaluación, los socios tenían gran interés en estudiar y validar científicamente su implementación.

En este artículo se hace una sistematización de la historia del proyecto y se presenta un análisis del trabajo de evaluación realizado a lo largo del primer año del proyecto. Este análisis se basó en información recogida en las reuniones del proyecto y en el análisis de documentos formales (informes) e informales (emails) generados por el mismo. Este análisis verificó que la figura de evaluador-par que pretendía ser probada en este proyecto correspondía en gran medida a la figura del “amigo crítico”, una forma de monitorización y evaluación frecuente usada en algunas áreas (como la de la educación) pero que, todavía está dando sus primeros pasos en el mundo de los proyectos sociales. El artículo finaliza con una reflexión sobre las potencialidades y desafíos de esta nueva figura en los proyectos de índole social y las alteraciones que implican en el diseño del propio proyecto.

Palabras-clave: Metodología de proyecto; Amigo Crítico; Sistemas de Seguimiento y Evaluación.

 

Abstract: Complexity is becoming a key characteristic for social projects. To manage this complexity, social partnerships are one of the most privileged approaches. These partnerships are a way of collaborative action between organizations from different sectors. These organizations interact and solve mutual problems identified in some way with items from the political agenda. However, there is still a hard work to be done as to exploring the potentialities and challenges of social partnerships in project management. Heterogeneous partner organizations (public, private, non-profit) and different project scopes (local, regional, national or international) are some of the challenges that these kind of partnerships must deal with.

“Coordenadas para a Cidadania Global”(Coordinates for Global Citizenship) is a Development Education project that aims to create and promote touristic pedagogical routes (in Lisbon, Portugal). This project is being managed by a social partnership and it includes an innovative methodological tool in project management: on-going evaluation made by fellow-partners that participate in the project both as consultants and evaluators. These fellow-partners were called “fellow-evaluators”. Since the project wanted to specifically implement this new evaluation methodology, the partnership had a great interest in studying and validating scientifically its implementation.

In this paper, we systematize the project implementation process and we present an analytical perspective on the evaluation work made during the first year of the project. This analysis was based on data collected in project meetings, formal project reports and email communication. The findings made us see that the “fellow-evaluator” role that was meant to be tested through CGC, matched, in many ways, the role of “critical friend”, a role used in monitoring and evaluation processes in, for example, educational projects but that is still giving its first steps in social projects. We end this paper by reflecting on possible potentialities and challenges for this new function in social projects as well on the changes that are implied on projects design.

Keywords: Project Methodology; Critical Friend; Monitoring and Evaluation Systems.

 

Resumé: Les projets à caractère social sont de plus en plus complexes et, pour gérer au mieux cette complexité, les dénommés partenariats sociaux sont privilégiés. Ces partenariats sont une forme d’action collaborative oú les organisations de divers secteurs interagissent pour résoudre des problèmes communs, identifiés à partir de l’agenda politique publique. Néanmoins, le chemin à parcourir est encore long en ce qui concerne l’exploitation des potentialités et des défis de ce type de projets, que ce soit à cause de l’hétérogénéité des organisations partenaires (publiques, privées et organisations de la société civile), ou bien dû à la diversité contextuelle des projets, locaux, régionaux, nationaux et internationaux.

Un projet d’Éducation au Développement mis en œuvre en partenariat est le projet “Coordenadas para a Cidadania Global” (Coordonnées pour la Citoyenneté Globale). Visant la construction de routes touristique pédagogiques, ce projet a prévu d’expérimenter une méthodologie de gestion innovante: l’évaluation on-going, faite par des partenaires-pairs qui participent au projet en qualité de consultants et d’évaluateurs, les “évaluateurs-pairs”. Employant de nouvelles méthodologies au niveau de l’évaluation, les membres du partenariat ont voulu étudier et valider scientifiquement leurs mise en œuvre.

Dans cet article, nous faisons une systématisation de l’histoire du projet et présentons une analyse du travail d’évaluation réalisé au long de la première année de sa mise en œuvre. Cette analyse s’est basée sur des informations recueillies durant les réunions de travail et sur des documents formels (rapports) et informels (messages électroniques) générés par le projet. Cette analyse a démontré que la figure de l’évaluateur-pair, testée dans le cadre du projet, correspondait dans une large mesure à la figure de l’”ami-critique”, une forme de suivi et évaluation fréquemment utilisée dans divers secteurs (comme celui de l’éducation), mais qui n’en est qu’à ses premiers pas dans le monde des projets sociaux. L’article conclut sur une réflexion sur les potentialités et les défis de cette nouvelle figure dans les projet à caractère social et les altérations qu’elle implique dans la conception même des projets.

Mots-clés: Méthodologie de projet; Ami critique; Systèmes de suivi et évaluation.

 

1. Contextualização

O projeto “Coordenadas para a Cidadania Global – Ver, Agir e Transformar!” é um projeto de Educação para a Cidadania Global (ECG) que visa reforçar as competências para a vida de jovens adultos através da construção e disseminação de rotas turísticas pedagógicas. Este projeto de 2 anos começou em setembro de 2016 e é uma parceria entre a ONGD Instituto Marquês de Valle Flôr (IMVF), a ONG Par – Respostas Sociais e a Associação Renovar a Mouraria, com o objetivo global de “contribuir para o envolvimento ativo dos cidadãos como co-criadores de uma sociedade mais justa, digna e sustentável através da dinamização de novos canais de comunicação para a Educação para a Cidadania Global (ECG)” (Coordenadas, 2016)6. Tem o apoio do Camões – Instituto da Cooperação e da Língua.

Além do objetivo direto de promoção da Educação para a Cidadania Global, este projeto também foi desenhado com o objetivo de trazer abordagens inovadoras ao nível das metodologias de gestão de projeto, uma vez que as Organizações da Sociedade Civil (OSC) consideram que as metodologias atuais não levam aos resultados e ao impacto social pretendidos. A parceria denominou este objetivo/eixo como “Definir um Modelo de Gestão Assente nos Princípios Internacionais de Boa Governança” (objetivo da “Boa Governança”) que está orientado pelo princípio da transparência, de forma a permitir que outras OSC se apropriem do próprio projeto caso o desejem reproduzir:

“Os principais objetivos destas atividades são a definição e implementação de procedimentos de gestão (incluindo questões administrativas e económicas) para uma implementação do projecto eficiente – com uma linha de base de avaliação e monitorização. Esta implementação deve seguir uma estrutura clara de análise para que possa ser disseminada junto de outros atores de Desenvolvimento e se possível replicada.” (Coordenadas, 2016).

Com efeito, a parceria considera que entre as OSC que trabalham na área da ECG não existe ainda a transparência necessária que permita a partilha das boas práticas e a “salutar aprendizagem” que se faz com os erros (também eles, muitas vezes, ocultados).

Outro aspeto metodológico onde a parceria procurou inovar foi o da monitorização/avaliação. A parceria acredita que os modelos tradicionais que se usam na gestão de projetos não são totalmente eficientes. Desta forma, idealizou-se uma figura para esta função de avaliação, que se denominou de “avaliador-par” e que teria as seguintes características: deveria ser um elemento de uma organização parceira que não pertencesse ao projeto (e, deste modo, não tivesse uma opinião “interessada” dos resultados obtidos) e que, por outro lado, fosse de uma instituição que já tivesse participado em projetos anteriores com as organizações da parceria (conhecendo assim os contextos, limitações e desafios das instituições). Procurava-se, assim, um afastamento às agências de avaliação “externa” uma vez que estas, apesar de procurarem ter um olhar neutro sobre os resultados, não conhecem em pormenor os contextos onde os projetos têm lugar.

Foi neste papel que dois dos autores deste artigo, que não eram elementos da parceria, foram convidados. Estes já haviam participado em projetos com uma das instituições da parceria e foram vistos como tendo competências pertinentes em várias áreas, que poderiam mobilizar essas competências para a monitorização e, também, prestar alguma “consultadoria” no projeto (um mecanismo informal de avaliação do projeto). A avaliação externa, e nos moldes tradicionais, foi pedida a uma entidade externa no fim do projeto para cumprir os requisitos de um dos stakeholders (a agência financiadora).

Uma vez que este projeto procurava implementar novas metodologias ao nível da monitorização/avaliação, a parceria tinha grande interesse em estudar e validar cientificamente a sua implementação. Contudo, e dado o seu caráter inovador, no início do projeto não parecia existir ainda uma ideia clara sobre qual seria o papel destes novos membros da parceria.

 

2. Metodologia

Este estudo surge assim da problemática referida anteriormente e procurou responder à seguinte pergunta de partida: “Qual o perfil e papel de um ‘avaliador-par’?”. O objetivo geral era verificar se o papel idealizado para os “avaliadores-pares” correspondeu, e em que grau, às solicitações que lhes foram pedidas ao longo do projeto e ao papel que efetivamente teve. Deste modo, o estudo procurou estudar essencialmente os mecanismos de interação entre os elementos da parceria e os “avaliadores-pares”.

Ao longo do primeiro ano os “avaliadores-pares” tiveram oportunidade de comunicar informalmente com alguns elementos da parceria. As conversas e os emails informais com esses elementos permitiram aos “avaliadores-pares” conhecer a importância que a parceria deu à avaliação e monitorização, bem como o que desejava de cada um dos “avaliadores-pares”.

De acordo com um dos elementos da parceria (troca de emails):

“Considero que a avaliação entre pares não é apenas uma prática transparente de gestão de projetos, mas também uma forma de capacitar as ONGD sobre formas de governança participativas, mas também capacitação temática e metodológica. Ao lerem as atividades e os resultados alcançados, existe da parte dos avaliadores um maior envolvimento nas temáticas da ECG.

Para o financiador fica também demonstrada esta transparência a vontade de trabalhar colaborativamente com outras ONGD, o que torna o setor da sociedade civil mais forte e eficaz.”

Em relação à escolha dos “avaliadores-pares”, e em conversas com vários elementos da parceria, recolheu-se a informação do quadro 1, que apresenta as principais razões pelas quais cada um dos “avaliadores-pares” foi convidado (de acordo com a informação dada por um dos elementos da parceria).

 
 
 
Quadro 1 - Principais razões pelas quais cada um dos “avaliadores-pares” foi convidado

 

Contudo, à medida que os dois “avaliadores-pares” deste artigo7 foram cumprindo as tarefas para as quais foram solicitados (descritas mais à frente), foi-se verificando que o papel que lhes foi pedido correspondia, em larga medida, aquele que é geralmente pedido aos “amigos críticos”. Confrontados com esta situação, os elementos da parceria disseram não conhecer esse tipo de avaliador/avaliação e consideraram que essa tipologia descreve com mais rigor a metodologia pretendida.

Assim, faz-se de seguida um enquadramento teórico da figura do “amigo-crítico” e uma descrição detalhada das atividades/tarefas do Projeto Coordenadas para as quais foram solicitados, bem como o respetivo contributo para a evolução do projeto.

 

3. O “amigo-crítico”

No âmbito dos projetos de Desenvolvimento tem-se verificado nas últimas décadas um aumento do uso de sistemas de monitorização e avaliação de forma a melhorar as intervenções (Rossignoli et al., 2015). Uma metodologia de monitorização e avaliação frequente na área da Educação, mas ainda pouco conhecida nos Projectos de Desenvolvimento, é a do “amigo crítico” onde se procura mudar a posição do avaliador em relação ao projeto “By moving from objective outsider to someone embedded in the program’s management team, the evaluator is better poised to provide the flexible, timely feedback needed by the program to make midcourse adjustments” (Griffin et al., 2014).

O conceito de amigo crítico surgiu nos fins dos anos 1970 e é atribuído a Desmond Nuttall (Heller, 1988). Costa & Kallick (1993) definem o amigo crítico como sendo “a trusted person who asks provocative questions, provides data to be examined through another lens, and offers critiques of a person’s work as a friend. A critical friend takes the time to fully understand the context of the work presented and the outcomes that the person or group is working toward. The friend is an advocate for the success of that work.” (p. 50)

A expressão “amigo-crítico” pode parecer contraditória, uma vez que poderíamos ver a dimensão “amigo” e a dimensão de “crítico” como sendo um contínuo entre dois pólos opostos. Contudo, estas dimensões podem ser vistas como complementares se resultarem de uma estratégia onde o “amigo” vem primeiro e o crítico depois (Alaíz, 2011). Segundo esta interpretação, o “amigo-crítico” entra na relação primeiro como “amigo”, com o objetivo primordial de apoiar e, estabelecida a relação, passa para o papel de “crítico” (MacBeath, 1998). Assim, o “tempo” é visto também como uma dimensão importante para a construção da relação seguido pelo juízo próprio do papel de crítico (Swaffield, 2003). Assim, o papel do “amigo-crítico” deve assentar numa relação de confiança, que pode ser construída com base em valores comuns que quem “avalia” e quem é avaliado reconhece no outro. Por exemplo, na área da Cidadania Global, a relação de confiança pode ser mais facilmente estabelecida se avaliador e avaliado reconhecerem no outro perceções comuns sobre conceitos fundamentais como o que é o Desenvolvimento, o que se entende por Cidadania Global, entre outros.

MacBeath (1998) identificou vários obstáculos à construção desta relação, como as agendas escondidas e as lutas de poder. Desta forma, é importante que quem é avaliado sinta que quem avalia não é concorrente ou parte interessada. O “bom amigo-crítico” será assim uma pessoa que pode ter uma perspetiva relativamente “neutra” quanto ao sucesso do projeto – isto é, não é alguém “de dentro”, que pode ter uma opinião “contaminada” e interessada, nem é alguém que o avaliado sente que é completamente “de fora”, avaliando sem preocupação em conhecer o contexto. Assim, o “construir” a relação exige tempo e isto permite que se conheça o contexto e os resultados que se procuram atingir (Alaíz, 2011). O “amigo-crítico” é alguém que, não só tem uma perspetiva diferente da que têm os que estão “do lado de dentro”, como auxilia a ver o que é familiar sob uma nova luz (Alaíz, 2011). A este propósito, Swaffield (2004) salienta que nem sempre é necessário que o “amigo-crítico” seja um perito na área, referindo algumas vantagens como a de poder genuinamente fazer as perguntas ingénuas, mas poderosas; contudo, na sua opinião é sempre necessário estar-se familiarizado com o contexto, de forma a não criar sensações de frustração causadas pela necessidade de dar explicações longas e detalhadas.

Apesar de alguns autores (Ex: Block, 1999) sugerirem a necessidade de competência técnica por parte do “amigo-crítico”, Swaffield (2004) discorda pois, e se isso acontece nas organizações, então será importante refletir sobre o tipo de apoio externo que estão a procurar: alguém que lhes diga o que fazer ou alguém que as acompanhe, apoiando-as à medida que elas próprias procuram a resolução dos problemas.

 

4. O projeto “Coordenadas para a Cidadania Global” e o papel dos “avaliadores-pares”

Enquanto “avaliadores-pares”, e de acordo com o modelo proposto, fomos encorajados a participar em algumas atividades (reuniões/oficinas) e temos feito a avaliação dos relatórios trimestrais. Estes relatórios procuram dar resposta ao objetivo da “boa governação”: à medida que a parceria implementa as suas atividades, descrevem-se e documentam-se os passos para concretizar essas atividades e partilha-se, sob a forma de um relatório no website do projeto, de forma a que qualquer OSC possa reproduzir o projeto.

Assim, descrevem-se de seguida, todos os momentos onde os “avaliadores-pares”intervieram e reflete-se sobre como as solicitações se enquadram na figura do “amigo-crítico” atrás descrita.

 

1º Momento: Primeiro relatório trimestral

A primeira intervenção dos “avaliadores-pares” foi analisar o primeiro relatório trimestral, em dezembro de 2016. Até aqui a parceria tinha feito “apenas” as normais reuniões de arranque onde se procurou consolidar o cronograma, montar o website e tratar as questões burocráticas mais importantes (nomeadamente, convidando os “avaliadores-pares”).

Sendo esta a primeira intervenção enquanto “avaliadores-pares” tivemos de refletir sobre esse papel e o que se devia colocar no relatório que era esperado da nossa parte. Uma vez que já existia uma relação bastante próxima com alguns elementos da parceria (desenvolvida com base nos vários projetos em que temos participado) verificámos que o nosso papel poderia ser o de “amigo-crítico”, uma vez que a parte da relação de confiança já estava estabelecida. Assim, o nosso relatório procurou avaliar as atividades (no sentido clássico do termo avaliar) mas também sugerir alterações (no sentido de “amigo-crítico” / avaliador-par). Por exemplo, referimos no nosso relatório que o website do projeto e os relatórios trimestrais estavam a cumprir o seu objetivo primordial (transparência & boa governação) uma vez que disponibilizavam todos os recursos do processo. A par deste papel “avaliativo” sugerimos alterações de alguns processos nos quais tínhamos know-how técnico. Por exemplo, criticámos o facto de o website agregar 2 mensagens para 2 públicos diferentes – o de documentar o projeto em si mesmo (público-alvo: outras OSC) e documentar as futuras rotas pedagógicas (público-alvo: público em geral, jovens a capacitar, etc.). A questão da definição clara dos “vários públicos-alvo” foi tida em conta posteriormente pela parceria, sobretudo nos passos seguintes tanto mais que se verificou ser complexo definir, neste projeto, quem são os seus beneficiários: as associações que trabalham com jovens? Os jovens que vão ser capacitados para dinamizar as rotas? Ou os turistas que vão visitar as rotas e junto de quem se pretende promover a ECG?

 

2º Momento: Primeira reunião/oficina de trabalho

O momento seguinte de intervenção aconteceu quando fomos convidados a participar na primeira oficina de trabalho entre as organizações da parceria, em 6 e 7 de fevereiro de 2017 (todos os “avaliadores-pares” foram convidados). Esta oficina foi dedicada à partilha de boas práticas de ECG dos parceiros, que foram posteriormente discutidas entre os parceiros e os amigos críticos presentes.

Os “avaliadores-pares” ajudaram a analisar vários projetos/case studies de forma a identificar boas práticas. Ajudaram ainda a identificar os conceitos fundamentais de ECG no projeto, e as atividades principais, sobretudo nas áreas técnicas da cultura/turismo.

Neste momento pudemos observar com mais detalhe o perfil dos vários “avaliadores-pares” (de acordo com o quadro 1 atrás) implicados. Algumas pessoas teriam sido convidadas a ser avaliador-par sobretudo pela sua competência técnica. Contudo, verificámos de imediato que todas elas já tinham uma relação de confiança com os elementos da parceria, o que nos ajudou a perceber o que entendiam por avaliador-par: aproximava-se da ideia do “amigo-crítico”, agente que critica com base numa relação consolidada. Consideramos que se esta “validação de papel” tivesse sido feita nessa reunião (e não após um ano de projeto) teriam existido contribuições mais ricas por parte destes atores.

 

3º Momento: Segundo relatório trimestral

O 2º relatório trimestral foi publicado em abril de 2017. Nesse relatório documentou-se os processos de tomada de decisão decorrentes da oficina realizada em fevereiro e o programa da formação, destinada a técnicos das OSC, que trabalhavam na capacitação de jovens e desejavam envolvê-los na dinamização das rotas pedagógicas. Uma vez que o nosso know-how técnico é sobretudo nesta área (ao contrário dos outros “avaliadores-pares” cujo know-how é na área cultural e turística) procurámos fazer uma análise “crítica” (de “amigo-crítico”) desta formação, analisando e sugerindo alterações na estrutura, nos módulos temáticos e duração da formação. Mais tarde, refletiu-se com a parceria se faria sentido existirem reuniões “específicas” por área de competências dos “avaliadores-pares”, ao contrário do sistema mais aberto e plural que foi utilizado, onde todos os “avaliadores-pares” têm estado presentes independentemente da natureza das reuniões. Podemos optar por mobilizar os amigos-críticos numa dimensão interdisciplinar (onde todos aprendem com todos) ou numa dimensão mais técnica (onde a parceria se foca em cada problema em separado, usando um “amigo-crítico” específico para cada dimensão). O facto desta parceria estar envolvida num projeto onde “apenas” domina tecnicamente uma área (ECG) e necessitar de apoio técnico em várias outras (cultura, turismo, educação) sugere que a estratégia interdisciplinar que tem vindo a ser adotada é a mais correta, pois verifica-se ser necessário que os “peritos em educação” discutam com os “peritos em turismo” de forma a saber como criar uma “formação em turismo”. O projeto beneficia desta heterogeneidade de contributos nas reuniões em que todos os “avaliadores-pares” participam, mas não na avaliação dos relatórios, onde cada avaliador-par apenas avalia o relatório trimestral nas áreas temáticas onde se sente mais conhecedor.

 

4º Momento: Terceiro relatório trimestral

O 3º relatório trimestral foi publicado em julho de 2017. Este relatório descreveu sobretudo os passos dados na construção da formação atrás descrita. Uma vez que não houve nenhuma reunião presencial entre todos os intervenientes (parceiros e “avaliadores-pares”) entre o 2º e o 3º relatório, o contributo dado por cada avaliador-par foi novamente bastante “monodisciplinar”.

 

5º Momento: Segunda reunião/oficina de trabalho

A 2ª reunião de trabalho em que os “avaliadores-pares” foram convidados a participar realizou-se a 3 de agosto. Esta reunião revelou-se muito rica pela participação dos vários “avaliadores-pares” que, na sua heterogeneidade de competências e no papel de amigos-críticos, fizeram “críticas” ao desenvolvimento do projeto que, e por serem bem aceites pela parceria, mudaram algumas das premissas iniciais que fundamentavam o projeto. A alteração mais importante terá sido a de o projeto não assentar na criação de novas rotas mas a de usar rotas já existentes, transformando-as de forma a incluir conteúdos de ECG (dando às rotas uma perspetiva de cidadania global). Esta alteração resultou da análise dos contextos de intervenção e repensou-se a sustentabilidade do projeto. Esta constatação (e outras) levaram à alteração também da natureza de alguns conteúdos do módulo de formação para as OSC.

 

5. Reflexões finais

Por parte das OSC há um certo descontentamento com os resultados e impacto dos projetos sociais em que intervêm, o que as leva a ter uma maior exigência na monitorização e avaliação das suas atividades. Este artigo documenta as atividades de monitorização do Projeto Coordenadas, onde as OSC intervenientes procuraram inovar introduzindo o conceito de “avaliador-par” e apresenta um pequeno estudo onde se procurou conhecer onde residia essa inovação (mais do que o seu impacto). A análise feita aos vários momentos de interação (reuniões, conversas informais, documentos formais, etc.) sugere que o papel do agente monitor/avaliador concebido corresponde, em larga medida, ao papel do “amigo-crítico”.

Apresentamos de seguida um conjunto de reflexões sobre o projeto e seus processos.

Numa primeira análise, verificou-se que as OSC implicadas no Coordenadas conceberam a figura do “avaliador-par” como:

  • Sendo sobretudo um perito técnico, em áreas necessárias para o desenvolvimento do projeto e que as próprias OSC não dominavam. Era visto como um híbrido de consultor e técnico e, necessariamente, monitor e avaliador da implementação do projeto.
  • É um ator que não tem nem a grande distância dos avaliadores externos nem a grande proximidade de parceiros de facto. Este “meio-termo” poderá colmatar algumas desvantagens das figuras do avaliador (a neutralidade que resulta da total descontextualização) e do parceiro (a “consanguinidade” e falta de uma visão “de fora”). Contudo, definir um ator por aquilo que ele “não tem” não é tão proveitoso como defini-lo por aquilo que ele tem.

Neste artigo defendemos que a figura do “amigo-crítico”, uma figura que começa a fazer o seu terreno no mundo dos projetos sociais, reúne o conjunto de características que esta parceria desejava (ainda que não o soubesse clarificar) quando concebeu a figura de avaliador-par. Depois de um ano de interação constatou-se que a proximidade que já existia com todos os “avaliadores-pares” antes da implementação do projeto foi um critério-chave para aceitar as “críticas”, uma vez que estas não foram interpretadas erradamente (como costuma acontecer quando os avaliadores têm outros perfis e características).

No caso do “Coordenadas para uma Cidadania Global”, se o papel do “amigo-crítico” tivesse sido claro desde o início, as contribuições dadas seriam potencialmente mais ricas. Por exemplo, constatou-se que certos instrumentos, como os relatórios trimestrais, são insuficientes para explorar toda a potencialidade de um “amigo-crítico”, uma vez que foram “desenhados” para o perfil de um avaliador clássico. Desta forma, recomenda-se que os amigos-críticos sejam envolvidos numa fase inicial dos projetos, ajudando a parceria a pensar em instrumentos que potencializem a sua intervenção como uma mais-valia para o projeto, para as instituições parceiras e para ela própria.

 



[1] Instituto Marquês de Valle Flôr – Este endereço de email está protegido contra piratas. Necessita ativar o JavaScript para o visualizar.

[2] Instituto Politécnico de Leiria - Este endereço de email está protegido contra piratas. Necessita ativar o JavaScript para o visualizar.

[3] Instituto Politécnico de Leiria - Este endereço de email está protegido contra piratas. Necessita ativar o JavaScript para o visualizar.

[4] Par - Respostas Sociais - Este endereço de email está protegido contra piratas. Necessita ativar o JavaScript para o visualizar.

[5] Instituto Marquês de Valle Flôr - Este endereço de email está protegido contra piratas. Necessita ativar o JavaScript para o visualizar.

[6] Ao longo deste artigo citar-se-á várias vezes este documento uma vez que é, até à data, o documento produzido pela parceria que mais bem documenta todo o desenho de projeto.

[7] Este artigo é uma coautoria entre quatro pessoas, duas das quais foram “avaliadores-pares” do projeto “Coordenadas” e duas pertenciam à parceria que implementou o projeto “Coordenadas”. Uma vez que a tónica do artigo assenta nas questões de avaliação/monitorização, usamos a primeira pessoa do plural (ex: “considerámos que”, “optámos por”, “verificamos que”) para designar o relato específico dos dois “avaliadores-pares” e usamos o impessoal (ex: “verificou-se que”, “analisou-se”) para descrever o estudo realizado e as reflexões dos 5 autores do artigo.

 

Referências Bibiográficas

  • Alaíz, V. (2011). O papel do amigo crítico no apoio à autoavaliação como mecanismo de introdução de melhoria. Webinar, 18 Maio de 2011. Consultado a 19 de março de 2018 em https://webinars.dge.mec.pt/webinar/o-papel-do-amigo-critico-no-apoio-autoavaliacao-como-mecanismo-de-introducao-de-melhoria.
  • Block, P. (1999). Flawless Consulting. San Francisco: Jossey-Bass.
  • Coordenadas (2016). Coordenadas para a Cidadania Global – Ver, Agir e Transformar!. Formulário de candidatura aos “Projetos de Educação para o Desenvolvimento de ONGD” do Camões, I.P.
  • Costa, A. & Kallick, B. (1993). Through the Lens of a Critical Friend. Educational Leadership 51 (2) 49-51.
  • Griffin, C., Stewart, S., Hannah, B., Dunham, K. & Paprocki, A. (2014). Fitting Developmental Evaluation Concepts into Government Evaluations: Our Journey from Objective Outsider to "Critical Friend". Consultado a 19 de março de 2018 em http://comm.eval.org/HigherLogic/System/DownloadDocumentFile.ashx?DocumentFileKey=54c23ab1-5df6-46ad-8ffa-8cd821920a6d
  • Heller, H. (1988). The Advisory Service and Consultancy. In Gray, H. (Ed) Management Consultancy in Schools (1988). London: Cassell.
  • MacBeath, J. (1998). ‘I didn’t know he was ill’: The role and value of the critical friend. In L. Stoll & K. Myers (Eds.), No quick fixes: Perspectives on schools in difficulty (pp. 118–132). London: Falmer Press.
  • Rossignoli, S., Coticchia, F., Mezzasalma, A. (2015). A critical friend: Monitoring and evaluation systems, development cooperation and local government. The case of Tuscany. Evaluation and Program Planning, 50 (pp. 63–76).
  • Senge, P. (1990). The fifth discipline: The art and practice of the learning organization. New York: Doubleday.
  • Swaffield, S. (2002). Contextualizing the Work of the Critical Friend. 15th International Congress for School Effectiveness and Improvement (ICSEI), Copenhagen, 3rd – 6th January, 2002
  • Swaffield, S. (2003). Critical Friendship. Inform. Consultado a 19 de março de 2018 em https://www.educ.cam.ac.uk/centres/lfl/about/inform/PDFs/InForm_3.pdf.
  • Swaffield, S. (2004). Critical friends: supporting leadership, improving learning. Improving Schools. SAGE Publications. 7(3). pp.267–278.