Resumo: Testemunho foi o formato escolhido para responder ao desafio lançado pelo projeto Sinergias ED à A3S, o de partilhar, refletir, dar conta da sua experiência da avaliação externa do mesmo. Este texto começa por situar a A3S enquanto sujeito da experiência do processo da avaliação. Esta experiência trouxe desafios e traz questionamentos acrescidos à experimentação e reflexividade que têm caracterizado o percurso de mais de uma década da A3S no domínio da avaliação. Num segundo ponto é apresentada uma visão externa, panorâmica e resumida do percurso do Sinergias ED até ao presente, dando conta dos seus progressos e dos seus fatores e desafios críticos. Por último, expõem-se os questionamentos e os desafios sentidos ao longo do próprio processo de avaliação externa.

Palavras-chave: Avaliação; Testemunho.

Resumen: El testimonio fue el formato elegido para responder al desafío lanzado por el Proyecto Sinergias ED a la A3S, de compartir, reflejar, dar cuenta, sobre su experiencia de evaluación externa del mismo. Este texto empieza por situar a A3S como sujeto de la experiencia del proceso de evaluación. Esta experiencia ha aportado desafíos y cuestionamientos acrecidos a la experimentación y reflexividad que tiene caracterizado la trayectoria de más de una década da A3S en el dominio de la evaluación. En un segundo punto se presenta una visión externa, panorámica y resumida del recogido del Sinergias ED, hasta el presente, dando cuenta de sus progresos y de sus factores y desafíos críticos. Por último, se exponen los cuestionamientos y los desafíos sentidos al largo del propio proceso de evaluación externa.

Palabras-clave: Evaluación; Testimonio.

Abstract: Testimony was the format chosen to respond to the challenge launched by the project DE Synergies to A3S, to share and reflect their experience of external evaluation of it. This text begins by situating the A3S as subject of the experience of the evaluation process. This experience has brought challenges and brings further questions to the experimentation and reflexivity that have characterized the course of more than a decade of A3S in the field of evaluation. In a second point, an external, panoramic and summarized vision of the path of the DE Synergies to date, is presented, giving an account of its progress and its critical factors and challenges. Lastly, the questions and challenges posed throughout the external evaluation process itself are exposed.

Keywords: Evaluation; Testimony.

Resumé: Témoignage fut la forme choisie pour répondre au défi lancé par le projet Synergies ED à A3S, celui de partager, réfléchir, réaliser son expérience d’évaluation externe du même. Ce texte commence par situer l’A3S en tant que le sujet de l’expérience du procès d’évaluation. Cette expérience a apporté des défis et elle apporte des questions ajoutées à l’expérimentation et à la réflexivité qui ont caractérisé le parcours de plus d’une décennie. Dans un deuxième point il est présentée une vue externe, panoramique et résumée du parcours du Synergies ED jusqu’au présent, en réalisant ses progrès et ses facteurs et des défis critiques. Finalement on expose les questions et les défis éprouvés le long du procès d´évaluation externe lui-même.

Mots-clés: Évaluation; Témoignage.

A A3S acompanhou a segunda edição do projeto Sinergias EDno papel de responsável pela avaliação externa, entre fevereiro e agosto de 2018, não tendo tido contacto prévio com o mesmo.

O Sinergias ED é um projeto de Educação para o Desenvolvimento (ED) promovido por uma parceria colaborativa entre o Centro de Estudos Africanos da Universidade do Porto e a Fundação Gonçalo da Silveira, bem como, na sua segunda edição, pelo Centro de Intervenção para o Desenvolvimento Amílcar Cabral. É financiado pelo Camões ICL e conta com o apoio da Reitoria da Universidade do Porto, da Fundação para a Ciência e a Tecnologia e da Fundação Calouste Gulbenkian. Com início em 2013, o projeto concluiu a sua segunda edição em julho de 2018 e está a iniciar a sua terceira edição.

O objetivo central do Sinergias ED é promover a qualidade da intervenção da ED em Portugal, no campo da investigação e da produção de conhecimento e no campo das práticas educativas, com especial foco no ensino superior. Para se concretizar em coerência com os princípios da ED, necessariamente o projeto mobiliza os principais atores do campo – pessoas ligadas à investigação, instituições de ensino superior (IES) e organizações da sociedade civil (OSC) – e aspira ao crescente protagonismo dos mesmos na definição e prossecução de destinos comuns.

A A3S é uma associação sem fins lucrativos, de Investigação & Desenvolvimento, com o estatuto de Organização Não Governamental para o Desenvolvimento. Tem por missão promover o empreendedorismo social e a sustentabilidade das organizações da economia social e solidária. Dedica-se à promoção do conhecimento sobre todas as formas coletivas de organização da sociedade civil e à capacitação de pessoas e organizações, com o fim último de contribuir para a construção de alternativas mais justas, participativas e inclusivas.

A militância e o exercício dos princípios da economia social e solidária, a transferibilidade do conhecimento entre o plano da investigação académica e das práticas das organizações e das pessoas do sector no terreno, ou a persistência das abordagens participativas, são alguns dos princípios estruturais que têm guiado a ação da A3S. Neste contexto, os princípios da ED são transversais às atividades da associação. Com as devidas particularidades éticas e deontológicas relativas aos seus diferentes papéis profissionais, a A3S entende a investigação, a avaliação, a consultoria e a formação, como oportunidades de promoção da ED. Oportunidades de contribuir para o questionamento de valores como a solidariedade, a justiça social e a sustentabilidade; de envolvimento de todos os stakeholders chave na construção de diagnósticos, visões e propostas partilhadas; de mútua aprendizagem entre os diversos interlocutores; de promoção da reflexão crítica, da capacitação técnica e da autonomia das pessoas nos processos de trabalho; de procura de soluções de resposta à medida das necessidades identificadas em cada situação concreta e a respetiva introdução de melhorias.

A avaliação externa de projetos e programas é uma atividade desenvolvida desde a génese da A3S em 2006. Necessariamente, pela diversidade e natureza dos projetos avaliados ² e pela abordagem ajustada às características específicas de cada contexto, cada experiência de avaliação assume as suas características e os seus desafios próprios. Não obstante a diversidade e as especificidades, há questões transversais que têm acompanhado a abordagem teórico-metodológica e a reflexão crítica da A3S:

• A capacitação das equipas técnicas e de outros stakeholders que participam ativamente nos processos de avaliação;
• A contribuição para a transição de uma cultura de avaliação frágil e particularmente centrada em indicadores de desempenho, para uma cultura de valorização da participação, das aprendizagens e dos resultados e impactes, que se traduza em visões de efetivas mudanças individuais, organizacionais e societais;
• A experimentação e o desenvolvimento de metodologias de auscultação dos públicos alvo dos projetos sociais avaliados, tendo em vista a apreensão qualitativa e expressiva das suas vozes; metodologias que passam pela diversificação das linguagens e pela utilização de símbolos e outras formas de expressão, tendo em conta as características etárias, sociais e culturais dos públicos;
• A inclusão no âmbito do desenho das próprias atividades dos projetos, sempre que exequível e pertinente, de momentos de avaliação com os públicos, utilizando a avaliação como instrumento de intervenção para a promoção da reflexão e reflexividade sobre os processos vividos e para o reforço da sustentação de aprendizagens e outros resultados;
• A necessidade de sistematizar, formalizar e partilhar aprendizagens de 12 anos de experiência.

A experiência de avaliação do Sinergias ED traz questionamentos acrescidos à experimentação e reflexividade que têm caracterizado este percurso da A3S no domínio da avaliação. O presente texto responde a (mais) um desafio lançado pela equipa do Sinergias ED à equipa de avaliação externa, o de partilhar esta experiência com os públicos do projeto e da sua revista.

Testemunho foi o formato escolhido para um texto que, instigado pelo espírito e práticas de reflexão crítica do Sinergias ED, opta por partilhar uma experiência desafiante através de um formato distinto de um convencional artigo científico ou reporte de avaliação de resultados de um projeto. Aceitamos assim o desafio de partilhar questões e inquietações próprias de uma aprendizagem em curso, mais do que conclusões. Entendemos ser uma oportunidade de participar na co-construção de práticas, significados e sentidos transformadores, e de experimentar novas formas de construção de conhecimento a que o Sinergias ED exorta. Começamos por apresentar uma visão impressiva (e não sistemática ³) dos principais resultados da avaliação do projeto, enquadrando a reflexão e os leitores menos familiarizados com o Sinergias ED, para seguidamente partilhar os desafios que se colocaram à avaliação e os que continuam hoje a convocar a A3S.

2. Uma visão externa do Sinergias ED

O Sinergias ED começou a ser pensado e desenhado em 2012, pela iniciativa de um conjunto de pessoas ligadas à investigação e à prática de ED, inquietas com a inexistência ou escassez de respostas a necessidades sentidas no seu dia a dia e identificadas na Estratégia Nacional de Educação para o Desenvolvimento (2010-2015). Necessidades tais como a capacitação das IES e OSC para a ED, a promoção de dinâmicas e mecanismos de diálogo e de cooperação institucional entre estes dois tipos de instituições, ou a consolidação da ED no setor da educação formal ao nível do ensino superior.

O projeto propôs-se prosseguir a finalidade de promover a qualidade na investigação e na ação em ED em Portugal, através de dois eixos de ação. O primeiro, criar oportunidades e condições para a ligação entre investigação e ação na produção de conhecimento em ED, aqui incluindo diversas atividades tais como a criação de uma linha de investigação e uma revista científica ou a dinamização de grupos de trabalho colaborativos entre IES e OSC para a produção de estudos. O segundo, sistematizar e aprofundar o conhecimento relevante para a capacitação de atores de ED, designadamente através da construção e validação de um referencial de capacitação.

No final da primeira edição do Sinergias ED (2013-2016) estavam lançadas as bases institucionais para a produção e divulgação de conhecimento, pela criação de uma linha de investigação em ED, pela produção de estudos, pela divulgação de conhecimento e experiências nacionais e internacionais, pela animação de um website e pela edição de uma revista própria. Foi criado um referencial de capacitação de agentes de ED nas OSC e IES, embora este produto e processo estivessem ainda abertos a melhorias. A linha de investigação foi reconhecida pela Fundação para a Ciência e a Tecnologia e a Fundação Calouste Gulbenkian apoiou a aposta na continuidade do projeto.

Foi ainda criado, de forma experimental, um espaço de diálogo e de colaboração na produção de conhecimento entre IES e OSC. A ambição desta experimentação foi claramente alcançada e as expectativas superadas. Os resultados excederam tanto em termos de adesão de número de pessoas e instituições (11 IES e 11 OSC face às 6 inicialmente previstas para cada tipo de organização), como de número de estudos realizados (7 face aos 6 previstos), como em termos de valorização da experiência pelos/as participantes. A articulação entre investigação e ação e a reflexão em torno do carácter interventivo e potencial transformador dos valores da ED foram considerados os pontos mais positivos pelos diferentes tipos de participantes.

Esta superação permitiu comprovar a existência de pessoas e instituições efetivamente interessadas em construir pontes entre teoria e prática / investigação e ação / academia e sociedade civil. Comprovou que a existência de espaços para a reflexão sobre a produção de conhecimento e a colaboração entre os dois tipos de instituições, representa claramente uma resposta às inquietações dos e das participantes e o despoletar de hipóteses de exploração de novos caminhos de trabalho colaborativo. No final dos primeiros dois anos o projeto tinha alcançado um significativo grau de reconhecimento nacional e visibilidade internacional.

Da primeira para a segunda edição verificaram-se algumas alterações, designadamente a inclusão de uma terceira entidade na parceria promotora e a redefinição da ação em três eixos: alargamento e reforço dos processos colaborativos entre IES e OSC; produção e divulgação de conhecimento em ED; capacitação de atores em ED. As alterações representaram, no entanto, uma incorporação de aprendizagens e uma depuração de estratégias de intervenção.

Destaque para a inclusão de uma nova atividade, uma meta reflexão sobre o processo de diálogo e cooperação entre IES e OSC com os e as participantes nos grupos colaborativos, e a partir das práticas de Sistematização de Experiências. A Sistematização de Experiências é uma abordagem com origem na América Latina, na década de 1980, integrando diferentes perspetivas e práticas de emancipação social. Trata-se de uma proposta de construção conjunta de conhecimento através de exercícios de reflexão e sistematização conduzidos pelos grupos que vivenciam experiências específicas. As pessoas que participam nos grupos refletem sobre as suas próprias experiências, os fatores condicionantes, as aprendizagens. “A coincidência entre sujeito e objeto do conhecimento, para além de evidenciar um posicionamento epistemológico crítico (em relação à epistemologia científica dominante), coloca a Sistematização de Experiências enquanto prática de autoformação e de fortalecimento de grupos sociais” ⁴. Com caraterísticas comuns com a avaliação e a investigação, a “Sistematização de Experiências aparece como uma contraproposta de alguns grupos sociais (alguns dos “grupos-alvo” ou “públicos” de projetos sociais) às exigências de uma racionalidade imposta por estes distintos organismos no quadro da avaliação de projetos” ⁵.

A segunda edição assumiu assim uma linha de continuidade, com especial enfoque no fortalecimento das ligações entre IES e OSC e na exploração de oportunidades de desenvolvimento de relações internacionais.

Quando no último semestre da segunda edição, a equipa de avaliação da A3S começou a analisar o Sinergias ED, três caraterísticas sobressaíram da proposta e desenho do projeto, bem como das práticas que a equipa de avaliação pôde testemunhar. Por um lado, o elevado grau de reflexividade das atividades desenvolvidas, tais como estudos sobre os próprios processos de trabalho colaborativos, estudos sobre perceções e práticas de ED entre em atores de IES e OSC, avaliações participadas das atividades do projeto e a Sistematização de Experiências.

Por outro lado, o forte compromisso para com a abordagem e atuação de acordo com os princípios de ED. Designadamente envolvendo os e as participantes das IES e OSC na experimentação da produção colaborativa de conhecimento, no desenho de atividades tais como o programa dos encontros anuais do Sinergias ED ou na coordenação e acompanhamento geral das atividades do Sinergias ED(estudos, debate do posicionamento da linha de investigação no campo da ED, desenho e estratégia editorial da revista, entre outros).

Por outro lado ainda, a coragem de se colocarem desafios profundos e estruturais, questionando um dos pilares da ordem social, económica, cultural dominante – o da supremacia da legitimidade do conhecimento científico sobre outras formas de conhecimento e da academia enquanto protagonista única da sua produção e validação. Este questionamento não é novo, é novo fazê-lo no campo da ED em Portugal e, sobretudo, fazê-lo através de uma proposta de processo de trabalho onde IES e OSC são protagonistas, incorporando os princípios da ED. Dito de outra forma, mais do que produzir e disseminar conhecimento científico pelas vias convencionais da academia, é experimentar fazê-lo através de uma prática efetiva de princípios consensualizados em ED, mas raramente implementados entre ‘atores da teoria e da prática’.

Também a segunda edição do projeto deu passos significativos para concretizar os objetivos do projeto. Verificaram-se globalmente resultados positivos na implementação e teste do Referencial de Capacitação e na produção e divulgação de conhecimento. A dimensão internacional foi também reforçada. Diversos são os indicadores que permitem evidenciar esta afirmação tais como o número de autores estrangeiros publicados na revista, a diversidade de idiomas de publicação, o crescimento em termos absolutos e relativos dos utilizadores do website, sobretudo em língua inglesa, em português do brasil e em espanhol. Destaque ainda para a continuidade do envolvimento ativo da Revista Sinergias nos encontros internacionais de revistas de ED, e para o papel do Sinergias ED como ponto focal da ANGEL “Academic Network of Global Education and Learning” em Portugal.

Verificaram-se também resultados positivos no que se refere ao fortalecimento das ligações entre IES e OSC. São diversos os indicadores que apontam para um modesto alargamento quantitativo de participantes, para uma significativa adesão de um ator estratégico para a ED – as Escolas Superiores de Educação – e para uma relevante continuidade do aprofundamento das relações individuais e de parceria institucional. Indicadores de análise de redes indiciam o reforço destas relações da primeira para a segunda edição, bem como a permanência de níveis relevantes de relacionamento e parceria no momento do término da segunda edição e perspetivadas para o futuro.

Uma análise resumida dos dados qualitativos da avaliação, reporta como as experiências de participação nos grupos colaborativos foram fonte de diversos resultados: inspiração e gratificação; aquisição de competências e conhecimentos ao nível individual (pessoal e profissional) e institucional; enriquecimento metodológico; vontade de continuidade dos processos colaborativos; incorporação dos princípios de ED nas práticas profissionais quotidianas; reconhecimento da relevância de interagir com ‘outros diferentes’ em práticas de investigação e de intervenção. Diversos testemunhos apontam para uma relevante reflexividade em torno das questões da construção de relações, de conhecimento do outro, de estabelecimento de entendimentos e confiança.

Foram também experiências que questionaram barreiras e limitações ao desenvolvimento destes processos de trabalho, tais como: limitações de tempo, orçamento e distância geográfica; ausência de apoio institucional sentida por algumas e alguns participantes; dificuldades de transpor experiência e aprendizagens para os contextos de trabalho, particularmente no caso de representantes das IES.

Efetivamente, a multiplicidade, relevância e consistência dos resultados alcançados, não oculta fragilidades e desafios que o projeto enfrenta:

• A continuidade e o aprofundamento dos processos de colaboração entre os dois tipos de instituições, tendo em conta as barreiras e limitações identificadas e o indicador de diminuição do número de participantes nas reuniões plenárias dos grupos de trabalho colaborativos do projeto.
• O aprofundamento do trabalho em torno do teste, validação e disseminação do trabalho de capacitação de atores.
• A validação e reconhecimento do conhecimento produzido no âmbito de processos colaborativos, da revista e do projeto em geral e o diálogo e posicionamento do projeto face aos sistemas de reconhecimento da academia e da ciência. Esta questão coloca nomeadamente desafios tais como a capacidade de reter investigadores na linha de investigação de ED perante a atratividade de outros centros e linhas de investigação melhor colocadas nos rankings de reconhecimento e financiamento. Coloca questões às estratégias e linhas editoriais da Revista que, assumindo a experimentação, resistem por exemplo à indexação da Revista em plataformas consagradas de divulgação de revistas científicas. Coloca também desafios à organização e funcionamento do conselho científico da Revista e às suas ligações internacionais.
• A sustentabilidade de longo prazo das atividades de produção e divulgação de conhecimento, tendo em conta que a gestão da infraestrutura logística da manutenção da linha de investigação, da revista e do website constituem atividades que representam um volume de trabalho significativo.
• A construção de uma comunidade ED. No início da sua terceira edição, o Sinergias ED conta com cerca de 50 pessoas e organizações ativamente envolvidas, formulando como objetivo para os próximos dois anos a construção de uma comunidade de ED. Este é um passo lógico na trajetória do projeto. O desafio é o de saber se este grupo de pessoas alcançará o objetivo de transição sustentada de uma lógica de grupos de trabalho, no âmbito de um projeto com prazo de financiamento finito, para uma comunidade. Que comunidade? O que é comunidade no contexto cultural e institucional nacional onde o trabalho em cooperação, colaboração, parceria e rede continua a colocar tantos desafios?

 

O momento de início do trabalho de avaliação externa foi marcado por uma multiplicidade de desafios. O primeiro foi o de compreender a profundidade da proposta Sinergias ED: analisar a informação e documentação abundante, regular, rigorosa e diversificada (nas linguagens e estilos de comunicação) produzida pelo projeto; vivenciar os encontros presenciais e trocas de informação e comunicação no grupo de participantes; debater focos e alternativas metodológicas para a avaliação externa com a equipa coordenadora do Sinergias ED.

Neste contexto, as singularidades do Sinergias ED – a sua reflexividade, compromisso e coragem -, convocaram a A3S para um plano que em muito se coloca também no dia a dia na sua prática, nos seus questionamentos e no exercício dos valores que advoga. A consciência foi (e ainda está a ser) a de que esta avaliação é uma oportunidade sui generis. É uma avaliação que convida ao questionamento de si própria, a um exercício simultaneamente lógico e emocional constante, e conduz a aprendizagens cognitivas.

Por um lado, o projeto é uma oportunidade de vivenciar o espaço de partilha e exortação ao pensamento crítico com as e os participantes do projeto, em temas que provocam inquietações iguais e similares às da A3S. Ou seja, permitir-se participar ativamente nestes questionamentos. Por outro lado, o papel de avaliador/a externo/a implica necessariamente uma vigilância constante que garanta uma postura ética e deontológica congruente e distinta de um ou uma participante comum. Implica ainda uma agenda e um foco muito específico nos objetivos e nos produtos formais assumidos pela avaliação externa. Em qualquer caso, uma postura deontológica e um foco que ainda assim, de acordo com a natureza dos questionamentos e das práticas do próprio projeto, convocam a um impulso da equipa de avaliação para questionar as fronteiras e os formatos convencionais de se produzir informação e reportar dados de avaliação.

Um outro desafio prende-se com o plano da produção de conhecimento relevante para um projeto fortemente documentado, rico em registos e reflexões, e a uma equipa promotora imbuída de um forte espírito reflexivo. Um projeto que integra ele próprio uma abordagem crítica às práticas de avaliação mais convencionais e se propôs implementar práticas, ainda pouco disseminadas, de Sistematização de Experiências.

Como é que a avaliação externa pode trazer informação acrescida e pertinente? Que tipo e natureza de informação deverá ser recolhida?

Que reflexão pode ser acrescentada, por uma equipa de avaliação externa que chega ao fim de cerca de três anos e meio de percurso, e que permita aos e às participantes do Sinergias ED fazer progressos?

Que abordagem será mais relevante para reportar uma visão externa estimulante?

Consequentemente, estas questões levam também a desafios no plano metodológico. A auscultação e a devolução de perspetivas de diversos tipos de stakeholders é um princípio chave da qualidade dos processos de avaliação externa, princípio que garante a autonomia e independência de informação e que permite aceder a lacunas de informação.

Até que ponto é pertinente, e viável logisticamente, implementar metodologias de avaliação externa envolvendo os principais destinatários (um grupo de cerca de 30 pessoas), no contexto de um projeto com atividades já fortemente participativas, reflexivas e avaliadas? O que perguntar e como perguntar de forma a criar indicadores acrescidos aos já existentes?

A equipa de avaliação externa realizou dois exercícios de recolha de informação através da técnica do inquérito por questionário. Um, explorando uma metodologia de analise de redes, procurando novos indicadores e novas formas de abordar e analisar o fortalecimento das ligações no âmbito do projeto. E outro, explorando a criação de indicadores que, expressando qualitativamente a ‘voz’ dos e das participantes, permitissem também quantificar resultados. Um trabalho na continuidade da experimentação e do desenvolvimento de metodologias de auscultação dos públicos alvo que a A3S tem vindo realizar, como referimos no primeiro ponto deste texto.

Por último, também a fase de reporte apresentou desafios. Por um lado, como integrar tanta informação e testemunhos tão ricos? Por outro lado, e sobretudo:

Como apresentar conclusões da avaliação de um projeto que levanta mais questões do que fornece respostas? Que persiste na busca de caminhos que permanecem necessariamente incertos? Que resiste a uma lógica racionalista de gestão de projeto centrada na produção de indicadores e em resultados tangíveis, de acordo com os padrões convencionais das práticas profissionais do campo da avaliação?

Talvez a avaliação externa da terceira edição do Sinergias ED possa também ser um dos temas de debate nos próximos dois anos…

4. ‘Primeiro estranha-se, depois entranha-se’

Em conversa fugaz durante o almoço do primeiro encontro da terceira edição do Sinergias ED, em dezembro de 2018, o Filipe Martins, avaliador da primeira edição do projeto, comentava relativamente à experiência de avaliação, que o Sinergias ED: – ‘Primeiro estranha-se e depois entranha-se’. Fazemos nossas as suas palavras para concluir este testemunho. Continuemos a construir a ambicionada comunidade de investigação e ação em ED em Portugal.

 

---