Objetivos
Avaliação de projetos culturais
Reconhecer os objetivos fundamentais da avaliação de um projeto cultural.
Indicadores de avaliação de projetos
Identificar a função dos indicadores para avaliar um projeto.
Metodologia para avaliação de projetos desportivos
Reconhecer a metodologia empregada na avaliação de projetos desportivos.
A avaliação de projetos é um processo pelo qual são obtidas informações indispensáveis sobre os resultados (planejados ou não) e sobre o desempenho do projeto. Esse procedimento é realizado para observar o quão bem os objetivos são alcançados e como a produção está se desenvolvendo, permitindo que decisões adequadas sejam tomadas para redirecionar o projeto, caso necessário. A avaliação pode ser realizada tanto pela equipe diretamente relacionada ao projeto, ou seja, internamente, quanto por profissionais externos que não estão envolvidos e cuja função é avaliar o andamento desse projeto.
Para a avaliação, é necessário o uso de indicadores que ajudam o avaliador a medir e observar, detalhadamente, a situação real do projeto, comparar os resultados obtidos com os resultados esperados e verificar como está a gestão das fases definidas para o projeto. Os indicadores de avaliação podem ser usados durante a implementação do projeto e após a conclusão e auxiliam tanto nas melhorias a serem aplicadas no projeto já em andamento quanto nas suas futuras edições.
Ao planejar e implementar um projeto desportivo, deseja-se atingir alguns objetivos ligados diretamente à prática de esportes ou a partir dos benefícios que o projeto pode proporcionar à sociedade, como melhoria da saúde física e mental, além do desenvolvimento pessoal, social, comunitário e econômico induzidos pelo projeto. Quando usamos indicadores específicos, podemos avaliar o impacto dos resultados alcançados por cada uma dessas metas, verificando se foram alcançadas e o que deve ser feito ou melhorado para que esses resultados possam ser atingidos de maneira eficiente.
Objetivo da avaliação de projetos
Fundamentalmente, a decisão de realizar a avaliação de projetos representa a necessidade de aperfeiçoar projetos culturais que já estejam em andamento e/ou aqueles que ainda não tenham sido propriamente iniciados. Essa prática é aplicável tanto a projetos já finalizados que obtiveram sucesso quanto àqueles cujos resultados apresentaram falhas.
No entanto, o objetivo da avaliação não é premiar ou punir as equipes de profissionais envolvidas na implementação desses projetos, mas introduzir um mecanismo que proporcione o alcance de melhorias contínuas no presente e no futuro.
Vem aumentando o interesse sobre como conduzir corretamente uma avaliação de projetos culturais. Por meio de estudos no campo das ciências sociais e de resultados de experimentos, sabe-se que é possível obter muitas respostas, tanto conceituais quanto instrumentais, e que a combinação do uso de ambas é fundamental para uma boa avaliação.
Exemplo
A contribuição conceitual à prática profissional pode ser aplicada à gestão de políticas culturais.
A avaliação de projetos culturais é essencial para saber se o trabalho em andamento está seguindo a direção correta ou se é necessário realizar alguma modificação no projeto.
Segundo Carman (2007), existem dois pontos de vista quanto à avaliação de projetos culturais: um deles diz que não há como a cultura ser avaliada precisamente, de maneira que qualquer tentativa de avaliação não refletirá a realidade; o outro ponto de vista presume que qualquer coisa pode ser mensurada por meio da exatidão matemática.
É preciso um esforço para evitar escolher somente um dos pontos de vista apresentados, encontrando um ponto de equilíbrio que propicie aos projetos uma avaliação de maior credibilidade. Quanto maior a complexidade da situação, maior a necessidade de proporcionar evidências sobre o processo de avaliação.
Definição de avaliação
Pode-se definir avaliação por meio de duas perspectivas:
O uso desse método de avaliação está frequentemente associado a uma revisão do trabalho já realizado até aquela data, isto é, uma avaliação que basicamente destaca as conquistas e as falhas do projeto até então. Ao utilizar como referência indicadores prefixados, analisa-se até que ponto os objetivos planejados estão sendo ou já foram alcançados. Ou seja, questionamos se o projeto alcançou ou não os resultados desejados.
O uso desse método de avaliação objetiva efetuar uma análise e levantamento dos pontos necessários que contribuirão para a melhoria da continuidade de um projeto já iniciado, de próximas edições dele ou até de futuras versões. A indagação a ser realizada, tendo por base essa perspectiva de avaliação, é sobre quais alterações devem ser feitas durante o processo de implantação para que o projeto obtenha melhores resultados.
Tecnicamente, ambas as concepções de avaliação utilizam os mesmos instrumentos e metodologia, mas o objetivo final pode variar, dependendo da ótica escolhida.
Em muitos roteiros de planejamento, a avaliação é realizada ao término do projeto como uma forma de encerramento, permitindo que se olhe para trás, a fim de avaliar se os resultados alcançados se aproximaram ou se igualaram às metas traçadas no início da concepção do projeto.
Entretanto, é preferível que a avaliação seja inserida no roteiro de planejamento, indicando como cada uma das fases do projeto podem e devem ser avaliadas. Assim, propostas de melhorias poderiam ser idealizadas com maior prontidão.
Responsáveis pela avaliação
Segundo Boulmetis e Dutwin (2014), a avaliação de um projeto pode ser realizada tanto por equipes diretamente ligadas ao projeto, ou seja, internamente, quanto por profissionais externos, sem qualquer envolvimento com o projeto, com a função de avaliar o andamento do processo com uma “visão de fora”. Veja a seguir os dois tipos de avaliação!
É desenvolvida pela equipe “de dentro” do projeto, é efetuada pelas pessoas responsáveis pelo planejamento e gestão do projeto. A vantagem dessa avaliação é que os envolvidos possuem grande conhecimento sobre tudo o que ocorreu ou vem ocorrendo durante todo o processo. Uma desvantagem é que a realização da avaliação pode não ser tão clara e objetiva, pelo fato de a equipe estar profundamente envolvida com o projeto.
É desenvolvida “por fora” do projeto e, por isso, realizada por agentes não envolvidos diretamente. Caso essa avaliação seja realizada por indivíduos que não tenham qualquer relação hierárquica com a equipe do projeto, pode ser concebida mais como um suporte ou consultoria. Se feita por agentes hierarquicamente superiores em relação ao time ligado ao projeto, pode parecer um controle ou supervisão do projeto. Esse tipo de análise tem como vantagem ser mais objetiva que a avaliação interna, dado que a avaliação advém do ponto de vista de pessoas que investiram menos no projeto e nos efeitos dos seus possíveis resultados. Uma desvantagem é que o avaliador não possui tanto conhecimento sobre o projeto quanto os participantes da equipe que o idealizaram.
Razões fundamentais para avaliar um projeto
Como já visto anteriormente, a principal razão pela qual é necessária a avaliação de um projeto é a contribuição dos indicadores gerados durante essa avaliação, e que auxiliam na implementação de melhorias, tanto em possíveis progressos no presente quanto para o planejamento de futuras edições do projeto. Durante a avaliação, diversos fatores podem ser revistos e remodelados, por exemplo:
Por meio da análise e das conclusões obtidas a partir da avaliação do projeto, também é possível justificar a necessidade ou a adequação de um novo impulsionamento das metas, a fim de amparar a continuidade e complementação das propostas já existentes.
Recomendação
Os resultados de uma avaliação podem auxiliar na decisão de cancelamento do projeto, caso seja identificado que não existem razões para a sua continuidade ou os objetivos traçados já tenham sido alcançados.
A avaliação também é válida como um apoio às decisões de natureza interna das instituições, como reestruturação do time, reconhecimento profissional, promoção, prêmio, aumento dos recursos, da mesma forma que contribui para decisões relacionadas a punições, demissões e corte de recursos.
Além dessas justificativas para que avaliações sejam implementadas, os projetos podem ser avaliados simplesmente como uma atividade rotineira, mediante instrumentos administrativos, não havendo a necessidade de qualquer tipo de repercussão dos resultados obtidos.
Benefícios gerados pela avaliação
A avaliação do projeto durante seu processo de implantação apresenta alguns benefícios, tais como:
Redirecionar o propósito e a execução do projeto, otimizando os recursos em uso.
Aperfeiçoar futuras edições do projeto.
Estimular novas propostas para novos projetos ou intervenções.
Suscitar inovações para que os projetos não se tornem repetitivos.
Realizar comparações entre projetos ou intervenções.
Ter capacidade de demonstrar os pontos fortes do projeto a terceiros.
Apresentar um método de planejamento e de avaliação para novas pessoas da equipe.
Valorizar o trabalho da equipe responsável pelo projeto e exibir os resultados obtidos, sendo eles positivos ou negativos.
Promover o debate entre os membros da equipe sobre temas que vão além dos elementos em ação.
Mostrar ao público quais são os reais resultados esperados pela equipe e publicar esses resultados.
Retratar uma imagem de seriedade e profissionalismo para terceiros.
Analisar o projeto e seus relatórios no futuro, para identificar as causas de seu sucesso ou fracasso.
Métodos de avaliação
Geralmente, temos como referência quatro tipos de métodos de avaliação de projetos. Observe a seguir:
Nesse método, a avaliação é feita a partir da comparação entre uma situação em que nenhuma intervenção tenha sido realizada e diferentes situações nas quais medidas e ações foram efetivadas. Em outras palavras, compara-se um grupo de controle a cenários nos quais os resultados podem ter sido alterados por alguma ação.
É o método mais apropriado para a realização de experimentos científicos, nos quais é possível controlar todas as variáveis envolvidas no teste ou isolar uma única variável e analisar seus possíveis resultados. Em projetos culturais, esse método tende a não ter utilidade no curto prazo. Porém, a longo prazo, pode auxiliar na execução de uma determinada tarefa que difere de qualquer outro modelo implementado previamente, caso característico de um projeto piloto. Episódios como esse demandam que a equipe esteja ciente de todos os fatores contextuais que podem afetar o modelo.
Nesse método, é realizada uma comparação entre o antes e o depois de uma intervenção. É o método mais comumente aplicado às políticas culturais e à sua respectiva gestão, dado que a análise do contexto é efetuada utilizando o mesmo método duas vezes. A avaliação do “antes” é feita para auxiliar na organização dos objetivos do projeto e a avaliação do “depois” é feita para checar se os objetivos foram alcançados. Esse método permite o monitoramento da evolução do projeto ao longo do tempo.
Nesse método, efetiva-se a comparação entre situações em que foram empregadas intervenções similares. É aplicado para comparar projetos distintos ou diferentes partes de um mesmo projeto. O objetivo é analisar e comparar elementos a partir de uma dimensão mais bem estruturada, mas ciente de que as situações são diferentes umas das outras e possuem suas respectivas particularidades. Esse é um sistema em que se considera que tudo seja relativo.
Nesse método, a avaliação é baseada na opinião de especialistas da área a ser analisada, sem que seja necessário realizar a comparação de dados específicos. Entre os métodos, é o menos exato, embora frequentemente seja o mais rápido, mais fácil e menos custoso de ser implementado. Pode ser um ótimo complemento aos outros, mas não pode ser o único à disposição do avaliador. Ele auxilia ao proporcionar uma impressão inicial e momentânea sobre como o projeto está caminhando ou sobre os resultados encontrados, e se torna praticamente indispensável para a implementação de avaliações altamente qualitativas ou subjetivas.
Entretanto, para o gerenciamento de projetos culturais, essencialmente se faz mais uso dos dois primeiros métodos, embora os demais possam ser de grande valia ao auxiliar em determinadas fases da avaliação em que se pode deparar com situações muito específicas. Nenhum desses métodos é exclusivo e, usualmente, o emprego de uma combinação entre diferentes métodos é benéfico para a avaliação, já que um pode enriquecer e complementar o outro.
Etapas da avaliação
A avaliação do processo, dos resultados e dos demais aspectos de um projeto é composta por uma ordenação de fases que devem ser seguidas até a sua conclusão. Veja a seguir:
É nessa fase que decisões quanto à adequação e ao tipo de avaliação são tomadas como, por exemplo, a metodologia que será empregada, os instrumentos que serão utilizados (indicadores e outros), o cronograma e os indivíduos que estarão envolvidos no projeto.
É a fase que envolve a coleta, a ordenação e a sistematização das informações sobre os aspectos planejados e sobre possíveis eventos não previstos. É realizada com o uso de instrumentos e técnicas definidas na etapa anterior.
É a fase em que os responsáveis pela avaliação analisam e comparam os resultados obtidos durante a fase descritiva e os contrastam com os valores expressos durante a etapa de design do processo. O objetivo é identificar em qual ponto os resultados esperados foram alcançados e focar outros aspectos possivelmente avaliáveis.
É a fase do processo caracterizada por ser o momento em que, após se ter encontrado e avaliado os resultados obtidos pelo projeto, o objetivo passa a ser estudar as causas desses resultados e qualquer mudança observada, podendo ter sido falhas ou êxitos. É nessa fase que os avaliadores se questionam o porquê e como esses resultados foram encontrados.
É a fase em que são divulgados os resultados, o que pode ser realizado a partir de um relatório interno ou um artigo publicado. Caso necessário, geralmente é aconselhável reportar os resultados para a equipe, para os superiores, para outros agentes ou para o público.
É a fase na qual os resultados da avaliação funcionam como um propósito a ser seguido e auxiliam na introdução de mudanças que alterarão a direção do projeto ou de seus mecanismos de operação, sempre que necessário ou quando os projetos ainda estão em andamento ou em algum tipo de edição sucessiva.
Neste vídeo, falaremos sobre como avaliar um projeto da fase de implementação até o término.
Indicadores como instrumentos de avaliação
Para realizar uma avaliação, é necessária a utilização de instrumentos chamados de indicadores. Os indicadores auxiliam quem realiza a avaliação a mensurar, a compreender a real situação do projeto, comparando os resultados obtidos em relação aos esperados, e entender como foi ou está sendo realizada a gestão das fases determinadas para o projeto. O uso de indicadores para a avaliação pode ocorrer tanto durante o processo de implementação do projeto quanto após o seu término.
Não existe uma lista universal e definitiva de indicadores válidos para avaliar todos os projetos. Se todo projeto possui seus próprios objetivos, consequentemente cada um deve ter os seus próprios indicadores de avaliação. Cada equipe responsável pela avaliação deve estabelecer quais são os mais adequados para medir o êxito de seus projetos. Embora alguns indicadores de resultados e de processos possam ser utilizados em diversos projetos distintos, na maioria dos casos, a equipe de avaliação deve criar novos indicadores que fornecerão informações precisas sobre seu projeto em particular.
Um indicador de avaliação gera informações sobre a situação ou sobre o resultado do projeto. Porém, se os resultados encontrados não forem contrastados com um valor de referência, o indicador serve apenas como um simples dado, sem qualquer propósito.
Exemplo
Comparar os indicadores com valores já conhecidos como de anos anteriores, ou de outro projeto, fornecerá informações sobre o progresso do projeto. Logo, a equipe deve analisar quais são as razões por trás das mudanças observadas.
Os resultados alcançados a partir de um conjunto de indicadores vão auxiliar a tomada de decisões, ao passo que o uso de apenas um indicador raramente proporcionaria uma avaliação adequada do projeto. Isso ocorre porque a associação de múltiplos indicadores possibilita mensurar o alcance de todos os objetivos, o que pode confirmar em que medida o projeto e suas respectivas metas obtiveram sucesso ou não.
Vejamos como exemplo a comercialização de livros. Por meio de um diagnóstico, constatou-se que, no último ano, foram vendidos em média 450 livros por exposição. A meta atual é aumentar a média de livros vendidos para 500 por divulgação. Nesse caso, o indicador a ser desenvolvido e analisado será o número médio de livros vendidos em cada exposição.
Os resultados obtidos vão indicar o quão próximo as vendas estão de atingir as 500 cópias desejadas. Pode ser sugerida uma margem para mais ou para menos no montante de 10%, de maneira que, caso sejam vendidas entre 450 e 550 cópias, pode-se dizer que os objetivos foram alcançados. Caso o número esteja abaixo do planejado, isso indicará uma falha, ou seja, o objetivo não foi alcançado. Já na hipótese de as vendas ultrapassarem consideravelmente a margem, isso pode ser visto como um grande sucesso do projeto.
Por conta disso, porém, um questionamento deve ser feito: como esse resultado maior que o esperado não foi previsto?
Cada projeto possui suas particularidades e objetivos distintos e, consequentemente, podem requerer indicadores de naturezas diferentes. Os indicadores podem ser:
Quantitativos
Estão relacionados a mensurações, registros etc. Fornecem dados precisos que podem ser usados para classificar, tabular, comparar, entre outras funcionalidades. Eles são únicos, indiscutíveis e compartilhados com todos.
Qualitativos
Estão relacionados a observações, opiniões de especialistas e do público, por exemplo. Apresentam perspectivas pessoais que podem, algumas vezes, ser contraditórias entre si, mas que ajudam o avaliador a enxergar aspectos que nem sempre são observados apenas analisando os dados.
Na maioria dos projetos, a combinação do uso de indicadores, tanto qualitativos quanto quantitativos, contribui para a obtenção de resultados mais sólidos, para que se tenha uma ideia mais completa sobre o projeto.
Dependendo do conteúdo da avaliação, existem muitos indicadores que podem ser aplicados em diferentes áreas, determinadas durante a organização do projeto. Vejamos, a seguir, alguns exemplos de indicadores que podem ser adotados, de acordo com a área de interesse.
Área de contexto
Nessa área, mensuramos o cenário no qual o projeto está sendo implantado e como a sua configuração está evoluindo. Nesse caso, podemos considerar indicadores que auxiliarão nas escolhas quanto à localidade, ao setor, às políticas, entre outros nos quais o projeto estará envolvido. Os indicadores possibilitam a elaboração de um diagnóstico sobre o caminho a ser percorrido pelo projeto.
Por exemplo, se avaliarmos o número de bibliotecas existentes em uma cidade, com o objetivo de encorajar a leitura, a avaliação tem maiores chances de evoluir se determinados pontos forem corretamente levantados e respondidos. Do mesmo modo, o avaliador deve tomar consciência de tais pontos, como:
a) Apresentar os objetivos, que devem ser adequadamente justificados, debatidos e documentados.
b) Analisar cuidadosamente a localidade em que o projeto será implantado.
c) Entender detalhadamente o setor cultural/social no qual o projeto está inserido.
d) Identificar políticas já existentes que podem proporcionar cobertura ao projeto.
e) Conhecer as referências que serão utilizadas como inspiração ou suporte para o projeto.
f) Analisar os pontos fortes e fracos da equipe envolvida no processo.
g) Conhecer profundamente o público-alvo do projeto, caso seja considerado com parte do contexto.
Área de resultados ou objetivos
Nessa área, não se pode generalizar uma definição, já que esta dependerá dos objetivos de cada projeto. Esses indicadores vão medir o que deve ser estendido dentro do projeto ou se é pertinente ou não essa extensão, tendo como parâmetro os objetivos propostos ou os resultados já obtidos. Por exemplo, o número de cartões de identificação de novos membros registrados em uma biblioteca local durante o período em que o projeto de encorajamento à leitura está em andamento (assumindo que o objetivo do projeto seja o aumento no número de membros associados à biblioteca).
Área de definição
Nessa área, medimos até que ponto os elementos do projeto e além do projeto foram bem definidos e se cumpriram completamente o seu propósito em contribuir para o alcance das metas, por exemplo, o público-alvo, o conteúdo, as estratégias, as ações e a gestão do modelo.
Podemos usar como situação prática a estratégia de envolver associações de bairros no projeto para ajudar com o objetivo de encorajamento à leitura. Sem essas associações, o objetivo poderia ser praticamente impossível de ser alcançado. Os indicadores relacionados à definição que são usualmente utilizados dependendo do elemento a ser focado durante o projeto são:
- O grupo escolhido foi o mais apropriado para atingir os objetivos? Sabe-se o bastante sobre isso?
- É possível agir de forma homogênea de acordo com o grupo todo ou há aspectos muito heterogêneos envolvidos (idade, nível de interesse etc.)?
- Como o público-alvo responde às propostas?
- Existe concordância entre o público-alvo e os objetivos?
- As interações entre grupos funcionam bem?
- O projeto funcionaria para grupos diferentes?
- Qual outro público-alvo pode ser testado em um próximo projeto?
- O público-alvo é o mais apropriado para o tipo de organização envolvida no projeto?
- O público-alvo é o mais apropriado de acordo com os recursos disponíveis?
- O conteúdo escolhido é o mais adequado para alcançar os objetivos do projeto? Caso não seja, quais outros conteúdos poderiam ser estratégicos para auxiliar as metas?
- O conteúdo é apropriado para o público-alvo escolhido?
- O conteúdo combina com a identidade e com o tipo de organização responsável pelo projeto?
- As ações são as mais apropriadas para que os objetivos sejam alcançados? Se a resposta for não, quais seriam as outras ações ou tipos de ações adequados para atingir as metas?
- As ações são apropriadas para o público-alvo?
- As ações combinam com a identidade da organização?
- As ações se encaixam com os recursos?
- As ações empregadas estão de acordo com os critérios planejados?
- Alguma característica das ações precisa de mudança? Se sim, qual foi a reação correta?
- A estratégia escolhida é a mais oportuna para alcançar os objetivos do projeto? Caso não seja, quais outras estratégias poderiam ajudar no alcance das metas?
- A estratégia é apropriada para o público-alvo escolhido?
- A estratégia combina com a identidade e com o tipo de organização por trás do projeto?
- As estratégias se encaixam com os recursos?
Área de processo
Dentro dessa área, faremos a mensuração racional dos recursos que foram utilizados para que se alcançasse os objetivos. Por exemplo, a correta infraestrutura do funcionamento dos recursos empregados no projeto. Essa é uma suposição de que se os recursos cumpriram com suas funções desejadas, então o projeto progredirá com maior eficiência e, consequentemente, os objetivos serão atingidos com maior facilidade. Alguns indicadores são mais comumente usados para a avaliação da área de processo, veja:
- O trabalho foi realizado dentro do prazo? Se não foram, qual o motivo?
- As tarefas foram bem definidas?
- As tarefas foram bem cronometradas e sequenciadas?
- As tarefas foram bem atribuídas para pessoas e equipes?
- A atribuição de tarefas poderia ter ocorrido de outra maneira?
- Tarefas imprevistas tiveram que ser solucionadas? Por quê? Elas foram resolvidas por completo?
- Os prazos foram bem monitorados?
- A equipe tinha conhecimento de como lidar com possíveis desvios no cronograma?
- Quais seriam as melhorias propostas para futuras ocasiões?
- A equipe de trabalho foi bem definida (número de pessoas, treinamentos, perfis, deveres etc.)?
- A coordenação do trabalho foi bem realizada? O que de melhor e de pior foi identificado durante a coordenação?
- A obtenção, a circulação de informações e a tomada de decisões foram corretas?
- As relações e coordenações com outras instituições e equipes foram boas?
- Os conflitos e desentendimentos foram resolvidos?
- Isso poderia ter sido resolvido de outra maneira?
- Quais as melhorias propostas para futuras ocasiões?
- A comunicação foi implementada de forma a contribuir para o sucesso das atividades? Os objetivos foram atingidos como consequência?
- O público-alvo foi o mais adequado?
- Os planos eram coerentes com os princípios da instituição?
- As mensagens, canais, instrumentos, quantidades e locais funcionaram bem?
- O patrocínio (caso haja) deu certo?
- Algum outro tipo de comunicação poderia ter sido utilizado para obtenção de melhores resultados?
- Quais as melhorias propostas para futuras ocasiões?
- Os trabalhos foram realizados em prol das atividades? O que ocorreu de melhor e de pior?
- Os incidentes foram resolvidos corretamente?
- Quais podem ser as melhorias para futuras ocasiões?
- O orçamento seguiu as com as receitas e despesas planejadas? Por quê? A equipe está bem preparada para agir a desvios no orçamento?
- O plano de financiamento teve êxito?
- Quais podem ser as melhorias para futuras ocasiões?
Área de impacto
Nessa área, mensuramos os resultados de longo prazo. Essa avaliação não deve ser realizada pela própria equipe, mas sim por um supervisor com uma perspectiva mais ampla sobre tudo que está envolvido no projeto.
Um exemplo de medição é do aumento gradual e anual dos níveis de leitura na cidade. Essa análise é realizada por meio de pesquisas sobre os hábitos culturais e de dados sobre o uso de bibliotecas, resultados das vendas de livrarias etc.
Os indicadores devem apresentar determinadas características para que sejam válidos para auxiliar os avaliadores. Na maioria dos casos, podemos lançar mão do uso de indicadores comumente utilizados em diversos tipos de avaliações, entretanto, para alguns casos em particular, os indicadores devem ser específicos para cada projeto.
Esses indicadores, sejam de utilização usual ou específicos a um projeto, devem apresentar os seguintes aspectos:
Os indicadores dependem dos objetivos traçados durante o planejamento, podendo ter uma relação direta, isto é, cada objetivo possui um indicador de avaliação correspondente, ou uma relação com o todo, o que significa que um grupo de objetivos possuem um conjunto de indicadores correspondentes.
Os indicadores devem ser regularmente atualizados dadas às mudanças no contexto, objetivos, equipes, instrumentos e possibilidades de avaliação.
Os indicadores devem auxiliar na avaliação e não o contrário, eles têm o intuito de serem objetivos e honestos, isto é, não devem ser aplicados indicadores baseados nos resultados observados, pois isso dará uma falsa impressão do sucesso ao término do projeto, e levará a crer que o projeto obteve êxito durante a sua realização.
Os pontos a serem mensurados precisam ser compartilhados por toda a equipe envolvida no projeto, assim como a forma que o processo deve ser feito, sem interpretações subsequentes, que não contribuem com nada além de justificar as razões pelas quais os objetivos não foram alcançados ou demonstrar qual aspecto da produção foi fraco. Para isso, devemos questionar se a equipe tem plena certeza acerca das mensurações dos indicadores aplicados ao projeto e se estão aptas para identificar se os objetivos realmente foram atingidos.
Os indicadores devem ser checados quanto à aplicabilidade, devendo ser úteis para a equipe. Determinados indicadores até podem ser interessantes, mas por serem difíceis de ser mensurados não são plenamente úteis.
Os indicadores, algumas vezes, mesmo parecendo muito simples, podem ser extremamente caros para implementação por completo, dados os recursos disponíveis para a equipe, o que torna impossível de produzir qualquer resultado real.
Os indicadores devem apresentar os mesmos resultados quando mensurados mais de uma vez para um mesmo contexto ou projeto.
Os indicadores devem ser capazes de identificar qualquer mudança, mínima que seja. Quando estamos falando sobre projetos culturais, frequentemente são realizados investimentos para o desenvolvimento de pequenos hábitos nas pessoas de toda uma população.
Os indicadores devem ser comparáveis ao longo do tempo ao avaliar um mesmo projeto para que possíveis evoluções sejam identificadas, especialmente quando o projeto possui um horizonte de longo prazo.
Os indicadores, dentro do possível, devem demonstrar características de natureza universal, o que permite que um projeto seja comparado com outros.
Os indicadores devem ser aprovados por agentes externos ao projeto que atestarão a sua autenticidade a qualquer momento.
O sistema SMART
Existe uma versão simplificada de definição de critérios que podem ser aplicados para a determinação dos objetivos e para a elaboração e escolha dos indicadores de avaliação chamada de sistema SMART. Mas por que SMART? Trata-se da tradução do inglês, que diz que os objetivos devem ser:
Específicos: claros, concretos e detalhados.
Mensuráveis, quantificáveis.
Alcançáveis, com consenso.
Realísticos: possíveis e atingíveis.
Limitados ao tempo.
Neste vídeo, explicaremos como utilizar os indicadores na avaliação de um projeto.
O modelo lógico
O primeiro passo para iniciar a avaliação e mensuração de um projeto desportivo é estruturar um modelo lógico que contenha todas as informações disponíveis quanto aos insumos, as atividades, ao produto final e aos resultados esperados/encontrados.
O modelo lógico é muito útil durante o processo de planejamento e de avaliação, pois é uma ferramenta com a qual é possível ilustrar visualmente e analisar as relações entre os insumos, atividades, produção e resultados. Além disso, oferece ainda o suporte para deixar mais claros todos os propósitos e a racionalidade do projeto.
Por meio da análise do modelo lógico, fica mais fácil selecionar as atividades e intervenções mais relevantes para alcançar o público-alvo, bem como definir os melhores indicadores de avaliação de resultados.
É aconselhável que se inicie a elaboração do modelo lógico com a definição sobre qual o resultado que se está objetivando alcançar. Dessa forma, preenche-se o esquema de trás para frente, identificando os resultados desejáveis e os produtos, atividades e insumos necessários e mais relevantes para que se possa atingir esses resultados.
Elementos constituintes do modelo lógico
A seguir, podemos ver, em ordem de verificação, os quatro elementos utilizados no modelo lógico:
Constituído por recursos financeiros, recursos humanos, instalações e equipamentos, conhecimentos e especialização.
Constituído por workshops, sessões de prática de exercícios/esportes, marketing e divulgação, cursos de capacitação e intervenções.
Constituído por participantes e produtividade, sessões entregues e número de pessoas treinadas.
Constituído pelo aumento nos níveis de atividade física, melhora na oferta de atividades esportivas, mudança nas atitudes e melhoria na saúde das pessoas.
Hierarquia dos objetivos
Hierarquizar os objetivos auxilia a definição dos indicadores de resultados mais relevantes para avaliação do projeto e que poderão ser usados para mensurar o seu respectivo impacto. Por meio desses indicadores poderemos avaliar se o projeto alcançou os seus objetivos. Essa hierarquia dos objetivos obedece aos seguintes passos:
Definir os objetivos dos resultados primários, nos quais devemos descrever os objetivos primários do projeto e os de longo prazo. Então, respondermos à pergunta: o que demostraria o sucesso na obtenção desses resultados?
Determinar os objetivos dos resultados secundários. Nesse momento, dividimos os objetivos primários em diferentes partes, e então descrevemos o que pode ser alterado no projeto para que os objetivos primários sejam entregues. Novamente, faz-se o questionamento: o que demostraria o sucesso na obtenção desses resultados?
Estabelecer os indicadores de resultados. Para definir os indicadores, os objetivos secundários do projeto são divididos em uma série de indicadores, que possuem um horizonte de curto prazo e devem ser quantificáveis. As intervenções quantificadas devem demonstrar o impacto causado pelos resultados atingidos com os objetivos secundários e primários do projeto.
Espera-se atingir alguns resultados mediante projetos desportivos relacionados, por exemplo, a elevar o bem-estar físico e o bem-estar mental, ao desenvolvimento individual, social e comunitário, e ao desenvolvimento econômico causado pelo projeto. A partir de indicadores específicos, mensuramos os impactos dos resultados atingidos por cada um dos objetivos e observamos se a meta definida foi alcançada.
Segundo Levermore (2011), para implementar o processo de avaliação dos resultados de projetos desportivos e os respectivos impactos, devemos coletar dados e informações durante o andamento e após a finalização do projeto. Sabe-se que, assim como os indicadores, esses dados podem ser de natureza tanto quantitativa quanto qualitativa. Podemos coletá-los por meio de diversos métodos, conforme veremos a seguir.
Registros de participação e atividades
São registros de participantes, das atividades praticadas e da produtividade, incluindo a quantidade e a natureza das atividades, bem como a demografia dos participantes (idade, sexo etc.).
Os registros de participação e atividades formam a base para avaliação do processo, ajudando a garantir que um projeto seja planejado. Os dados coletados permitem que quaisquer problemas sejam identificados, levantados e abordados em um estágio inicial.
Como implementar?
Crie formulários e sessões de registro, além de quaisquer outras ferramentas que precisar para registrar informações quanto às atividades e aos participantes no início do projeto. É importante coletar o máximo de informações possível, incluindo: detalhes da inscrição do participante, número de atividades realizadas e horas despendidas, participação do indivíduo em cada sessão (produtividade), demografia dos participantes.
Pesquisas e questionários
Essas estratégias permitem que coletemos os dados de forma relativamente rápida e fácil, realizando uma série de perguntas para um grupo de pessoas, como participantes do projeto. Pesquisas podem ser usadas para identificar comportamentos, opiniões e atitudes ao longo do tempo, o que pode ser realmente útil para avaliar o impacto de um fluxo de financiamento ou projeto. Pesquisas podem ser realizadas on-line, por correio, pessoalmente ou por telefone.
Como elaborar os questionários?
Seja claro sobre o que se está tentando medir e os dados que precisa coletar. Desenvolva um conjunto de perguntas simples, concisas e fáceis de entender, e que fornecerão as informações necessárias. Caso o objetivo das pesquisas seja a avaliação de impacto, pode ser necessário realizar o mesmo levantamento no início e novamente ao final do projeto, para que se possa identificar quaisquer mudanças que ocorreram.
Entrevistas
Envolvem realizar uma série de perguntas a uma pessoa (ou a um pequeno grupo) para obter informações detalhadas sobre um tópico escolhido. Entrevistas podem ser realizadas pessoalmente, por telefone ou on-line. Essa prática permite, a partir das respostas dos entrevistados, que dados mais ricos sejam coletados sobre atitudes, comportamentos e experiências.
Como realizar entrevistas?
Desenvolva um guia de perguntas flexível, de forma que todos os entrevistados sejam questionados, mas que a discussão progrida naturalmente. Faça perguntas abertas, que incentivem os entrevistados a discutir um tópico em detalhes e explorar seus pensamentos e sentimentos. Crie um ambiente confortável para que os entrevistados estejam mais dispostos a se abrir e serem honestos.
Reuniões e conversas
Trata-se de um método informal de obtenção de informações acerca de como um projeto está progredindo. Isso é, muitas vezes, negligenciado, mas reuniões regulares e conversas com a equipe e outras partes interessadas podem levantar questões, resultados inesperados e aprendizados que podem ser registrados e alimentar a avaliação do processo. Falar com os participantes também pode fornecer uma visão de como a entrega do projeto poderia ser melhorado.
Como fazer ?
Inicialmente, identifique quem são as pessoas mais importantes para conversar, agende reuniões ou reserve tempo para falar com elas. Especifique tópicos importantes e estruture reuniões ou conversas em torno dessas áreas de discussão. Aproveite para documentar o que é discutido para que as conclusões das reuniões e conversas possam alimentar a avaliação do processo.
Grupo focal
São discussões em grupo, envolvendo 6 a 12 pessoas, que compartilham atitudes semelhantes ou características comportamentais. Executado por um facilitador, permite que as discussões se desenvolvam, com todos sendo encorajados a dar suas opiniões. Fornece dados ricos e qualitativos sobre as atitudes, comportamentos de um grupo de pessoas e sobre ideias acerca de um determinado tópico.
Como montar um grupo focal?
Identifique um facilitador e desenvolva um guia de discussão para fornecer uma estrutura. Recrute participantes divididos em grupos entre 6 e 12 pessoas, com base em suas características atitudinais ou comportamentais. Faça com que os grupos se sintam o mais confortáveis e naturais possível. Grave a conversa do grupo ou tenha alguém tomando notas (de preferência não o facilitador) sobre as discussões que estão ocorrendo.
Diários
É uma forma de coletar dados qualitativos, pedindo aos indivíduos que mantenham um registro de suas experiências e sentimentos ao longo de um período de tempo. Os diários dos participantes podem ser estruturados ou não estruturados, dependendo dos tipos de dados necessários. A principal vantagem do uso de diários é que as experiências são registradas à medida que acontecem, então há menos dependência de relembrar os fatos.
Como criar os diários?
Encontre ou recrute participantes que se sintam confortáveis em manter um diário sobre as atividades ou eventos que estão participando. Desenvolva uma estrutura de diário, podendo usar perguntas específicas ou um conjunto de tópicos que atendam a uma diretriz geral que se deseja que os participantes escrevam sobre. Reserve tempo para analisar os dados.
Dados e estatísticas oficiais
Uma variedade de organizações coleta e publica dados e estatísticas que podem ser utilizados na mensuração e avaliação. Organizações públicas produzem dados sobre uma série de tópicos, incluindo atividade física, saúde e bem-estar. Muitas estatísticas oficiais possuem dados regionais ou de autoridade local, por isso fornecem informações sobre tendências estatísticas locais.
Como escolher os dados?
Depois de identificar os objetivos do seu projeto, realize algumas pesquisas para ver se algumas estatísticas oficiais podem ser usadas como medidas relevantes para os resultados que você está tentando alcançar. Use a versão de dados mais recente como uma linha de base. Futuras versões podem ser então monitoradas para que se avalie as tendências dentro da localidade onde o projeto está operando.
Análise financeira e econômica
Trata-se de um método de coleta de dados usados para medir e avaliar o sucesso de resultados financeiros ou econômicos. Fornece dados que permitem o uso de análises financeiras comumente utilizadas como uma análise custo-benefício. Muitas vezes envolve uma variedade de outros métodos de coleta de dados, como pesquisas e grupos focais, em que devemos coletar dados que podem ser convertidos ou expressos em termos monetários.
Como implementar essa análise?
Defina os resultados financeiros pretendidos no início do projeto. Seja claro sobre como o sucesso será medido e se um modelo financeiro (por exemplo, análise custo-benefício) será usado para essa mensuração. Identifique os dados necessários para calcular o valor financeiro do projeto e desenvolva as ferramentas necessárias para coletar esses dados.
Neste vídeo, explicaremos como desenvolver um modelo lógico de planejamento.
Vimos durante o estudo a importância da avaliação de projetos, de modo a obter informações claras sobre se o projeto foi bem planejado, se os elementos planejados estão sendo bem executados e, principalmente, se as metas traçadas foram alcançadas.
Os indicadores de avaliação são ferramentas que auxiliam os avaliadores envolvidos no projeto a terem a clareza de que o projeto foi bem encaminhado ou se é necessária alguma alteração, para que então os resultados desejados sejam alcançados.
Ouça neste podcast uma revisão dos principais assuntos estudados aqui.