Uma Experiência de Desenvolvimento Metodológico para Avaliação de Programas: O Modelo Lógico do Programa Segundo Tempo

Em 2005, a Comissao de Monitoramento e Avaliacao, orgao colegiado de composicao interministerial e coordenado pela Secretaria de Planejamento e Investimentos Estrategicos do Ministerio do Planejamento Orcamento e Gestao (SPI/MP), demandou aos integrantes de sua Câmara Tecnica o desenvolvimento de uma proposta metodologica para avaliacao de programas do Plano Plurianual (PPA). Na ocasiao, foi enfatizada a necessidade de uma proposta de avaliacao menos complexa e de menor custo, a qual deveria preceder a contratacao de avaliacoes de maior profundidade. A metodologia, a ser aplicada a qualquer tipo de programa governamental, deveria estar focada no aperfeicoamento de aspectos relacionados ao desenho e ao gerenciamento de programas, mas com potencial para, ao mesmo tempo, sistematizar a demanda por avaliacoes de resultados das acoes do governo. Para o desenvolvimento da proposta, tomou-se como fundamento a metodologia de Exame de Avaliabilidade, de Joseph S. Wholey. Esta foi inicialmente concebida enquanto uma pre-avaliacao para se verificar se um programa esta desenhado para ser gerenciado por resultados, e identificar quais as mudancas necessarias para que isto ocorra. Uma etapa crucial da metodologia e a construcao do modelo logico de resultados, que cumpre o papel de explicitar a teoria do programa e aferir sua qualidade, verificando se esta bem desenhado e se apresenta um plano plausivel de alcance de resultados. Na experiencia de desenvolvimento metodologico aqui relatada foram acrescentados novos aportes a teoria do modelo logico, tal como concebida por Wholey e outros autores norte-americanos. Esta proposta de construcao de modelo logico desenvolvida pelo Ipea foi incorporada pelo MP, inicialmente em carater experimental, em 2007, em 20 programas finalisticos do PPA. Em 2008, sua aplicacao esta em curso em mais 50 programas. The Monitoring and Evaluation Committee demanded to the participants of the Technical Chamber the development of a methodological proposal for the program evaluation of the Plurianual Plan (PPA). At that occasion, it was stressed the necessity of an evaluation proposal less complex and with low cost. Such evaluation methodology, to be applied to every kind of governmental program, must focus the improvement of aspects related to program design and management, but with potential to systematize the demand for results evaluation of government actions. For the methodological development, the main foundation adopted was the methodology of Evaluability Assessment of Joseph S. Wholey, which was initially formulated as a kind of pre-evaluation to verify if a program is designed to be managed for results and to identify what changes are needed to achieve results. A crucial stage of this methodology is the elaboration of logic model, which has the function of making explicit the program theory and to assess its quality, verifying if the program is well designed and presents a plausible plan of results achievement. The actual experience of methodological development, presented in this text, incorporated new aspects to the basic theory of logic model. A result to be reported is the adoption, by the Ministry of Planning, of the Ipea proposal for building logic model. This instrument was experimentally applied, in 2007, to 20 programs and is currently being applied to 50 federal programs.