Pages Menu
TwitterFacebook
Categories Menu

Posted by on mar 21, 2013 in Estatística, Metodologia | 0 comments

Will the M make the &E redundant in the age of big data?

Fonte: evaluation.nu .

Posted on March 14, 2013 by admin

Monitoring and evaluation, or M&E, are two approaches to assess public interventions. Evaluation is commonly understood to be retrospective, whereas monitoring is on-going during the implementation of the intervention.

In the dawning time of big data following the invention of the internet, unimaginable large quantities of data are produced every second. Through tweets, Facebook updates, google searches, credit card transactions, electronic communications etc. private companies, governments and citizens can follow real time developments in flue outbreaks, consumer spending, public opinion etc.

mostblueskymap

There is no doubt that big data are here to stay , but where does that leave M&E and the evaluator profession, if one can speak of one such?

Big changes will of course not happen over night. But they are likely to happen much faster and change governance patterns and the need for information dramatically. Think back on when you got your first smart phone. It is probably not that many years ago and the technology is quickly becoming available in all corners of the world.

Slowly, businesses and governments will have more and more real time accurate data on key indicators and the need for retrospective evaluation will diminish as a consequence. Because, why take the trouble of evaluating, when the results have already been provided by the monitoring of e.g. satisfaction of target groups, the reading skills of pupils, the health indicators of citizens etc.?

So, what will be of us – the evaluator? First, large quantitative data or quantifiable qualitative data need to be mined and structured. It is likely that this will be a job for the IT-guy and statisticians. The old fashioned qualitative data such as the interview or focus group are likely to slowly be redundant as target groups are simply asked to fill in online surveys on their devices, allow cookies and apps to monitor their behavior or interact on social media. The old fashioned evaluator might be the guy called upon to set it all up and figure out the indicators in the first few years ahead. But down the line, standard indicators are applied by the programmer in algorithms most of the time. In science, interviews will still be applied to collect qualitative contextual data. But in the evaluation trade, the demand will decrease as will the willingness to pay for expensive qualitative data collection like face-to-face interviews.

Do you agree that the future of monitoring will be glorious at the expense of evaluation? Throw a comment or read more about the subject in Robert Kirkpatrick’s interesting contribution in the European Evaluation Society’s newsletter Connections from March 2013.

Facebook Twitter Email
Read More

Posted by on dez 10, 2012 in Avaliação Educacional, ENEM, INEP, Prova Brasil, Saeb, TRI | 0 comments

Rico banco de dados sobre educação ainda é pouco divulgado e utilizado

Fonte: LEONARDO CAZES - O GLOBO – 09/12/2012 – RIO DE JANEIRO, RJ

O Brasil possui um enorme banco de dados sobre alunos, professores e as escolas da rede pública, mas essas informações são pouco estudadas e utilizadas na produção de diagnósticos e na formulação de políticas públicas. Os microdados, como são chamados, são os resultados dos questionários aplicados em avaliações de larga escala, como o Exame Nacional do Ensino Médio (Enem) e a Prova Brasil, usada no cálculo do Índice de Desenvolvimento da Educação Básica (Ideb). Para especialistas, a divulgação organizada dessas informações é muito mais relevante para melhorar a educação no país do que a publicação de um ranking de escolas, como feito pelo Ministério da Educação (MEC) este ano com o Enem, pois é possível entender, em detalhes, as razões para um bom e um mau resultado.

Segundo Daniel Cara, coordenador da Campanha Nacional pelo Direito à Educação, a divulgação de rankings estimula uma competição equivocada entre as escolas, principalmente na rede privada. Há casos, inclusive, de colégios que selecionam e separam os melhores alunos para conseguir resultados elevados e transformá-los em estratégia de marketing.

Rankings não ajudam o debate público

O diretor-executivo da Fundação Lemmann, Denis Mizne, concorda e aponta o ranking como um desserviço ao debate sobre a qualidade da educação brasileira, embora não seja contra a divulgação do resultado por escola.

— Não sou contra a divulgação do resultado por escola, mas ele não colabora com o debate público. A divulgação de colégios em forma de ranking, pela média, sem levar em consideração a sua composição, no que ela foi bem e no que ela foi mal, leva a maus usos dos dados, que são contraproducentes. Para melhorar a educação, o ranking não adianta nada. A diferença de pontos entre os primeiros colocados é pequena, mas é uma diferença enorme para os donos dos colégios — questiona o diretor-executivo da Fundação Lemmann.

Os microdados são capazes de oferecer um raio-x muito mais claro da qualidade do ensino e do impacto que diversos fatores (como a composição da escola, o perfil dos professores e o ambiente escolar) têm no aprendizado. Os questionários aplicados na última edição da Prova Brasil, em 2011, foram respondidos por cerca de 220 mil docentes e 4 milhões de estudantes do 5º e do 9º ano do ensino fundamental, em todo o país, além de mais de 50 mil diretores. A participação é voluntária.

Os resultados revelam a condição socioeconômica dos membros da comunidade escolar, se o currículo foi cumprido, a qualificação dos profissionais, a participação dos pais. Junto com outros levantamentos feitos pelo Inep, como o Censo Escolar, é possível descobrir quantas unidades possuem quadra poliesportiva, bibliotecas e salas de informática. Contudo, estas informações são disponibilizadas em formatos pouco amigáveis, incompreensíveis a quem não possui conhecimentos de estatística. Assim, secretarias municipais que não possuam uma equipe técnica qualificada encontram muitas dificuldades para extrair conclusões importantes sobre seu desempenho nas avaliações nacionais e sobre como podem melhorar. Esse serviço, na visão de Daniel Cara, devia ser disponibilizado pelo próprio Inep.

— O retorno dessas avaliações, que poderia ser feito de forma pública pelo Inep, é realizado por meio de empresas que cobram as redes por esses serviços. O Inep poderia ter sua função muito mais bem aproveitada. Da forma como são divulgados os dados, a educação tem uma avaliação que segue a lógica do semáforo: a situação está no vermelho, amarelo ou verde — diz o coordenador da Campanha Nacional pelo Direito à Educação. — O cruzamento de dados oferece ferramentas boas. Como o instituto é muito focado no trabalho de produção do Enem, ele acaba não oferecendo um serviço que revolucionaria o planejamento. Ele poderia formar os quadros para as secretarias municipais e estaduais de educação e oferecer um serviço, em regime de colaboração. É preciso também ter um sistema nacional de avaliação da educação básica sabendo o que pode ser apreendido a partir de cada prova.

Falta de pesquisadores na área

Para Ruben Klein, presidente da Associação Brasileira de Avaliação Educacional (Abave), a cultura das avaliações em larga escala é recente no Brasil, pois teve início apenas em 1995. Até então, apenas algumas redes estaduais mantinham experiências isoladas. Por isso, a produção acadêmica sobre o assunto ainda é insuficiente no país. Ele sugere que as prefeituras menores procurem parcerias com universidades e centros de pesquisa para conseguir trabalhar com essas informações. Segundo Klein, as avaliações mostraram que muitos diagnósticos sobre a situação da educação no Brasil estavam errados.

— A avaliação começou para valer em termos nacionais em 1995. Até aí, havia muitos diagnósticos errados. Falava-se em evasão, mas, na verdade, nosso maior problema era a repetência. Acreditava-se que a solução era construir escola, quando na realidade os alunos não estavam aprendendo. O problema é a qualidade da escola. Essa é uma área recente no Brasil, não tinha ninguém trabalhando com isso. A partir da década de 1990 é que começaram a surgir alguns grupos — aponta o presidente da Abave, que tenta estimular o desenvolvimento de trabalhos no campo.

Cara aponta ainda a falta de independência do órgão, em comparação com outros institutos da administração federal, como o Instituto Brasileiro de Geografia e Estatística (IBGE), ligado ao Ministério do Planejamento, Orçamento e Gestão, e o Instituto de Pesquisa Econômica Aplicada (Ipea), subordinado à Secretaria de Assuntos Estratégicos. A apresentação das pesquisas realizadas pelos dois é feita pelos próprios técnicos responsáveis, enquanto no caso do Inep esse papel é assumido pelo ministro da Educação. Na sua opinião, é fundamental que a equipe do instituto tenha autonomia para analisar com frieza os números para produzir diagnósticos consistentes.

Inep afirma que “está se reestruturando”

Em janeiro deste ano, entre a saída da então presidente Malvina Tuttman e a chegada do atual, Luiz Cláudio Costa, a Associação dos Servidores do Inep (Assinep) chegou a publicar uma carta aberta dirigida ao MEC em que lamentavam as constantes mudanças de comando (foram quatro desde 2009 devido a problemas na realização do Enem).

Os funcionários alegavam que “o órgão apresenta fragilidades e ainda não sustenta condições favoráveis para o pleno desenvolvimento de estudos, pesquisas e avaliações de acordo com suas finalidades institucionais. Ademais, os salários pouco atrativos e as carreiras muito longas não representam um estímulo para a permanência de servidores. A perda de quadros impõe-se como uma difícil realidade e compõe o rol dos grandes desafios ao cumprimento das finalidades do órgão”.

Procurado pelo GLOBO, o Inep informou, por meio de sua assessoria de imprensa, que o tempo entre a coleta dos microdados da Prova Brasil 2011 e a sua disponibilização na internet diminuiu em um ano, em comparação com a edição de 2009. O órgão ressaltou que é preciso um grande esforço operacional para processar as informações.

Está em andamento também um trabalho para tornar a visualização dos microdados mais dinâmica e amigável aos usuários, segundo o Inep. O instituto ressaltou que “está se reestruturando para ampliar cada vez mais o seu papel como uma autarquia que pensa, reflete e formula estudos e políticas para a educação brasileira. Além disso, o Inep é hoje uma autarquia capaz de pensar o processo da educação brasileira, de realizar e aplicar avaliações importantes para o país”.

Facebook Twitter Email
Read More
Social links powered by Ecreative Internet Marketing