Pages Menu
TwitterFacebook
Categories Menu

Posted by on set 6, 2013 in ENEM, INEP, Prova Brasil, Saeb, TRI | 0 comments

Inep construirá ‘bunker’ para evitar fraude

O Estado de S.Paulo - 06 de setembro de 2013 | 2h 01

O Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), órgão do Ministério da Educação (MEC), vai construir, por R$ 15,2 milhões, uma espécie de “bunker” de segurança que será dedicado à elaboração de questões e avaliações, como Enem, Prova Brasil e Sistema de Revalidação de Diplomas Médicos (Revalida). A caixa-forte deve ficar pronta em março de 2014.

O local será usado para análise e revisão de conteúdo do Banco Nacional de Itens, que reúne as questões dos exames organizados pelo instituto. O objetivo é garantir a segurança dos processos e aprimorar a produção dos itens.

O Inep tem um histórico de problemas nas avaliações. Em 2009, a prova do Enem chegou a ser furtada da gráfica – o material foi oferecido à reportagem do Estado, que avisou o MEC e o exame foi cancelado. Itens da prova de 2011 ainda vazaram para alunos de um colégio privado de Fortaleza, o que resultou na anulação de 14 questões de 1.139 estudantes.

A estrutura do bunker, com 988 m² e 24 ambientes, incluirá acesso restrito. O projeto, cujo edital está aberto, prevê sistema de monitoramento com 101 câmeras, controle de entrada por leitura biométrica e escaneamento de objetos. O espaço será construído na nova sede do instituto, no Setor de Indústrias Gráficas, em Brasília.

 

Facebook Twitter Email
Read More

Posted by on jun 6, 2012 in TRI | 0 comments

Artigo sobre testagem adaptativa

Teoria e a prática de um Teste Adaptativo Informatizado
GILBERTO PEREIRA SASSI
Universidade de São Paulo
Instituto de Ciências Matemáticas e da Computação
Av. Trabalhador São Carlense, 400 São Carlos (SP) – Brazil
gpsassi@gmail.com

Abstract. O objetivo deste trabalho é apresentar os conceitos relacionados a Teste Adaptativo Informatizado, ou abreviadamente TAI, para o modelo logístico unidimensional da Teoria de Resposta ao Item. Utilizamos a abordagem bayesiana para a estimação do parâmetro de interesse, chamado de traço latente ou habilidade. Apresentamos os principais algoritmos de seleção de itens em TAI e realizamos estudos de simulação para comparar o desempenho deles. Para comparar os algoritmos de seleção considerados, usamos aproximações numéricas para o Erro Quadrático Médio e para o Vício e também calculamos o tempo médio para o TAI selecionar um item a ser respondido e número máximo médio de itens respondidos até o critério de parada ser alcançado. Implementamos os algoritmos de seleção: Critério de Owen, Critério da Máxima Informação de Fisher e Critério da Máxima Informação Global no Excel/VBA com uma interface com o software R. Estes algoritmos apresentaram os melhores desempenhos segundo os três indicadores usados nesse estudo.
Keywords: Teste Adaptativo Informatizado, Algoritmos de seleção de item, modelo logístico unidimensional, Teoria de Resposta ao Item

Artigo completo em http://www.icmc.usp.br/~posgrad/geral/artigos2012/Artigo_Gilberto_Pereira_Sassi.pdf

Facebook Twitter Email
Read More

Posted by on mai 30, 2012 in Banco de Itens | 0 comments

Banco de itens é desafio para exame seguro

 

Agência de Notícias da Polícia Federal

28/05/2012
Inep não revela número de questões pré-testadas; em 2011, quantidade era tida como insuficiente
O Ministério da Educação (MEC) luta contra o tempo para equacionar um dos principais desafios já declarados para que o Enem tenha uma edição sem problemas em 2012: contar com um banco de itens em número considerável e seguro. A quantidade desse corpo de questões é tratada com sigilo no MEC, que realiza mutirão para compô-las.
O Banco Nacional de Itens do Inep é composto por questões usadas em diversas provas aplicadas pelo governo Federal, como Enem, Prova Brasil e Enceja.
Desde 2009, quando se tornou vestibular, o Enem acumula falhas. Em 2011, esse banco esteve na berlinda. Mais de dez itens que foram pré-testados em um colégio no Ceará em 2010 caíram no Enem do ano passado, colocando em dúvida se o Inep contava com um número de questões considerado seguro.
O Estado solicitou por dois dias na semana passada o número de questões já arquivadas e pré-testadas. Também foi solicitada a informação de quantas questões seriam produzidas até a realização do exame. A solicitação não foi atendida e a reportagem apurou que esse é um tema que se tornou “sigiloso”.
No fim do ano passado, as informações eram de que o Instituto Nacional de Estudos e Pesquisas educacionais (Inep) contava com 6 mil itens, menos da metade do número considerado ideal – entre 15 mil e 20 mil.
Por causa do modelo adotado pelo Enem de Teoria de Resposta ao Item (TRI), as questões precisam ser pré-testadas para que sejam calibradas em níveis de dificuldades, possibilidade de acertos e probabilidade de chute. Na prática, a TRI confere peso diferente a cada questão de acordo com o desempenho de cada candidato nas questões.
A nota do candidato não depende de quantas questões ele acerta, mas sim da dificuldade dos itens respondidos. Assim, dois candidatos com o mesmo número de acertos podem ter pontuações diferentes. A TRI ainda permite que a prova seja comparável no decorrer dos anos – pelo menos desde 2009.
Em março, o MEC iniciou um mutirão para compor questões. A pasta instituiu a realização de oficinas de elaboração e revisão de itens em parceira com 24 universidades federais para compor o Banco Nacional de Itens.
A portaria que instituiu a parceria ainda permitiu que os professores dessas universidades possam ser convocados a qualquer momento para eventuais oficinas de “força-tarefa”, caso o MEC identifique necessidade de elaboração de mais itens de alguma área específica. / P.S.
Um caderno de exercícios distribuído a alunos do Colégio Christus, em Fortaleza, dez dias antes do Enem de 2011 continham 14 questões que caíram no exame. As questões vazaram de um pré-teste realizado na escola um ano antes, conclui a Polícia Federal. O MEC anulou os 14 itens para 1.139 alunos da instituição. Eram estudantes do último ano do ensino médio e também matriculados no cursinho.
Facebook Twitter Email
Read More

Posted by on nov 14, 2011 in Avaliação Educacional, ENEM, INEP, Testagem adaptativa, TRI | 0 comments

Pré-teste do Enem americano é feito no mesmo dia do exame

Fonte: IG.



A recente batalha jurídica em torno da anulação ou não de questões do Exame Nacional do Ensino Médio (Enem) que foram divulgadas antecipadamente a alunos de colégio em Fortaleza levanta, pelo terceiro ano consecutivo – o mesmo tempo que o teste passou a ser usado para selecionar vagas do ensino superior –, uma discussão sobre a logística, organização e metodologia do exame. Além dos problemas de segurança e impressão já apresentados, o Enem tem agora questionados seu banco de questões e a maneira como elas são testadas.
Para defender o exame, o governo já recorreu algumas vezes às qualidades da Teoria de Resposta ao Item (TRI), método tradicionalmente utilizado em exames norte-americanos que permite que edições distintas de uma avaliação tenham nível de dificuldade igual. Com objetivo de entender como um dos mais tradicionais, o SAT – Scholastic Assessment Test – ou Teste de Avaliação Escolar, é aplicado e como suas questões são formuladas, o iG foi aos Estados Unidos.
Exame obrigatório para os alunos do ensino médio que querem ingressar em uma faculdade americana, o teste existe há 85 anos e já foi ministrado a mais de 100 milhões de estudantes – só em 2011, cerca de 1,65 milhão de pessoas se submeteram ao exame. Diferentemente do Enem, que é gratuito para alunos de escolas públicas, para prestar o SAT o aluno tem que pagar uma taxa de US$ 49. Além disso, ele não é um exame anual, sendo ministrado 7 vezes por ano nos EUA em diferentes localidades. “Os alunos se inscrevem no site da instituição e agendam a data da prova. Se eles não forem bem, eles podem fazer um novo teste em 3 meses”, explica Wil Hatcher, professor especialista em testes de padronização. 

O SAT foi criado em 1926 pela College Board – uma organização sem fins lucrativos fundada em 1900 pelos presidentes das principais universidades americanas que queriam democratizar o acesso às universidades. Inicialmente, a College desenvolveu testes obrigatórios para alunos que quisessem ingressar nessas faculdades específicas. Anos mais tarde, durante a Primeira Guerra Mundial, os testes foram ministrados a alunos do exército americano. Já em 1926, o então presidente da College Board, Carl C. Brigham, professor da Universidade de Princeton que havia trabalhado nos experimentos do exército, decidiu criar um exame que fosse aplicado a estudantes do ensino médio em um novo formato de múltipla escolha – surgia assim o SAT.


Seção experimental foi introduzida desde o início


A grande novidade do teste, já naquela época, era a inclusão de uma seção experimental que pudesse avaliar novas questões. “Pelo menos 30 minutos de cada aluno era dedicado a essa seção experimental e os estudantes não sabiam que estavam fazendo uma prova com itens que não tinham validade para a sua nota final. E isso era exatamente o que a College queria”, explica Thomas Ewing, porta voz da College Board. Segundo arquivos da própria organização, nos primeiros três anos do teste, o professor Brigham realizou cerca de 20 seções experimentais que depois foram reavaliadas, reescritas ou descartadas. 
 

Em 1947, a College Board, o Conselho Americano de Educação e a Fundação Carnegie para o Avanço do Ensino, criaram a ETS (Educational Testing Service), uma empresa privada dedicada à pesquisa e avaliação do progresso da educação nos EUA. “Desde então a ETS é a responsável pelo SAT, e pela maioria dos testes de padronização como o TOEFL (de proficiência na língua inglesa), o GRE e dezenas de outros. Isso é tudo o que eles sabem fazer”, declara Wil Hatcher.

Além de ter a College como seu principal cliente, a ETS herdou todo o expertise que a organização tinha na criação e realização destes exames. “A seção experimental existe até hoje. É assim que eles analisam se as questões realmente testam o que elas deveriam para produzir uma curva perfeita de avaliação dos alunos. Então, basicamente os estudantes são as cobaias do SAT. Eles sabem que há uma seção experimental, mas não sabem qual das 10 seções não tem validade”, completa Wil. 


O professor acredita que este é o melhor modelo para garantir a idoneidade da amostragem. “Na minha opinião, o SAT funciona aqui porque a amostragem é perfeita. Todos os estudantes que estão fazendo o teste respondem às questões experimentais. Então a ETS não precisam realizar simulados com estudantes que não são o público alvo do teste. Assim também não há vazamento de informações”, explica. 


Repetições de questões não acontece

Apesar de um mesmo estudante poder fazer o SAT mais de uma vez no ano, a College Board garante que a probabilidade de as questões se repetirem nas provas é praticamente nula. “As questões são feitas por especialistas neste tipo de teste, muitos dos quais são ex-professores ou experts no assunto. Nós também temos equipes de comitês de desenvolvimento externo, compostas principalmente por professores, que ajudam na formulação das questões iniciais que são refinadas pelos nossos especialistas da parte de desenvolvimento”, explica o porta-voz da College Board. Segundo ele, a organização não pode detalhar o tamanho do banco de dados de questões, mas está constantemente desenvolvendo novas perguntas, porque realiza testes frequentes. “As questões utilizadas não podem ser usadas novamente. Mesmo as questões da seção experimental passam por uma revisão adicional e são, muitas vezes, reescritas antes de acabarem fazendo parte de um exame no futuro. Mas a probabilidade de uma mesma seção experimental cair igualzinha em uma prova futura é praticamente nula”, completa Thomas. 
TRI desde 1950
O SAT utiliza a TRI (Teoria de Resposta ao Item) desde 1950. Esse sistema permite que todas as provas tenham o mesmo nível de dificuldade. O mesmo sistema é utilizado pelo Enem há apenas há 3 anos. Além disso, no exame brasileiro, as cores das provas podem variar e, com elas, a ordem das questões, mas as perguntas são iguais para todos. Já no SAT, em um mesmo dia há diferentes grupos de provas distintas sendo aplicadas. “Por questões de segurança não podemos revelar quantas são, mas poucos grupos de alunos respondem às mesmas questões”, declara o porta voz do College Board.
Depois de impressas, as provas do SAT passam por uma série de procedimentos de segurança. Primeiro, um funcionário do ETS se responsabiliza pela certificação da qualidade dos testes impressos ainda na gráfica. Depois disso, as provas são numeradas, embaladas a vácuo e transportadas em caixas lacradas. “Ter vários formatos do teste certamente dificulta o vazamento de informações, mas nossos procedimentos de segurança contribuem para isso também”, diz Thomas. 

Os alunos norte-americanos têm 3 horas e 45 minutos para responderem às 10 seções do teste, divididas em Leitura e Interpretação de Textos, Matemática, Redação e Seção Experimental. A maioria das questões é de múltipla escolha. 


Os gabaritos são corrigidos eletronicamente por computador. “O primeiro passo para calcular a pontuação do aluno é determinar o escore bruto para cada uma das três seções válidas. Uma resposta correta vale um ponto, enquanto que uma resposta incorreta subtrai 0,25 pontos do escore do aluno”, explica Wil Hatcher. “O sistema é para não encorajar o aluno a chutar a resposta se ele não souber. É melhor deixar a questão em branco do que responder errado. Se ele deixar em branco ele não perde nem ganha pontos”, completa.


Sistema não está livre de falhas

Apesar de todas as medidas de segurança, o SAT não está livre de erros. Em 2005, uma falha na leitura dos gabaritos deixou mais de 4.400 alunos com notas menores do que as que eles deveriam receber. O erro foi corrigido e o dinheiro devolvido aos estudantes, que tiveram a oportunidade de realizar outro exame.

Já em setembro passado, sete alunos foram presos em Long Island depois de serem acusados de trapacear no SAT. Cada um deles teriam pago US$ 2,5 mil para o estudante Sam Eshaghoff, de 19 anos, fazer a prova no lugar deles. Sam teria se passado por pelo menos mais cinco estudantes e agora deve responder na justiça por conspiração e falsidade ideológica.


Na época o presidente executivo da ETS, Kurt Landgraf, disse à imprensa americana que sua empresa gasta US$ 25 milhões por ano em segurança e que cerca de 3 mil, dos mais de 2 milhões de exames aplicados anualmente, são cancelados todos os anos por irregularidades ou salto de notas de alunos que tinham tido uma pontuação muito menor em testes anteriores.
Facebook Twitter Email
Read More
Social links powered by Ecreative Internet Marketing