Entrevista com uma educadora - Gladys Beatriz Barreyro

A Profa. Dra. Gladys Beatriz Barreyro é professora do Programa de Pós-Graduação em Educação da Faculdade de Educação da USP. Em razão da reportagem sobre rankings universitário na edição da revista ComCiência sobre Avaliações de Ensino, ela gentilmente concedeu uma entrevista por email sobre o tema. Abaixo reproduzo a entrevista no íntegra - já que nem tudo coube no texto da reportagem.

-------------------------------
1) Um comitê norueguês classificou os rankings como inúteis em função da subjetividade dos pesos atribuídos aos itens aferidos e falta de transparência da metodologia. A senhora concorda com essas críticas? É possível se corrigir essas limitações?

GB. Os rankings internacionais têm a função de hierarquizar universidades de pesquisa. Eles recebem muitas críticas pela metodologia, que às vezes muda de edição a edição e que privilegia a pesquisa, não considera ou minimiza o ensino, ignoram ciências sociais ou humanidades, consideram apenas as publicações em inglês ou a quantidade de prêmios Nobel, ou seja, simplificam as atividades das instituições de educação superior e as padronizam.

Concordo com essas críticas.

O “sucesso” deles é porque simplificam os resultados e, num mundo competitivo, comparam as instituições e isso facilita a divulgação, a compreensão e tem apelo de público e de mídia.
Quanto a corrigir as limitações, sugiro que pergunte aos adoradores e defensores dos rankings!

2) Quais as consequências - positivas ou negativas - de se moldar políticas públicas para o ensino superior moldados em rankings universitários?

GB. Se são utilizados os rankings como único elemento, dadas suas limitações e falhas, teremos dados falhos no diagnóstico ao momento de elaborar uma políticas pública.

Indo ao caso brasileiro, como não há rankings oficiais, se as políticas se basearam em resultados de rankings internacionais elas teriam todos esses problemas, mas o fato de ignorar as prioridades nacionais para a educação superior, estariam baseados apenas em critérios externos. Além disso, no Brasil existem distintos tipos de instituições não apenas as universidades para as quais a indissociabilidade pesquisa-ensino-extensão é um requisito.

A questão da equidade no acesso à educação superior tem sido uma das prioridades de política na última década e ela não foi produto da influência de nenhum ranking internacional, pois não é um quesito considerado neles, porém tem sido uma prioridade nacional.

Além disso, não deve ser esquecida a autonomia das universidades quando se pensa em políticas públicas para a educação superior.

3) Com frequência quando se estabelecem classificações e medidas de avaliação, há tentativas de burla do sistema: como contratação de mestres e doutores em época de avaliação e demissão após o período. Considera que esses rankings são robustos contra a estratégia do "gaming" dos parâmetros e das burlas?

GB. Os rankings, pelos menos os internacionais mais “famosos”, com maior divulgação, priorizam pesquisa, geralmente considerando o número de publicações, prêmios Nobel, etc. então não estão interessados no número de mestres e doutores. A questão da titulação de mestres e doutores, da condição de tempo integral ou horista é relevante na avaliação da educação superior brasileira, notadamente para o Sistema Nacional da Educação Superior – SINAES, esse é um parâmetro importante para a avaliação de cursos e de instituições. Ele é imporatante na composição do indicador – CPC (conceito preliminar de curso) que mostra resultados da avaliação dos cursos no Brasil.

4) Em relação ao Enade, considera que a avaliação tem atingido o objetivo de mensurar a qualidade dos cursos e das IES brasileiras? Em caso negativo, quais as falhas principais e o que considera que deveria ser feito? Em caso positivo, há melhorias a serem feitas (quais)?

GB. Quem avalia a qualidade dos cursos e das IES brasileiras é o SINAES (Sistema de Avaliação da Educação Superior Brasileira) do qual o ENADE é apenas um dos instrumentos, junto à avaliação de instituições e cursos.

O exame ENADE avalia os alunos, ou melhor, os resultados da aprendizagem dos alunos. Isto não pode ser confundido com a qualidade de cursos e instituições, apenas é um componente. Contudo, com a criação de índices como o CPC que considera os resultados do ENADE e os supervaloriza, lamentavelmente, ele extrapola sua função. Tem que se considerar os três elementos da avaliação tal como o SINAES propõe.

Além disso, as próprias instituições devem criar uma cultura de avaliação, se auto-avaliarem e se preocupar com a qualidade. E os usuários da educação superior deveriam ser mais exigentes quanto a isso, especialmente naquelas de escassa qualidade.Finalmente, a mídia destaca excessivamente os resultados nos rankings internacionais, mas dedica pouco espaço a matérias serias sobre qualidade e sobre o Brasil, destacando casos negativos ou propondo que se copie o sistema de educação superior de X país, ignorando as diferenças entre os países.
-------------------------------
Este trabalho foi desenvolvimento com apoio financeiro da Fapesp (Bolsa Mídia Ciência), sob supervisão da Profa. Dra. Simone Pallone e Dra. Katlin Massirer.

Isto é um experimento: As postagens menos visitadas do Gene Repórter

Rankings existem em quase todo lugar sobre quase todo assunto - futebol, economia, universidades, mulheres, homens, livros... Com música não é diferente e quase toda, senão toda, rádio tem sua lista de mais pedidas. Mas o quanto uma música não ganha destaque justamente por aparecer entre as mais pedidas? O chamado jabá é muito conhecido - dinheiro ou outra forma de bonificação dado às rádios pelas gravadoras para divulgar certos trabalhos e artistas. E no filme Dois Filhos de Francisco há uma cena em que o pai (Francisco) faz com que amigos liguem sem parar para uma rádio local pedindo para que uma canção de seus filhos (Zezé di Camargo e Luciano) seja tocada - levando a parada de sucessos. Então o quanto que o consumo de uma música - por exemplo, a compra de álbuns ou download de arquivo - está vinculado à qualidade musical percebida e o quanto está ligado à exposição dada por listas de mais vendidas, tocadas, pedidas?

A equipe liderada por Duncan Watts criou o projeto MusicLab, que permitiu medir a influência da exposição às listas. Funcionava como uma rede social em que os usuários podiam baixar arquivos de áudio. A quantidade de downloads era medida e uma lista das mais baixadas era exibida aos usuários. O MusicLab, no entanto, era dividido em "mundos" isolados - várias comunidades fechadas, em que usuários de uma comunidade não tinham acesso ao que ocorria em outra. Cada "mundo" funcionava como uma repetição independente. A quantidade de downloads nas comunidades quando a lista não era exibida serviu como um indicador de qualidade intrínseca de cada obra. Quando os usuários tinham acesso à lista, apesar de haver alguma tendência de músicas mais bem qualificadas estarem mais bem posicionadas, isso nem sempre ocorria. Com frequência a ordem de consumo era alterada, indicando a influência da simples listagem. Em cada comunidade, a influência social produzia listas bastante distintas de músicas mais baixadas.

É possível, então, que listas de textos mais lidos em sítios web tenham o mesmo efeito de retroalimentação positiva ou profecias autorrealizadoras (ou o segredo de Tostines): textos mais lidos tenderiam a ser os textos ainda mais lidos e se eternizarem em uma lista global (sítios e portais de notícias ressetam a lista de tempos em tempos para evitar esse feito, mas não evitam o efeito da pura influência social) e ampliar o fosso entre os mais e os menos lidos. Uma forma alternativa de fazer listas de textos em uma retroalimentação negativa seria listar os textos *menos* lidos.

Do GR, os dez textos menos lidos de todos os tempos são:

1. Semana Darwin 200 - II
2. The burdens of being upright*
3. The Greatest Show on Earth: Resultado do sorteio
4. Mala influenza - 2
5. Mala influenza - 10
6. Mala influenza - 5
7. Mala influenza
8. Mala influenza - 12
9. Mala influenza - 9
10. Sing Along: Science is golden

Serão ruins - ou piores do que os mais lidos - ? Talvez uma variação do paradoxo dos números desinteressantes possa ser formulada: em uma lista de textos desinteressantes, haverá um texto menos interessante, o que faz dele um texto interessante, logo deve ser tirado da lista; na nova lista, haverá um novo texto menos interessante e assim por diante...