Tecnocracia e/ou pedagogia?

Há muitos anos atrás, quando as então "novas" tecnologias nos presentearam com o último grito tecnocrático do Excel, comecei a utilizá-lo na avaliação dos alunos: aquilo transmitia-me alguma "segurança tecnocrática" que, de algum modo, sempre minorava a minhas recorrentes indecisões, inseguranças e dúvidas na hora da decisão sumativa.
Até que um dia pensei de mim para mim, Idalina, deixa-te de tretas, esquece o EXCEL, dá as notas "à antiga", com o teu saber prático e a tua intuição descritiva, ainda que com alguns números como base de manobra.
Escrevi então as "notas" na caderneta e, a seguir, ancorei-me no excel, por via das dúvidas.
Cheguei à conclusão que a minha avaliação mais "impressionista" era sempre um pouco mais benevolente que o irrepreensível excel. Não andava longe, mas era sempre um pouco mais "benevolente".
Hoje, penso que a reflexão tecnocrática está sempre uns degraus abaixo da reflexão crítica, até na hora da avaliação.


Contudo, voltei ao excel quando, no ensino superior, tive de avaliar alunos que, por sua vez, eram, também eles, professores: por uma questão de segurança, evitava as recorrentes questiúnculas em torno das "notas", das sempre argumentáveis benesses atribuídas a uns, que não a outros.

Estatísticas

Por causa de processos de equivalência de alunos Erasmus solicitei aos serviços académicos informação sobre as classificações finais de todas as disciplinas de um dado curso nos últimos três anos. A distribuição de frequência das 5212 classificações é essa aí à esquerda.
Fiquei surpreendido. A minha estatística está um bocado enferrujada, mas tratando-se de tantos estudantes e de tantas disciplinas diferentes, estaria, pelo teorema do limite central, à espera de uma distribuição normal.
Depois olhei melhor e reparei que esta pode ser uma distribuição normal: se a média estiver no 10 ou para trás dele.
Fiquei a pensar nas causas desta distribuição. Se a média estivesse, por exemplo, no 13 ou no 14 e se estendesse para trás até ao 6 ou 7, e os alunos reprovados acabassem depois por passar com 10 ou 11, poderia resultar uma distribuição parecida, mas ainda se reconheceriam duas modas. A bimodalidade só desapareceria se a média original fosse próxima desses valores.
O que se passa num curso em que metade das classificações é de 12 ou inferior? De quem é a culpa de mais de 60% das classificações não chegarem sequer ao Bom (14)?

A avaliação não é uma mera questão técnica.

“[...] a investigação sugere que, em geral, as práticas de avaliação nas salas de aula são relativamente pobres, possuem uma diversidade de insuficiências, havendo problemas vários que precisam de esclarecimento (e.g., Black & Wiliam, 1998a, 1998b; Boavida, 1996; Dwyer, 1998; Fernan¬des et al., 1996; Gil, 1997; Harlen & James, 1997; Jorro, 2000; Stiggins & Conklin, 1992; Stiggins, 2002, 2004). Vejamos alguns exemplos:

• a convicção por parte de muitos professores de que, através dos testes, estão a avaliar aprendizagens profundas, com compreensão, quando a investigação sugere que o que se está realmente a testar são, de modo geral, mais os procedimentos rotineiros e algorítmicos e menos as competências no domínio da resolução de problemas;
• a correcção e a classificação de testes e de quaisquer outras tarefas avaliativas dão, em geral, poucas ou nenhumas orientações aos alunos para melhorar, reforçando as suas baixas expectativas e o baixo nível das aprendizagens;
• a tendência para se pensar que a avaliação desenvolvida pelos professores nas salas de aula é de natureza essencialmente formativa, apesar da análise da realidade ter vindo a demonstrar que muito poucas vezes será assim;
• a avaliação formativa, tal como recomendada na literatura, é por muitos considerada irrealista nos contextos das escolas e das salas de aula e as suas diferenças com a avaliação sumativa e certificativa são cada vez mais ténues;
• a confusão entre a avaliação formativa e a avaliação certificativa ou sumativa é um problema que parece indiciar que existirão poucas práticas de avaliação genuinamente formativa e/ou que os professores estão submersos em demasiadas avaliações para responder às exigências de ambas;
• a função certificativa e classificativa da avaliação, a atribuição de notas, está claramente sobrevalorizada em detrimento da função destinada a analisar o trabalho dos alunos para identificar necessidades e para melhorar as aprendizagens;
• a tendência, particularmente ao nível do ensino básico, para solicitar aos alunos uma quantidade, por vezes exagerada, de trabalhos, descuidando a sua qualidade e a sua relação com o desenvolvimento dos processos mais complexos de pensamento dos alunos;
• a tendência para comparar os alunos entre si, levando-os a crer que um dos propósitos principais da aprendizagem é a competição em vez do crescimento pessoal. Nestas condições, o feedback avaliativo acaba por reforçar junto dos alunos com mais dificuldades a ideia de que não são competentes, levando-os a crer que não são capazes.

[…]
A avaliação que se faz no dia-a-dia das salas de aula, talvez nunca seja demais dizê-lo, não é uma mera questão técnica, não é uma mera questão de construção e de utilização de instrumentos, nem um complicado exercício de encaixar conhecimentos, capacidades, atitudes ou motivações dos alunos numa qualquer categoria de uma qualquer taxonomia. De facto, é muito questionável considerar que as taxonomias, sejam elas quais forem, possam ter em devida conta a imprevisibilidade do funcionamento cognitivo das pessoas. Normalmente, são estruturas hierarquizadas e compartimentadas, características que não parecem ser compagináveis com o que hoje sabemos acerca das formas como os alunos aprendem e raciocinam. Podem ter o mérito de nos ajudar a ter uma visão mais ou menos organizada de certos estilos de pensamento, mas é difícil reconhecermos a sua relevância e mesmo a sua utilidade no processo de avaliação. A sua utilização, na prática, por parte dos professores não é propriamente simples nem viável. Os professores transformar-se-iam numa espécie de técnicos especializados na utilização de taxonomias ou em autênticos burocratas da avaliação. Ora, como temos vindo a constatar, a avaliação nas salas de aula e, muito particularmente, a avaliação formativa alternativa, não deve ser confinada a estes enredos mais ou menos tecnocráticos. Não, a avaliação é uma construção social, é um processo desenvolvido por e para seres humanos, que envolve valores morais e éticos, juízos e questões de natureza sociocultural, psicológica e também política. Todo o tempo é pouco para que os professores se possam dedicar ao essencial: ajudar os alunos a desenvolver as suas aprendizagens.”

[Fernandes, D. (2005). Avaliação das aprendizagens: Desafios às Teorias, Práticas e Políticas. Texto Editores. Lisboa]

Pistas

Sem grande cabeça para tecer acertadas considerações sobre o tema da Avaliação (neste momento, estou precisamente a "virar de pernas para o ar", vulgo "tentar aperfeiçoar", o capítulo sobre Avaliação das Aprendizagens da minha tese depois de reunião com o Orientador),e porque, cada vez mais, "só sei que nada sei" :-) venho deixar duas pistas.
Uma para um dos posts de um dos meus blogues onde fui deixando síntese de artigos sobre o tema (usar mecanismo de procura à direita): Aqui.

A outra, o Cartoon que se segue e que foi publicado neste número do CE. Bom fim de semana!

P.S.: reli o José Azevedo no último post e percebo a sua "surpresa" (ia escrever angústia mas... não). Desde que na minha prática introduzi alguns dos princípios de Avaliação formativa autêntica: partilha dos objectivos e conteúdos da aprendizagem, diversificação das tarefas de aprendizagem, negociação, feedback circunstanciado, frequente e atempado,regulação, auto-avaliação, sinto que pouco ou nada me preocupa a questão "sumativa". Não costumo dar uma nota sem o aluno, primeiro, realizar a sua auto-avaliação. Faço isto a diferentes níveis e com diferentes graus de maturidade dos aluno e devo dizer que são raras as vezes em que há discrepâncias.

Avaliação dos alunos... Questões sempre em aberto...

No post anterior, o José Azevedo colocou questões que se prendem com a necessidade de a avaliação ser objectiva, de recorrer a instrumentos válidos e fiáveis, e também de não reduzir os alunos a números, antes poder valorizar com rigor e justiça as aptidões de cada um.

A avaliação, sobretudo a sumativa, é e provavelmente será sempre uma tarefa delicada, sendo difícil que não deixe nos professores interrogações, dúvidas. Entretanto, impõem-se esforços, inclusivamente na formação dos professores.

Outra questão foi levantada pelo Miguel Sousa em comentário - a de todas as disciplinas deverem ter, ou não, igual peso. Pessoalmente, penso não só que seria muito perigoso enveredar pela ideia de pesos diferentes, como também que todas as disciplinas têm objectivos gerais importantes e contribuem para a aquisição de competências concorrentes para a formação integral dos jovens - competências ditas transversais, e outras também específicas, que vão para lá do domínio pelos alunos de conteúdos propriamente ditos. Mas esta é apenas uma opinião...

Em suma, todas as questões afloradas permanecem em aberto...

As incertezas da avaliação

Por mais que me esforce por tornar os critérios transparentes, por descrever à partida as etapas e os requisitos da avaliação sumativa, não consigo evitar algum desconforto nessa tarefa de distribuir dozes e quinzes e dezanoves. Resumir todo o trabalho de um semestre a um número entre 10 e 20 é tão espartilhante que chega a ser doloroso. E é uma barreira que se ergue no relacionamento entre professores e alunos: saber que no final sou eu que vou "dar a nota" cria uma assimetria que condiciona todo o comportamento de parte a parte.

"Certo, professor, eu percebo que isso é importante, mas vai sair no teste?"

Não tenho solução para isto, a não ser o trabalho que faço para enfatizar mais a componente pedagógica da avaliação (avaliar para ensinar), para multiplicar os momentos e as formas de avaliação sumativa, para alinhar a avaliação com os objectivos de aprendizagem.

Os comentários feitos em torno de um livro recente, Developing Effective Assessment in Higher Education: A Practical Guide, vieram mostrar-me que não sou só eu a perceber a subjectividade da avaliação sumativa, particularmente aquela dirigida a capacidades de mais alto nível. Dois professores avaliam um grupo de estudantes de maneira diferente mesmo partindo de um programa idêntico e até usando o mesmo teste. Quando se reconhece, como faz um dos autores do livro, que a classificação final de um estudante pode depender tanto dos avaliadores como da sua competência académica, não nos sentimos todos com os pés de barro?

A solução, de acordo com os autores, passa por uma maior aproximação aos estudantes. Os professores devem tornar claros os padrões de avaliação, tornando-os mais transparentes, lógicos e objectivos, e trabalhar no sentido de serem os próprios estudantes a reconhecer a qualidade do respectivo trabalho. O profissionalismo passa, de facto, por ser capaz de reconhecer a qualidade de um trabalho (ou a falta dela), e esse treino deve começar desde os tempos da formação.

Um outro aspecto relacionado com este tem a ver com a classificação final de um curso ou de um ano. Dada como a média aritmética das classificações das disciplinas, ponderada eventualmente por coeficientes como o número de créditos, permite alinhar todos os diplomados ao longo de uma escala. Mas, ao fazê-lo, ignora o leque de aprendizagens que cada pessoa efectuou, e desvia a atenção do facto de que um 10 significa que um estudante tem os requisitos considerados necessários para passar o ano ou receber um dado diploma.

Por causa disto, o recém publicado relatório final da Comissão Burgess, no Reino Unido, propõe a substituição da "nota final" da licenciatura por um relatório no qual constem os pontos fortes e os pontos fracos do desempenho do estudante, assim como as competências por este possuídas, expressas por exemplo no âmbito de um Quadro de Qualificações apropriado. E é nesse sentido que teremos de caminhar: para um sistema que não reduza as pessoas a números mas que, sendo objectivo e justo, lhes permita valorizar aquilo que elas têm de bom.

Raciocínio ao contrário

Como fiquei um pouco confusa - o primeiro mail dizia que eu estava encarregue de provocar a discussão de 17 a 30 de Set. mas um post recente diz que a bola afinal é do Miguel - e como isto de vos acompanhar até me deixa nervosa............ deixo-vos um raciocínio ao contrário e depois logo vemos o que lhe fazemos:
- deixamo-lo estar quieto
- apagamo-lo e reabilitamo-lo quando for a minha vez
- agarramos nele e, de uma vez por todas, se percebe se eu tenho ou não perfil para a "coisa".

Ora bem, os temas que proponho são "Avaliação de Aprendizagens" (semana 1)e "Educação e Tecnologias" (semana 2). Perdoem-me a sua aparência pouco polémica e pouco política mas, das duas uma, ou é um efeito da minha distraída personalidade ou é uma consequência dos meus apenas 14 anos de carreira entusiasta, 11 deles já como PQND.

1º post - RACIOCÍNIO DE PERNAS PARA O AR ou Da avaliação de professores aos Resultados escolares e dos resultados escolares à avaliação das aprendizagens.
Como perceberam talvez pela leitura de outras coisas que fui dizendo pertenço, desde há cinco anos, ao quadro de uma das 22 escolas que assinaram há dias o CA. Resultado de um processo de Avaliação Externa no qual participei como Membro da Assembleia e Coordenadora do Departamento. Fora isso, de outras formas mais sinto que tenho contribuído para a melhoria do desempenho da escola em geral. Desta e de outras por que passei. Mas nesta senti e sinto que sou avaliada. É verdade. Já estou como os meus alunos: sinto sempre que estou a ser avaliada ;-) Além disso, há a particularidade de leccionar uma disciplina sujeita a exame nacional. Ou seja tenho os olhos em mim e não me importo nada ;-) Também não me importo de ser avaliada. Só quero saber como e por quem. Mas essa é uma conversa a que vos convido a voltar noutra altura.
Pensemos, então, num dos diversos indicadores do bom desempenho profissional dos professores, os resultados escolares e, a esse propósito, reflictamos como é que, afinal, professores que serão avaliados por um mesmo conjunto de critérios fazem a avaliação dos seus alunos.
Se pensarmos que há todo um quadro legislativo que define os pressupostos dessa Avaliação e que, em principio, todos nos regemos pela mesma batuta, dir-me-ão que não percebem qual o problema, qual a polémica. Está tonta a rapariga!
Pois, mas agora imaginem que todos os anos, quando chega um professor novo à minha Escola já sabemos que temos de "o preparar" e ajudá-lo a perceber que: não temos pesos, não fazemos testes, não há toques de campainha a marcar o fim, não há grelhas de marcação de testes para o ano todo; há equipas de professores de LP, Hist e Geog, por exemplo, que preparam e aplicam a mesma prova, sim a mesma, para aferir competências e a integração de saberes e que as competências transversais são tão importantes, ou quase, como as essenciais em cada área disciplinar.
Isto que nós fazemos é sempre tão diferente de tudo quanto o "colega novo" terá feito que seja ele mais ou menos novo em idade - e não em tempo de serviço - que é vê-lo até meio do ano meio zonzo :-) (o meu primeiro ano foi bem difícil e olhem que ritmo de trabalho sério já eu tinha).

A este propósito, e porque vou lendo inúmeras coisas sobre Avaliação (uma área em que a formação profissional dos docentes, inicial ou contínua, me parece deficitária), preparei este ano um pequeno documento que não cheguei a "impingir" à chefia. Dei comigo a pensar: "Será mesmo necessário frisar estas coisas?". Mas dou comigo a pensar que sim, que é, que nunca é demais. Que nunca é demais querermos melhorar a forma como avaliamos se queremos melhorar a forma como ensinamos e o tais ditos resultados escolares que, afinal, vão ser tão importantes na nossa avaliação (entre outras "cositas mas").

E o que diz o doc.?
Faço um resumo. É uma adaptação do inteligente documento “Making Assessment for Learning Work in Your Classroom: Practical Strategies for Enhancing Student Learning” de Barry Hoonan, disponível em www.k12.wa.us/conferences/summerinstitute2005/materials/HOONANMAKING.doc).

Começa com a frase:
“Não se engorda um porco pesando-o.” de Tim Wragg da Exeter University.
Recorda-nos que:
A Avaliação Formativa consiste em:
1. Envolver os alunos na sua própria aprendizagem;
2. Partilhar os objectivos de aprendizagem com os alunos;
3. Envolver os alunos na auto-avaliação;
4. Realizar questões eficazes;
5. Fornecer feedback que leve os alunos a reconhecer os próximos passos e como realizá-los;
6. Ajustar o ensino de modo a ter em conta os resultados da avaliação;
7. Fundamentar a instrução acreditando que todos os alunos podem melhorar.
E terminar por recomendar os meus queridos Black &William.
Deixo as referências:
Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7-74.
Black, P. & William. D. (1998b). Inside the black box: Raising Standards through classroom assessment. Disponível em http://www.pdkintl.org/kappan/kbla9810.htm Consultado a 16 de Junho de 2005.)

E deixo as perguntas:

- De que modo subsistem práticas avaliativas diferentes no nosso sistema?
- Como se articulam essas diferenças com a aferição de resultados?
- Como é que os produtos de processos tão distintos contribuem para uma avaliação séria na perspectiva dos resultados de quem, afinal, comanda a avaliação, o professor?
- O resultados fala-nos de quê afinal: de um processo, de um produto momentâneo?
- Que resultado? O do exame? Teremos então exames a todas as disciplinas uma vez que vamos avaliar todos os professores?

Fica a proposta. Tenham uma boa semana!