Divagação Científica - divulgando ciências cientificamente 39: efeito de treinamento

Rubega, MA, Burgio, KR, MacDonald, AAM, Oeldorf-Hirsch, A, Capers, RS, & Wyss, R. 2021. Assessment by Audiences Shows Little Effect of Science Communication Training. Science Communication, 43(2), 139–169. doi.org/10.1177/1075547020971639

Parte dos autores criaram um curso de comunicação pública de ciências (CPC) voltado para alunos da área de STEM - ciência, tecnologia, engenharia e matemática - (cerca de 10 por período) e de jornalismo (outros 10 alunos). A duração do treinamento foi de 4 meses. O primeiro mês dedicado à introdução à área de CPC com leituras e discussões. Os três meses seguintes foram de atividades práticas, incluindo entrevistas dos alunos de STEM para os colegas de jornalismo e análises dos vídeos das entrevistas e dos textos produzidos a partir delas. Antes e depois do curso, os estudantes gravaram um depoimento de até 3 minutos para a pergunta “como o processo científico funciona?”, tema que não era abordado no curso.

Como grupo controle foram recrutados estudantes da mesma universidade de áreas correlatas, que gravaram depoimentos sem passarem pelo treinamento.

Os vídeos com as explicações foram avaliados por outros alunos de graduação. 16 itens foram avaliados em pontos de 1 (“discordo totalmente”) a 7 (“concordo totalmente”) sobre três características: clareza (p.e. “a apresentação foi clara”), engajamento (p.e. “a pessoa parece entusiasmada com o tema”) e credibilidade do depoente (p.e. “a pessoa parece conhecer do assunto”). (Tabela 1.)

Tabela 1. Itens de avaliação dos vídeos (pontuados de 1 a 7).

categoria	número	item
clareza	1	a apresentação foi clara
	2	foi fácil de acompanhar a apresentação
	3	o(a) apresentador(a) usou de termos confusos
	4	eu me senti confuso(a) em um ou mais pontos da apresentação
	5	o(a) apresentador(a) usou de exemplos e/ou analogias para melhorar minha compreensão da informação
	6	eu me distraí com a falta de fluência do(a) apresentador(a) (p.e. pausa, gaguejada, repetições, etc.)
engajamento	7	o(a) apresentador(a) parece entusiasmado(a) com o tema
	8	o(a) apresentador(a) prendeu minha atenção
	9	estou mais interessado(a) no assunto após assistir à apresentação
	10	quero saber mais sobre o assunto
	11	o(a) apresentador(a) usou de comunicação não-verbal (e.g. expressões faciais, gestos, linguagem corporal) que melhorou a apresentação
	12	eu me distraí com a comunicação não-verbal do(a) apresentador(a) (e.g. expressões faciais, gestos, linguagem corporal)
credibilidade	13	o(a) apresentadora parece conhecer do assunto
	14	o(a) apresentador(a) é simpático(a)
	15	o(a) apresentador(a) faz o assunto parecer importante
	16	o assunto é relevante para meus interesses

Os itens 3, 4, 6 e 12 tiveram a pontuação revertida na análise.

Após o curso, os trainees tiveram a seguinte avaliação:
- clareza: externa - média 4,73±0,81 (mediana: 4,76); autoavaliação: 5,53±0,97 (5,60);
- engajamento: 3,56±0,65 (3,40); 5,32±0,94 (5,37);
- credibilidade: 4,41±0,70 (4,30); 5,91±0,78 (5,95). 

Tanto no grupo teste quanto no controle, o segundo vídeo teve uma melhor avaliação do que o primeiro. Mas os alunos do curso tiveram uma melhora maior. Ainda assim o incremento foi de menos de 1 ponto na escala utilizada: a maior parte ficou entre 0,25 e 0,5 ponto de aumento antes e depois das aulas. (Fig 1.)

Figura 1. Evolução da avaliação do desempenho de comunicação em função do treinamento/tempo. 

Os autores também discutem a possibilidade de o instrumento de avaliação utilizado poder não ser o mais adequado para captar a qualidade do comunicador - houve uma grande variação nas pontuações, o que pode indicar que o que se entende por uma “boa comunicação” varia muito de pessoa para pessoa, tornando a tarefa de se avaliar o desempenho do comunicador bastante complexa.

Os autores notam também a grande diferença de desempenho entre as avaliações feitas por terceiros e as notas de autoavaliação - nestas últimas, o efeito do curso foi bem maior, com aumento de 1 a 2 pontos. Para os autores isso indica a necessidade uma avaliação externa e não apenas de autoavaliação dos alunos para se medir o impacto do treinamento em CPC.

Um curso de maior duração teria maior efeito? Mais oportunidade de os alunos treinarem e receberem feedback (duas vezes no curso) permitiria um desenvolvimento mais visível?

Upideite(11.jan.2023): Um artigo um pouco mais otimista sobre os efeitos de treinamento em DC.

Capers, RS et al. 2022. What Did They Learn? Objective Assessment Tools Show Mixed Effects of Training on Science Communication Behaviors. Front. Commun. 6: art. 805630.