Lives de Ciência

Veja calendário das lives de ciência.

sexta-feira, 6 de janeiro de 2023

Divagação Científica - divulgando ciências cientificamente 39: efeito de treinamento

Rubega, MA, Burgio, KR, MacDonald, AAM, Oeldorf-Hirsch, A, Capers, RS, & Wyss, R. 2021. Assessment by Audiences Shows Little Effect of Science Communication Training. Science Communication, 43(2), 139–169. doi.org/10.1177/1075547020971639

Parte dos autores criaram um curso de comunicação pública de ciências (CPC) voltado para alunos da área de STEM - ciência, tecnologia, engenharia e matemática - (cerca de 10 por período) e de jornalismo (outros 10 alunos). A duração do treinamento foi de 4 meses. O primeiro mês dedicado à introdução à área de CPC com leituras e discussões. Os três meses seguintes foram de atividades práticas, incluindo entrevistas dos alunos de STEM para os colegas de jornalismo e análises dos vídeos das entrevistas e dos textos produzidos a partir delas. Antes e depois do curso, os estudantes gravaram um depoimento de até 3 minutos para a pergunta “como o processo científico funciona?”, tema que não era abordado no curso.

Como grupo controle foram recrutados estudantes da mesma universidade de áreas correlatas, que gravaram depoimentos sem passarem pelo treinamento.

Os vídeos com as explicações foram avaliados por outros alunos de graduação. 16 itens foram avaliados em pontos de 1 (“discordo totalmente”) a 7 (“concordo totalmente”) sobre três características: clareza (p.e. “a apresentação foi clara”), engajamento (p.e. “a pessoa parece entusiasmada com o tema”) e credibilidade do depoente (p.e. “a pessoa parece conhecer do assunto”). (Tabela 1.)

Tabela 1. Itens de avaliação dos vídeos (pontuados de 1 a 7).

categoria número item
clareza 1 a apresentação foi clara
2 foi fácil de acompanhar a apresentação
3 o(a) apresentador(a) usou de termos confusos
4 eu me senti confuso(a) em um ou mais pontos da apresentação
5 o(a) apresentador(a) usou de exemplos e/ou analogias para melhorar minha compreensão da informação
6 eu me distraí com a falta de fluência do(a) apresentador(a) (p.e. pausa, gaguejada, repetições, etc.)
engajamento 7 o(a) apresentador(a) parece entusiasmado(a) com o tema
8 o(a) apresentador(a) prendeu minha atenção
9 estou mais interessado(a) no assunto após assistir à apresentação
10 quero saber mais sobre o assunto
11 o(a) apresentador(a) usou de comunicação não-verbal (e.g. expressões faciais, gestos, linguagem corporal) que melhorou a apresentação
12 eu me distraí com a comunicação não-verbal do(a) apresentador(a) (e.g. expressões faciais, gestos, linguagem corporal)
credibilidade 13 o(a) apresentadora parece conhecer do assunto
14 o(a) apresentador(a) é simpático(a)
15 o(a) apresentador(a) faz o assunto parecer importante
16 o assunto é relevante para meus interesses

Os itens 3, 4, 6 e 12 tiveram a pontuação revertida na análise.

Após o curso, os trainees tiveram a seguinte avaliação:
- clareza: externa - média 4,73±0,81 (mediana: 4,76); autoavaliação: 5,53±0,97 (5,60);
- engajamento: 3,56±0,65 (3,40); 5,32±0,94 (5,37);
- credibilidade: 4,41±0,70 (4,30); 5,91±0,78 (5,95). 

Tanto no grupo teste quanto no controle, o segundo vídeo teve uma melhor avaliação do que o primeiro. Mas os alunos do curso tiveram uma melhora maior. Ainda assim o incremento foi de menos de 1 ponto na escala utilizada: a maior parte ficou entre 0,25 e 0,5 ponto de aumento antes e depois das aulas. (Fig 1.)

6 painéis de desempenho: 3 de alunos do curso e 3 de controle - nas dimensões de “clareza”, “engajamento” e “credibilidade”, cada painel exibe a nota mediana de um dos 16 itens do questionário. No painel de alunos do curso na dimensão “clareza”, as notas vão de cerca de 3,5 a 5 para cerca de 3,75 a 5,5; entre as pessoas do controle, a variação vai de cerca de 3,5 a 5 para cerca de 3,6 a 5,25. Na dimensão “credibilidade” as notas são similares. Na dimensão “engajamento” o padrão é similar, mas com notas mais baixas.

Figura 1. Evolução da avaliação do desempenho de comunicação em função do treinamento/tempo. 

Os autores também discutem a possibilidade de o instrumento de avaliação utilizado poder não ser o mais adequado para captar a qualidade do comunicador - houve uma grande variação nas pontuações, o que pode indicar que o que se entende por uma “boa comunicação” varia muito de pessoa para pessoa, tornando a tarefa de se avaliar o desempenho do comunicador bastante complexa.

Os autores notam também a grande diferença de desempenho entre as avaliações feitas por terceiros e as notas de autoavaliação - nestas últimas, o efeito do curso foi bem maior, com aumento de 1 a 2 pontos. Para os autores isso indica a necessidade uma avaliação externa e não apenas de autoavaliação dos alunos para se medir o impacto do treinamento em CPC.

Um curso de maior duração teria maior efeito? Mais oportunidade de os alunos treinarem e receberem feedback (duas vezes no curso) permitiria um desenvolvimento mais visível?


Upideite(11.jan.2023): Um artigo um pouco mais otimista sobre os efeitos de treinamento em DC.

Capers, RS et al. 2022. What Did They Learn? Objective Assessment Tools Show Mixed Effects of Training on Science Communication Behaviors. Front. Commun. 6: art. 805630.

Nenhum comentário:

LinkWithin

Related Posts with Thumbnails