Respostas melhores, pensamento mais amplo: ganhos do ChatGPT e do pensamento crítico

O que acontece quando estudantes usam o ChatGPT em uma tarefa do mundo real? As melhorias na qualidade comprometem a originalidade?

Um novo experimento de pesquisadores da Universidade Bocconi, em colaboração com a OpenAI Economic Research, identificou efeitos distintos e complementares do acesso ao ChatGPT e do treinamento em pensamento crítico. O acesso ao ChatGPT melhorou a qualidade e a coerência do trabalho dos estudantes, enquanto um exercício de raciocínio causal — uma forma de pensamento crítico — os levou a gerar ideias mais originais. Os estudantes que tiveram acesso ao ChatGPT e receberam o treinamento apresentaram ambos os efeitos.

Os resultados também destacam a importância de uma abordagem integral para avaliar o progresso dos estudantes. À medida que a IA facilita a produção de respostas bem elaboradas pelos estudantes, talvez seja necessário adaptar as tarefas para avaliar outras qualidades desejadas, como a originalidade. 

Durante o experimento, mais de mil estudantes do primeiro ano da graduação na Universidade Bocconi trabalharam em um caso empresarial real, desenvolvendo recomendações de marketing para a loja de produtos da universidade.

As turmas foram distribuídas aleatoriamente em quatro grupos, que receberam: acesso ao ChatGPT (GPT‑4o), treinamento em raciocínio causal, ambos ou nenhum dos dois. O raciocínio causal é uma forma específica de pensamento crítico relacionada a estabelecer relações de causa e efeito e explicar por que determinada solução pode ou não funcionar. O treinamento não tinha relação com IA. Em vez disso, ensinava conceitos de raciocínio causal por meio de um exercício que envolvia um jogo, exemplos, perguntas e feedback. 

Os trabalhos dos estudantes foram avaliados por examinadores humanos treinados, com uma rubrica de cinco pontos. Separadamente, os pesquisadores usaram análise automatizada de texto para medir o número e a variedade de ideias de cada trabalho, indícios de raciocínio causal e a semelhança com os trabalhos de três especialistas. 

Os estudantes que tiveram acesso ao ChatGPT obtiveram quase um ponto a mais na escala de cinco pontos. Suas respostas continham mais ideias, seguiam uma lógica mais clara e eram mais semelhantes às recomendações elaboradas por especialistas. Em outras palavras, a IA ajudou iniciantes a produzir trabalhos com aparência mais profissional. É importante ressaltar que os estudantes não estavam simplesmente entregando suas tarefas ao ChatGPT. Eles ainda precisavam decidir o que perguntar, avaliar as respostas e escolher o que incluir no trabalho final. 

O exercício de pensamento crítico produziu um resultado mais inesperado. Os estudantes que concluíram o exercício explicaram com mais clareza por que suas ideias poderiam funcionar e em quais situações poderiam falhar, mas não obtiveram notas maiores na rubrica, que avaliava apenas o quanto as recomendações atendiam a dois objetivos tradicionais de marketing: aumentar o reconhecimento e o uso da loja da universidade.

A análise de texto revelou outro benefício que a rubrica não captou. No conjunto, os estudantes que concluíram o exercício produziram uma variedade maior de ideias, mais distintas em comparação às de seus colegas. Isso é relevante porque uma rubrica tradicional, como a usada para avaliar os estudantes neste experimento, pode recompensar uma resposta clara e bem estruturada sem considerar se o estudante teve uma ideia que ninguém mais teve.

Pode ser tentador apresentar o debate sobre educação como uma escolha entre ensinar os estudantes a pensar por conta própria ou a usar IA.

Este experimento destaca que ambos são valiosos de maneiras diferentes. O acesso à IA ajudou os estudantes a produzir respostas mais bem elaboradas, ricas em ideias e logicamente coerentes. O treinamento em pensamento crítico os incentivou a desenvolver uma variedade maior de ideias originais, questionar premissas e explicar por que suas ideias deveriam funcionar.

Juntos, eles se complementam. 

Os estudantes que tiveram acesso ao ChatGPT e fizeram o exercício de pensamento crítico apresentaram os benefícios de ambos. A variedade de suas ideias foi equivalente à dos estudantes que fizeram apenas o exercício. Suas notas na rubrica e seu número de ideias foram semelhantes aos dos estudantes que tiveram apenas acesso ao ChatGPT. Seus trabalhos também apresentaram maior coerência lógica e mais indícios de busca por explicações e questionamento de premissas. No geral, esse grupo apresentou avanços na maior variedade de medidas. 

O desenho randomizado do experimento permitiu aos pesquisadores examinar esses diferentes fatores, separando os efeitos do acesso ao ChatGPT e do exercício de pensamento crítico daqueles decorrentes da combinação de ambos. Isso torna o experimento uma contribuição especialmente útil para o crescente conjunto de pesquisas sobre o impacto da IA nos estudantes e sobre a melhor maneira de estruturar e apoiar seu aprendizado. 

A diferença entre o impacto do exercício nos estudantes e o que foi captado pela rubrica tradicional aponta para um desafio mais amplo enfrentado pelas instituições de ensino. 

Se a IA pode ajudar estudantes a produzir trabalhos bem elaborados e comparáveis aos de especialistas, analisar apenas a resposta final revela menos sobre o que eles realmente entendem. 

Muitos educadores já lidam com a possibilidade de que tarefas e avaliações precisem mudar. Isso segue um padrão de várias décadas em que tecnologia e educação evoluem juntas para apoiar as habilidades de que os estudantes precisam na sociedade moderna.

Esses resultados destacam a importância de valorizar trabalhos que demonstrem originalidade, raciocínio e consideração de diferentes abordagens, em vez de recompensar apenas as respostas mais convencionais ou bem elaboradas. 

Principal conclusão: a IA ajudou os estudantes a melhorar suas respostas. O treinamento em pensamento crítico ajudou a ampliar suas ideias. Os dois desempenham papéis complementares na preparação dos estudantes para o futuro.