Jobb válaszok, sokszínűbb gondolkodás: a ChatGPT és a kritikai képzés előnyei
Egy több mint 1000 diák bevonásával végzett randomizált kísérletben a ChatGPT használata és az oksági érvelési képzés egymást kiegészítve javította a diákok munkáját.
Mi történik, amikor a diákok egy valós életből vett feladathoz használják a ChatGPT‑t? A minőség javulása az eredetiség rovására megy?
A Bocconi Egyetem kutatói az OpenAI Economic Research közreműködésével végzett új kísérletükben azt találták, hogy a ChatGPT‑hez való hozzáférés és a kritikai gondolkodást fejlesztő képzés eltérő, egymást kiegészítő hatással jár. A ChatGPT használata javította a diákok munkájának minőségét és koherenciáját, míg az oksági érvelést – a kritikai gondolkodás egyik formáját – fejlesztő gyakorlat hatására több egyedi ötlettel álltak elő. Azoknál a diákoknál, akik a ChatGPT‑hez is hozzáfértek, és a képzésen is részt vettek, mindkét hatás jelentkezett.
Az eredmények arra is rávilágítanak, hogy a diákok fejlődését átfogó szemlélettel érdemes értékelni. Mivel az AI megkönnyíti a diákok számára a kidolgozott válaszok elkészítését, a feladatokat hozzá kell igazítani más kívánatos tulajdonságok, például az eredetiség méréséhez.
A kísérlet során a Bocconi Egyetem több mint 1000 elsőéves hallgatója egy valós üzleti eseten dolgozott: marketingjavaslatokat készítettek az egyetem ajándékboltja számára.
A hallgatókat tanóránként véletlenszerűen négy csoport egyikébe osztották: csak a ChatGPT‑hez (GPT‑4o) fértek hozzá, csak oksági érvelési képzést kaptak, mindkettőben részesültek, vagy egyikben sem. Az oksági érvelés a kritikai gondolkodás egyik sajátos formája: okokat és következményeket kapcsol össze, és megmagyarázza, hogy egy adott megoldás miért működhet vagy miért nem. A diákok képzése nem kapcsolódott az AI-hoz: egy játékot, példákat, kérdéseket és visszajelzést tartalmazó gyakorlaton keresztül sajátították el az oksági érvelés fogalmait.
A hallgatók beadott munkáit képzett értékelők pontozták egy ötfokú szempontrendszer alapján. A kutatók ettől függetlenül automatizált szövegelemzéssel mérték az egyes munkákban szereplő ötletek számát és változatosságát, az oksági érvelés jeleit, valamint a három szakértő munkáihoz való hasonlóságot.
A ChatGPT‑hez hozzáférő hallgatók az ötfokú skálán csaknem egy teljes ponttal magasabb eredményt értek el. Válaszaik több ötletet tartalmaztak, világosabb logikát követtek, és jobban hasonlítottak a szakértők által írt javaslatokra. Más szóval az AI segített a kezdőknek professzionálisabbnak ható munkát készíteni. Fontos, hogy a diákok nem egyszerűen a ChatGPT‑re bízták a feladataikat. Továbbra is nekik kellett eldönteniük, mit kérdezzenek, értékelniük kellett a válaszokat, és ki kellett választaniuk, mi kerüljön a végleges munkájukba.
A kritikai gondolkodást fejlesztő gyakorlat váratlanabb eredményt hozott. A gyakorlatot elvégző diákok világosabban elmagyarázták, miért működhetnek az ötleteik, és mikor vallhatnak kudarcot. Mégsem értek el magasabb pontszámot, mert az értékelési rendszer csak azt mérte, mennyire szolgálták a javaslatok a két szokásos marketingcélt: az egyetemi bolt ismertségének és használatának növelését.
A szövegelemzés egy további előnyt is feltárt, amelyet az értékelési rendszer nem ragadott meg. A gyakorlatot elvégző diákok összességében változatosabb ötletekkel álltak elő, amelyek jobban különböztek társaik elképzeléseitől. Ez azért fontos, mert egy hagyományos értékelési rendszer – amilyet ebben a kísérletben is használtak – jutalmazhatja a világos, jól felépített választ, miközben figyelmen kívül hagyhatja, hogy a diák olyan ötlettel állt-e elő, amely másnak nem jutott eszébe.
Az oktatásról szóló vitát könnyű úgy beállítani, mintha választani kellene aközött, hogy a diákok önállóan gondolkodni vagy az AI-t használni tanuljanak meg.
Ez a kísérlet megmutatja, hogy mindkettő értékes, csak más-más módon. Az AI használata segített a diákoknak kidolgozottabb, ötletekben gazdagabb és logikailag koherensebb válaszokat készíteni. A kritikai gondolkodást fejlesztő képzés arra ösztönözte őket, hogy eredeti ötletek szélesebb körét dolgozzák ki, megkérdőjelezzék a feltételezéseket, és elmagyarázzák, miért működhetnek az elképzeléseik.
A kettő tehát kiegészíti egymást.
Azoknál a diákoknál, akik a ChatGPT‑hez is hozzáfértek, és a kritikai gondolkodást fejlesztő gyakorlatot is elvégezték, mindkettő előnyei megmutatkoztak. Ötleteik változatossága megegyezett a csak gyakorlatot végző diákokéval. Értékelési pontszámaik és ötleteik száma hasonló volt a csak ChatGPT‑hozzáférést kapó diákok eredményeihez. Munkájuk emellett erősebb logikai koherenciát mutatott, és több jel utalt arra, hogy magyarázatokat kerestek és megkérdőjelezték a feltételezéseket. Összességében ez a csoport javult a legtöbb vizsgált mutató tekintetében.
A kísérlet véletlenszerű besoroláson alapuló felépítése lehetővé tette a kutatóknak, hogy külön-külön vizsgálják a tényezőket, és elkülönítsék a ChatGPT‑hozzáférés, a kritikai gondolkodást fejlesztő gyakorlat, valamint ezek együttes alkalmazásának hatásait. Ez különösen értékes hozzájárulássá teszi a kísérletet ahhoz a gyorsan bővülő kutatási területhez, amely azt vizsgálja, hogyan hat az AI a diákokra, és miként lehet a legjobban megszervezni és támogatni a tanulásukat.
A gyakorlat diákokra gyakorolt tényleges hatása és a hagyományos értékelési rendszer által kimutatott eredmény közötti különbség az iskolák előtt álló tágabb kihívásra mutat rá.
Ha az AI segíthet a diákoknak kidolgozott, szakértői szintűnek tűnő munkát készíteni, akkor pusztán a végső válaszból kevesebbet tudhatunk meg arról, hogy valójában mit értenek.
Sok oktató már most azzal a következménnyel szembesül, hogy szükség lehet a feladatok és az értékelés átalakítására. Ez abba a több évtizedes folyamatba illeszkedik, amelyben a technológia és az oktatás együtt fejlődik, hogy támogassa a diákok modern társadalomban szükséges készségeit.
Az eredmények kiemelik, mennyire fontos jutalmazni azokat a munkákat, amelyek eredetiséget, érvelést és többféle megközelítés mérlegelését tükrözik, nem csupán a legszokványosabb vagy legkidolgozottabb válaszokat.
A lényeg: az AI segített a diákoknak jobb válaszokat adni. A kritikai gondolkodást fejlesztő képzés sokszínűbbé tette az ötleteiket. A kettő egymást kiegészítve készíti fel a diákokat a jövőre.
