תשובות טובות יותר, חשיבה רחבה יותר: מה סטודנטים מרוויחים מ-ChatGPT ומהדרכה בחשיבה ביקורתית

מה קורה כשסטודנטים משתמשים ב-ChatGPT במטלה שעוסקת בבעיה מהעולם האמיתי? האם השיפור באיכות בא על חשבון המקוריות?

ניסוי חדש של חוקרים מאוניברסיטת בוקוני, בשיתוף צוות המחקר הכלכלי של OpenAI, מצא שלגישה ל-ChatGPT ולהדרכה בחשיבה ביקורתית יש השפעות שונות ומשלימות. הגישה ל-ChatGPT שיפרה את האיכות והלכידות של עבודות הסטודנטים, ואילו תרגיל בחשיבה סיבתית — סוג של חשיבה ביקורתית — הוביל אותם להעלות רעיונות ייחודיים יותר. אצל סטודנטים שקיבלו גם גישה ל-ChatGPT וגם הדרכה ניכרו שתי ההשפעות.

התוצאות מדגישות גם את חשיבותה של גישה מקיפה להערכת התקדמותם של סטודנטים. ככל שבינה מלאכותית מקלה על סטודנטים להפיק תשובות מלוטשות, ייתכן שצריך להתאים את המטלות כדי למדוד איכויות רצויות נוספות, כמו מקוריות. 

במהלך הניסוי, יותר מ-1,000 סטודנטים בשנה הראשונה לתואר ראשון באוניברסיטת בוקוני עבדו על מקרה עסקי מהעולם האמיתי: גיבוש המלצות שיווקיות לחנות המוצרים הממותגים של האוניברסיטה.

הסטודנטים הוקצו באקראי, לפי קבוצות השיעור שלהם, לאחת מארבע קבוצות: גישה ל-ChatGPT ‏(GPT‑4o), הדרכה בחשיבה סיבתית, שניהם, או אף אחד מהם. חשיבה סיבתית היא סוג מסוים של חשיבה ביקורתית, העוסק בקישור בין סיבה לתוצאה ובהסבר מדוע פתרון מסוים עשוי להצליח או להיכשל. ההדרכה שקיבלו הסטודנטים לא עסקה בבינה מלאכותית, אלא לימדה מושגים בחשיבה סיבתית באמצעות תרגיל שכלל משחק, דוגמאות, שאלות ומשוב. 

העבודות שהגישו הסטודנטים הוערכו בידי בודקים אנושיים שהוכשרו לכך, באמצעות מחוון הערכה בסולם של חמש נקודות. בנפרד, החוקרים השתמשו בניתוח טקסט אוטומטי כדי למדוד בכל עבודה את מספר הרעיונות ואת המגוון שלהם, סימנים לחשיבה סיבתית ואת מידת הדמיון לעבודות שהגישו שלושה מומחים. 

הסטודנטים שקיבלו גישה ל-ChatGPT השיגו ציון גבוה בכמעט נקודה שלמה בסולם של חמש נקודות. התשובות שלהם כללו יותר רעיונות, התבססו על היגיון ברור יותר והיו דומות יותר להמלצות שכתבו המומחים. במילים אחרות, בינה מלאכותית עזרה לחסרי ניסיון להפיק עבודה שנראתה מקצועית יותר. חשוב לציין שהסטודנטים לא פשוט העבירו ל-ChatGPT את ביצוע המטלות שלהם. הם עדיין נדרשו להחליט מה לשאול, להעריך את התשובות ולבחור מה ייכלל בעבודה הסופית שהגישו. 

התרגיל בחשיבה ביקורתית הניב תוצאה מפתיעה יותר. סטודנטים שהשלימו את התרגיל הסבירו בצורה ברורה יותר מדוע הרעיונות שלהם עשויים להצליח ובאילו מקרים הם עלולים להיכשל. עם זאת, הם לא השיגו ציון גבוה יותר במחוון ההערכה, שמדד רק עד כמה ההמלצות נתנו מענה לשתי מטרות שיווקיות מקובלות: הגברת המודעות לחנות האוניברסיטה והגדלת השימוש בה.

ניתוח הטקסט חשף יתרון נוסף שלא בא לידי ביטוי במחוון. בקרב הסטודנטים שהשלימו את התרגיל נמצא מגוון רחב יותר של רעיונות, והם היו שונים יותר מרעיונותיהם של עמיתיהם. יש לכך חשיבות, משום שמחוון מסורתי, כמו זה ששימש להערכת הסטודנטים בניסוי, יכול לתגמל תשובה ברורה ומובנית היטב, בלי להביא בחשבון אם הסטודנט העלה רעיון שאיש מלבדו לא חשב עליו.

קל להתפתות להציג את הדיון בחינוך כבחירה בין ללמד סטודנטים לחשוב בעצמם לבין ללמד אותם להשתמש בבינה מלאכותית.

הניסוי הזה מדגיש שלשתי האפשרויות יש ערך, כל אחת בדרכה. הגישה לבינה מלאכותית עזרה לסטודנטים להפיק תשובות מלוטשות יותר, עשירות יותר ברעיונות ובעלות רצף לוגי ברור יותר. ההדרכה בחשיבה ביקורתית עודדה אותם לפתח מגוון רחב יותר של רעיונות מקוריים, לבחון הנחות יסוד ולהסביר מדוע הרעיונות שלהם אמורים להצליח.

שתי הדרכים משלימות זו את זו. 

אצל סטודנטים שקיבלו גם גישה ל-ChatGPT וגם את התרגיל בחשיבה ביקורתית ניכרו היתרונות של שניהם. מגוון הרעיונות שלהם היה דומה לזה של סטודנטים שהשלימו רק את התרגיל. הציונים שלהם במחוון ומספר הרעיונות שהעלו היו דומים לאלה של סטודנטים שקיבלו רק גישה ל-ChatGPT. בעבודותיהם ניכרו גם רצף לוגי ברור יותר וסימנים רבים יותר לחיפוש הסברים ולבחינת הנחות יסוד. בסך הכול, בקבוצה זו נרשם שיפור במגוון הרחב ביותר של מדדים. 

ההקצאה האקראית בניסוי אפשרה לחוקרים לבחון לעומק את הגורמים השונים ולהפריד בין ההשפעה של גישה ל-ChatGPT, ההשפעה של התרגיל בחשיבה ביקורתית וההשפעה של שילובם. בכך הניסוי תורם תרומה חשובה במיוחד לתחום מחקר שצומח במהירות: השפעת הבינה המלאכותית על סטודנטים והדרכים המיטביות לארגון הלמידה שלהם ולתמיכה בה. 

הפער בין השפעת התרגיל על הסטודנטים לבין מה שנמדד במחוון המסורתי מצביע על אתגר רחב יותר שניצב בפני מוסדות חינוך. 

אם בינה מלאכותית יכולה לעזור לסטודנטים להפיק עבודה מלוטשת ברמה של מומחים, בחינה של התשובה הסופית בלבד מלמדת אותנו פחות על מה שהסטודנט באמת מבין. 

אנשי חינוך רבים כבר מתמודדים עם המשמעות הנובעת מכך: ייתכן שיש צורך לשנות את המטלות ואת דרכי ההערכה. זהו המשך של תהליך שנמשך עשרות שנים, שבו הטכנולוגיה והחינוך מתפתחים יחד כדי לטפח את הכישורים הדרושים ללומדים בחברה המודרנית.

התוצאות האלה מדגישות את החשיבות של מתן קרדיט לסטודנטים על עבודה שמשקפת מקוריות, חשיבה לוגית ובחינה של כמה גישות, ולא רק על התשובות המקובלות או המלוטשות ביותר. 

השורה התחתונה: בינה מלאכותית עזרה לסטודנטים לשפר את התשובות שלהם. ההדרכה בחשיבה ביקורתית עזרה להרחיב את מגוון הרעיונות שלהם. לשתיהן תפקידים משלימים בהכנת הסטודנטים לעתיד.