הזיה (hallucination)
הזיה: איך מזהים תשובה שנשמעת נכונה אך אינה מבוססת?
ביקשתם מכלי AI למצוא את שם המאמר שעליו הסתמכה מצגת. הוא מחזיר כותרת, שם מחבר ושנת פרסום, הכול נראה משכנע. רק כשמחפשים את המאמר מגלים שהוא אינו קיים. לטעות הזאת יש שם שכדאי להכיר: "הזיה".
מהי הזיה?
הזיה, Hallucination באנגלית, היא תשובה שמציגה פרט שגוי או לא מבוסס כאילו הוא עובדה. זו יכולה להיות כותרת של מחקר שלא פורסם, ציטוט שלא נאמר, מספר לא נכון או פירוש שגוי למסמך. המונח הוא דימוי בלבד: המודל אינו חווה משהו בדומה לאדם. OpenAI מתארת הזיות כטענות שנשמעות סבירות אך אינן נכונות.
למה זה קורה?
מודל שפה לומד דפוסים מתוך כמויות גדולות של טקסט ומייצר תשובה לפי ההקשר שקיבל. הוא מסוגל לנסח משפט שדומה מאוד לתיאור אמין גם כשהפרט המסוים אינו בידיו. זו הסיבה שסגנון בטוח, רשימת מקורות מסודרת או ניסוח מלוטש אינם ראיה לנכונות.
סיבה נוספת היא אופן הבדיקה והתגמול של מודלים. במחקר שפרסמה OpenAI, החוקרים טוענים שמדידה שמתגמלת ניחוש נכון אך אינה נותנת ערך מתאים להודאה באי-ידיעה עלולה לעודד תשובות בטוחות מדי. זו טענה על מנגנון אחד לתופעה, ולא הסבר יחיד לכל שגיאה של כל מודל. מקור המחקר וההסתייגויות מופיעים בסקירת המחקר.
גם מקור מצורף אינו חותמת אמינות. המודל עלול לקשר לעמוד אמיתי שלא תומך בטענה, להבין פסקה שלא כהלכה או להסתמך על מידע מיושן. לכן השאלה החשובה אינה רק "האם יש קישור?", אלא "האם הקישור תומך בדיוק במשפט שנכתב?".
דוגמה מחיי היום-יום
אתם מכינים הודעה להורי כיתה על מועד הגשה. כלי AI מסכם שרשום במסמך "יום חמישי", אבל בקובץ המקורי כתוב "יום שלישי". טעות כזאת אינה מחייבת סיפור מומצא שלם. די בפרט אחד שגוי כדי לגרום להודעה מעשית להטעות אנשים.
איך עובדים נכון עם התשובה?
בדקו במיוחד שמות, תאריכים, סכומים, ציטוטים, קישורים והוראות פעולה. אם התשובה נשענת על מסמך, פתחו את המקום המתאים במסמך והשוו. אפשר לבקש מהכלי לציין היכן מצא כל טענה ולהודות כשאין לו מקור, אך גם את ההפניות האלה צריך לבדוק. ככל שההחלטה חשובה יותר, כך נדרשת בדיקה עצמאית קפדנית יותר.
טעות נפוצה היא לחשוב שהזיה תמיד נשמעת מוזרה. לעיתים היא דווקא נשמעת מדויקת מאוד. מה שכדאי לזכור: ביטחון בניסוח הוא מאפיין של התשובה, לא מדד לאמיתותה.
תגובות
טוען תגובות…