ה-AI צירף מקור. מי בדק שהוא באמת תומך בתשובה?

בדוגמה שלנו, המערכת מצאה את העמוד הנכון. היא צירפה גם את המשפט על צוות המכירות, אבל הכניסה אותו בין פסקאות רבות על לוחות זמנים ותקציבים. המודל עלול לנסח: "בחודש הבא יתווסף תרגול שיחות לתוכנית ההכשרה." המשפט הזה נשמע סביר, אך הוא משמיט את ההגבלה לצוות השירות. הוספת מספר עמוד לידו אינה מתקנת את ההשמטה.

במחקר "Lost in the Middle" החוקרים שינו באופן מבוקר את מיקומו של מסמך רלוונטי בין מסמכים אחרים, ובדקו שאלות על מסמכים לצד משימת שליפה פשוטה יותר. במודלים שנבדקו אז, הצלחה הייתה לעיתים גבוהה יותר כשהמידע היה בתחילת הקלט או בסופו ונמוכה יותר כשהיה באמצע. גם הרחבת חלון ההקשר לא הבטיחה שימוש יציב במידע. המחקר פורסם לראשונה ב-2023 ובגרסתו השלישית בנובמבר אותה שנה; הוא מתאר מערכות ומשימות מסוימות מאותה תקופה, ולא קובע שכל מודל עכשווי נכשל באותה מידה. הוא כן מסביר למה כדאי לבדוק גם פרט שמופיע במסמך: עצם ההכללה בקלט אינה מבטיחה שהמודל נתן לו משקל נכון.

מכאן מגיעה הבחנה שימושית. איתור פירושו שהפסקה הנכונה הגיעה אל המודל. שימוש פירושו שהתשובה שמרה את הסייגים ואת היחסים בין המשפטים. יכול להיות איתור מוצלח ושימוש שגוי. כשיש הרבה קטעים, הוספת חומר יכולה לשפר את הסיכוי למצוא את התשובה, אך גם להכניס רעש. בניתוח של RagChecker, שינויים שהגדילו את השימוש בהקשר יכלו להגדיל גם רגישות לרעש. זו תוצאה על המערכות והנתונים שנבדקו, ולא כלל קבוע שלפיו תמיד עדיף להציג פחות מסמכים.

ההפניה מוכיחה את המשפט, או רק נראית קשורה?

השלב האחרון הוא הצגת תשובה עם הפניה. במימושים שונים ההפניה עשויה להצביע על קובץ, עמוד או קטע. היא עוזרת לכם להגיע לחומר המקורי, אך אינה בדיקה לוגית של המשפט שנכתב. הקלט לבדיקת ההפניה הוא טענה מסוימת מתוך התשובה והקטע שאליו היא מפנה; הפלט הרצוי הוא הכרעה צנועה: הקטע תומך בטענה, סותר אותה, או אינו מספיק כדי להכריע.

נניח שהתשובה מציגה שתי טענות: "בחודש הבא יתווסף תרגול שיחות" ו"כל הצוותים יעברו לתוכנית החדשה". הקטע בדו"ח תומך בראשונה רק עם ציון צוות השירות. הוא סותר את השנייה, משום שצוות המכירות נשאר בתוכנית הנוכחית. בדיקה ברמת כל התשובה כיחידה אחת עלולה לפספס את הפער. לכן במחקר RagChecker מפרקים תשובות לטענות קטנות ובודקים אם כל אחת נתמכת בטקסט. גם מחקר ARES מ-2023, בגרסה מעודכנת מ-2024, מפריד בין רלוונטיות הקטע, נאמנות התשובה לקטע ורלוונטיות התשובה לשאלה. ההפרדה הזאת מועילה לקורא: תשובה יכולה לעסוק בנושא הנכון ועדיין להוסיף פרט שלא נובע מן המקור.

כדאי לדייק גם בגבול הבדיקה. טענה שנתמכת בקטע אינה בהכרח נכונה בעולם: ייתכן שהדו"ח מיושן או מכיל טעות. ולהפך, מידע שהמודל יודע ממקור אחר עשוי להיות נכון, אך אינו מוכח באמצעות הדו"ח שצורף. כאשר המשימה היא לסכם מסמך מסוים, הנאמנות למסמך היא המדד המיידי; כאשר מקבלים החלטה בפועל, בודקים גם את אמינות המסמך ואת תוקפו. שופטים אוטומטיים מסוג ARES ו-RagChecker יכולים לסייע בהערכת מערכות על דוגמאות רבות, אך גם הם נשענים על נתוני בדיקה, מודלים שופטים והנחות לגבי תשובת ייחוס. הם אינם חותמת אמת לכל פסקה.

שלוש בדיקות לפני שהסיכום נכנס למצגת

במסמך חשוב, אל תסתפקו בשאלה "האם יש מקור?". בצעו את הבדיקות לפי הסדר שבו התשובה נבנתה:

1. בדקו מה נמצא. פתחו את ההפניה וחפשו את המשפט המדויק שעונה לשאלה. אם הוא חסר, בקשו מהעוזר לאתר את הפסקה העדכנית ואת מספר העמוד, או חפשו בעצמכם במסמך. כשאין קטע תומך, ניסוח מחדש של אותה תשובה אינו תחליף לחיפוש.

2. קראו שורה לפני ושורה אחרי. בדקו למי המשפט חל, לאיזה מועד, ומה החריגים. בדוגמה שלנו, המשפט על צוות המכירות משנה את היקף המסקנה. אם ההפניה מובילה לעמוד שלם, בקשו ציטוט קצר ומדויק מתוך העמוד ובדקו אותו במקור.

3. פרקו את התשובה לטענות. סמנו בנפרד פעולה, קבוצה, מועד ומידת ודאות. ליד כל טענה שאלו מה בטקסט תומך בה. כשאין תשובה, מחקו את הטענה מן הסיכום או סמנו במפורש שהיא עדיין לא אומתה.

אפשר לבקש מהעוזר להחזיר טבלה של "טענה", "קטע תומך" ו"מה לא ידוע". הבקשה הזאת יכולה לחשוף חורים ולחסוך קריאה חוזרת, אבל יש לפתוח בעצמכם את הקטעים כשההחלטה חשובה. אפשר גם לתת למודל את הפסקה הרלוונטית בלבד ולשאול שאלה ממוקדת; כך מצמצמים רעש, במחיר של סיכון להחמיץ סייג מחוץ לפסקה. לכן נשארת חשובה בדיקת ההקשר הקרוב במסמך המקורי.

כשמסמך כולל כמה גרסאות של אותה תוכנית, הוסיפו לבדיקה גם את תאריך המסמך ואת זהות הכותב או הגורם שאישר אותו. מנגנון האחזור עשוי למצוא ניסוח רלוונטי בגרסה ישנה, ומודל הניסוח עשוי להציג אותו כעדכון האחרון אם לא הועבר אליו מידע ברור על הגרסאות. במקרה כזה אפשר לשאול: "איזו גרסה של הדו"ח שימשה אותך, ומה כתוב בגרסה המאוחרת ביותר על צוות השירות?" גם את התשובה לשאלה החדשה צריך לבדוק מול הקובץ עצמו. זו בדיקת תוקף של המקור, נוסף על בדיקת נאמנות המשפט למקור.

תשובה טובה משאירה עקבות שאפשר לבדוק

המדד המעשי לתשובה המבוססת על מסמך הוא היכולת לשחזר את הדרך ממסקנה אל שורת המקור. אין צורך להבין איזה מודל חיפוש פעל מאחורי הקלעים כדי לשאול שלוש שאלות: האם נמצא הקטע הנכון, האם הסייגים שלו שרדו את הניסוח, והאם ההפניה תומכת בכל טענה שהוצגה. המחקרים מציעים דרכים למדוד את השלבים האלה במערכות; המשתמש יכול להפוך אותם להרגל קריאה קצר.

לפני שתעתיקו את סיכום דו"ח ההכשרה למצגת, בחרו את המשפט שהכי ישפיע על החלטה, פתחו את ההפניה שלו ובדקו גם את המשפט שלפניו ואת המשפט שאחריו. אם אי אפשר להראות מהיכן הגיעו הקבוצה, המועד והסייג, כתבו במצגת רק את מה שהמסמך אכן מאפשר לומר.

איך טקסט עברי הופך לטוקנים, מתי הספירה משפיעה על המחיר ואיך בודקים עלות ואיכות לפני שבוחרים מודל.