חלון הקשר (context window)

חלון הקשר: למה כלי AI מאבד הוראות משיחה ארוכה?

אתם עובדים עם כלי AI על מסמך ארוך. בתחילת השיחה ביקשתם שיכתוב לקהל בלי ידע מקצועי, אבל אחרי כמה סבבים התשובה חוזרת להיות עמוסה במונחים. אחת הסיבות האפשריות היא שפרטי ההנחיה המוקדמת כבר אינם חלק מהמידע שהמודל מקבל באותו רגע. כאן נכנס המושג "חלון הקשר".

מהו חלון הקשר?

חלון הקשר, Context Window באנגלית, הוא כמות המידע שהמודל יכול להביא בחשבון בעת יצירת תשובה אחת. הוא עשוי לכלול את השאלה הנוכחית, הודעות קודמות, מסמכים שצורפו, הוראות מערכת, תוצאות חיפוש וגם מקום לתשובה עצמה. הוא נמדד בדרך כלל בטוקנים, יחידות עיבוד של טקסט. טוקן אינו בהכרח מילה שלמה, ולכן מספר המילים שאפשר להכניס אינו קבוע. התיעוד של Anthropic מסביר את גבולות החלון, וההסבר של OpenAI על טוקנים מבהיר למה אורך טקסט במילים אינו מדד מדויק.

איך זה עובד ולמה זה חשוב?

כשאתם שולחים בקשה, היישום מרכיב את המידע שהמודל יקבל. הוא יכול לכלול את כל השיחה הקודמת או רק חלק ממנה. אם הסכום גדול מדי, היישום צריך לבחור מה להשאיר: לקצר, לסכם, להשמיט הודעות ישנות או להחזיר שגיאה. ההתנהגות תלויה במוצר ובהגדרות שלו. למשל, תיעוד OpenAI לשיחות בזמן אמת מתאר אפשרות שבה הודעות ישנות נגרעות כשהמגבלה נחצית.

המשמעות היא ש"כתבתי את זה בתחילת השיחה" אינה ערובה לכך שהפרט עדיין נוכח בבקשה הנוכחית. גם כשהוא נוכח, אין הבטחה שהמודל ישתמש בכל פרט ארוך באותה רמת דיוק. חלון גדול מאפשר להכניס יותר חומר, אך הוא אינו הופך את כל החומר לזיכרון קבוע או להבנה מושלמת.

דוגמה מחיי היום-יום

אתם מכינים מדריך להורים מתוך עשרות עמודי הערות. אתם מעלים קבצים, מבקשים מבנה, משנים את סדר הפרקים ואז מבקשים גרסה סופית. אם ההוראה "בלי המלצות רפואיות" ניתנה רק בתחילת שיחה ארוכה, כדאי לחזור עליה בבקשה האחרונה. כך אתם מגדילים את הסיכוי שהגבול החשוב יהיה חלק מההקשר הפעיל בזמן כתיבת הגרסה.

מה עושים עם הידע הזה?

בתחילת משימה ארוכה כתבו בקצרה את המטרה, הקהל והאילוצים. בכל שלב מכריע חזרו על שניים או שלושה תנאים שאסור לפספס. במסמכים ארוכים בקשו קודם סיכום של כל חלק, בדקו אותו, ורק אז בקשו שילוב. אם התשובה מתעלמת מפרט מרכזי, אל תניחו שהמודל "זוכר" אותו; צרפו שוב את הקטע הרלוונטי והצביעו עליו.

הנקודה שכדאי לזכור: חלון הקשר הוא שטח העבודה הזמני של התשובה הנוכחית. ניהול טוב של המידע שנכנס אליו חשוב לא פחות מגודלו.