מודל שפה גדול (large language model, LLM)

מודל שפה גדול: איך הוא מנסח תשובות ומה צריך לבדוק?

אתם מבקשים מכלי AI לנסח מחדש הודעה ללקוחות. הוא מחזיר טקסט מסודר, משנה את הטון לפי בקשתכם ומציע כותרת. מאחורי השיחה הזאת עומד לעיתים קרובות מודל שפה גדול. כדי להשתמש בו טוב, כדאי להבין מה הוא עושה ומה אינו עושה מעצמו.

מהו מודל שפה גדול?

מודל שפה גדול, Large Language Model או LLM באנגלית, הוא מודל שלמד דפוסים מתוך כמויות גדולות של נתונים ויכול לעבד וליצור טקסט. חלק מהמודלים עובדים גם עם סוגי מידע נוספים, אבל כאן נתמקד בשפה. בשלב הלמידה המודל מתאמן, בין היתר, על חיזוי יחידות טקסט בהקשר שלהן. בשלב השימוש הוא מקבל בקשה ומפיק תשובה בהתאם לקלט ולהוראות שקיבל. קורס למידת המכונה של Google מתאר את חיזוי יחידות הטקסט ואת התפקיד של ההקשר בתהליך.

איך התשובה נוצרת?

הטקסט מפורק ליחידות שנקראות טוקנים. המודל משתמש ברצף שכבר ראה בבקשה ובתשובה שהוא בונה כדי לבחור את ההמשך. התהליך הזה יכול להפיק הסברים, סיכומים וניסוחים מועילים, משום שהמודל למד קשרים רבים בין מילים, משפטים ורעיונות. הוא אינו שולף כל משפט ממאגר תשובות מוכן מראש.

ההבדל בין "מודל" לבין "כלי" חשוב. המודל הוא רכיב שמפיק או מנתח תוכן. המוצר שבו משתמשים יכול להוסיף לו ממשק שיחה, חיפוש ברשת, גישה לקבצים או חיבור ליישומים אחרים. אם כלי מסוים מצליח לבדוק אתר מעודכן, אין פירוש הדבר שכל מודל שפה עושה זאת לבדו. צריך לבדוק אילו מקורות וכלים היו זמינים באותה משימה.

דוגמה מחיי היום-יום

צריך להודיע לדיירי בניין על עבודות בחדר המדרגות. אתם נותנים למודל את העובדות: מה יבוצע, מתי, למי לפנות וכמה זמן צפויה הפרעה. אתם מבקשים הודעה קצרה ומנומסת. המודל יכול לנסח אותה, להציע גרסה רשמית וגרסה ידידותית ולסדר את הפרטים לפי חשיבות. אבל אם לא נתתם שעת התחלה, הוא עלול להציע שעה שנשמעת סבירה. זו אינה עובדה שצריך לפרסם בלי בדיקה.

מה כדאי לעשות בפועל?

השתמשו במודל למשימות שבהן ניסוח, ארגון והסבר עוזרים לכם: טיוטה למכתב, סיכום חומר שסיפקתם או השוואת אפשרויות שהגדרתם. תנו לו את העובדות הדרושות, את קהל היעד ואת צורת התוצאה הרצויה. כשהתשובה כוללת פרט שאמור להיות מדויק, כמו תאריך, מקור, מחיר או הוראה מקצועית, בדקו אותו מול מקור מתאים.

טעות נפוצה היא לחשוב שתשובה רהוטה היא הוכחה לידיעה או להבנה מלאה של המצב. מודל שפה יכול לנסח היטב גם כשהקלט חסר או כשהוא טועה. מה שכדאי לזכור: זהו כלי חזק לעבודה עם שפה, והתוצאה שלו טובה יותר כאשר מספקים הקשר ובודקים עובדות.