הטמעה וקטורית (embedding)

הטמעה וקטורית: איך חיפוש מוצא תשובה כשהמילים שונות?

אתם מחפשים במסמכי העבודה "דמי ביטול", אבל במסמך הרלוונטי כתוב "עלות במקרה של ביטול". חיפוש לפי אותן מילים בלבד עלול לפספס אותו.

מהי הטמעה וקטורית?

Embedding הוא ייצוג מספרי של טקסט או מידע אחר, שנועד לשקף מאפיינים משמעותיים שלו. מערכת יכולה להשוות בין הייצוג של השאלה לייצוגי קטעי מסמכים ולמצוא קטעים דומים מבחינת משמעות. Microsoft מתארת שימוש בהטמעות לצורך שליפה במסמכים.

איך זה מתחבר לחיפוש?

תחילה מחלקים מסמכים לקטעים ויוצרים לכל קטע הטמעה. כשנשלחת שאלה, יוצרים גם לה הטמעה ומשווים בין הייצוגים. כך אפשר למצוא התאמות שלא חולקות אותן מילים. מערכות רבות משלבות זאת עם חיפוש מילות מפתח כדי לשפר את התוצאות.

במדריך כתוב "אפשר לקבל החזר בתוך 14 יום", והמשתמש שואל "עד מתי אפשר להחזיר?". הטמעה עשויה לעזור לאתר את הסעיף. עם זאת, דמיון במשמעות אינו הוכחה שהקטע עונה בדיוק על השאלה.

מה חשוב לבדוק?

במערכת שעונה מתוך מסמכים, פתחו את הקטע שנשלף ובדקו אם הוא עדכני, רלוונטי ומכיל את התנאי הנכון. חיפוש סמנטי יכול להביא מקור קרוב, אך עדיין להחמיץ חריג, מספר או ניסוח משפטי חשוב.

הטמעה משפרת את היכולת למצוא חומר רלוונטי; את התשובה עצמה צריך לבדוק מול המקור.