נתתם לסוכן משימה. מישהו אחר כתב לו הוראות

כשההוראה מגיעה לכלי, הפרצה יכולה להיות עמוקה יותר

במאי 2026 פרסמו חוקרי Microsoft בדיקה של Semantic Kernel, מסגרת לפיתוח סוכני AI. בהדגמה אחת הם בנו סוכן לחיפוש מלונות. קלט שהמודל שלט בו הועבר לכלי החיפוש ונכנס לביטוי קוד שנבנה בצורה לא בטוחה. כך הצליחו החוקרים לגרום להרצת פקודה על המחשב שמריץ את הסוכן. Microsoft מתארת שתי חולשות שתוקנו, ומבהירה שהמסלול דרש גם דרך להשפיע על קלט הסוכן וגם תצורת כלי פגיעה. אין כאן ראיה שכל התקנת Semantic Kernel הייתה חשופה או שנגרמה פגיעה במשתמשים.

המקרה מוסיף הבחנה: לפעמים המודל אינו צריך "להאמין" להוראה ארוכה. די בכך שערך שהוא מעביר לכלי מתקבל בלי בדיקה מתאימה. כאשר מפתח מחבר סוכן לכלי חיפוש, הורדה או כתיבה, גבול האבטחה צריך להיות גם בקוד של הכלי: אילו פרמטרים הוא מקבל, לאן מותר לו לכתוב, ואילו פקודות אינן נגישות למודל. ניסוח זהיר של ההוראות לסוכן אינו מתקן כלי שמבצע קלט מסוכן.

ההוראה יכולה להישאר גם אחרי שהמשימה הסתיימה

בספטמבר 2026 פרסמו חוקרי OpenAI ניסוי על הזרקות הוראות שמשכפלות את עצמן. בדוגמה שיצרו, הודעת מייל על תיאום אימון ביקשה מסוכן לענות בספרדית ולצרף לתשובה את מלוא ההודעה המקורית. כשהסוכן עשה זאת, הוא העתיק לתשובתו גם את ההוראה שנשתלה במייל. החוקרים הראו גם מסלולי שכפול דרך קבצים והערות קוד. הם מדגישים שלא נצפתה השפעה מחוץ לקריאות כלי מדומות בסביבת האימון וההערכה.

הניסוי אינו מראה שכל מייל משוכפל ייצור "תולעת AI". הוא מראה למה צריך לבדוק גם את הפלט שהסוכן מפרסם אחרי שקרא תוכן זר. תשובה שנשלחת הלאה, קובץ שנשמר או הערת קוד שהועלתה למאגר יכולים להפוך למקור מידע שסוכן אחר יקרא. הוראה אחת עלולה להמשיך לנוע אם המערכת מעתיקה אותה בלי לזהות את מקורה.

הגבול החשוב הוא הפעולה שהסוכן רשאי לבצע

בעיניי, השאלה המרכזית בהגנה על סוכן היא מה הוא מסוגל לעשות אחרי שהוא קורא חומר שלא בחרתם. OpenAI מסבירה שהגנות על מודל וסינון תוכן מועילות, אך אינן מבטיחות זיהוי של כל ניסיון שנראה כמו הוראת עבודה רגילה. לכן כדאי להציב גבולות גם במערכות שסביבו.

לפני שמחברים סוכן למשימה, בדקו שלושה דברים:

• היקף הגישה: האם הסוכן צריך את כל תיבת הדואר או רק תיקייה מסוימת, את כל מאגר הקבצים או רק מסמכים שנבחרו למשימה?

• פעולות יוצאות: האם הוא יכול לשלוח הודעות, להעלות קבצים, למחוק מידע או להריץ קוד, ומתי נדרש אישור שלכם על הפעולה המדויקת?

• הכלים עצמם: האם כלי שאליו הסוכן מעביר ערכים מגביל כתובות, נתיבי קבצים ופקודות, גם כשהמודל מציע ערך שגוי?

אישור אנושי מועיל במיוחד לפני שליחה, פרסום, רכישה ושינוי שקשה לבטל. כדאי לקרוא בחלון האישור מה נשלח, למי, ומאיזה מקור נלקח המידע. גם זה אינו פתרון מלא: משתמש עלול לאשר פעולה מתוך הרגל, ויש פעולות שמתרחשות לפני חלון האישור. ההגנה הטובה יותר משלבת הרשאות מצומצמות, גבולות קשיחים בכלים ותיעוד של פעולות הסוכן.

בפעם הבאה שאתם מחברים סוכן למייל, למסמכים או לקוד, בחרו משימה אחת ופתחו את רשימת ההרשאות שלו. מצאו פעולה אחת שהוא יכול לבצע ושאינה נחוצה למשימה, וכבו אותה. כך גם אם תוכן זר יצליח להשפיע על הצעד הבא שלו, יהיה לו פחות כוח להפוך את ההוראה לפעולה.

איך טקסט עברי הופך לטוקנים, מתי הספירה משפיעה על המחיר ואיך בודקים עלות ואיכות לפני שבוחרים מודל.