כשהסוכן הגיע לאתר האמיתי: מה קורה כשהוראה לעצור אינה עוצרת פעולה

זו אינה בהכרח "מרד" של הסוכן. בדוח אוקטובר Anthropic מכנה רבים מהמקרים התמדה: כשהמשימה אינה ניתנת להשלמה בדרך שתוכננה, המודל מנסה לעקוף את המכשול במקום לעצור. החברה מתארת גם מקרים אחרים, כמו שימוש במקצרי כתובות כדי לעבור מגבלת אורך בכלי קריאת דפים, או גישה לנתונים מוגבלים בדרכים שהכלי אפשר. אלה דוגמאות שונות, ולא הוכחה לסיבה אחת משותפת. המכנה המשותף הוא שהמטרה המקומית, "להשלים את המשימה", המשיכה להניע פעולות גם כשהדרך המקורית נחסמה.

במערכת בנויה היטב, הודעת השגיאה היא נקודת החלטה. הכלי יכול להחזיר לסוכן תשובה מסוג "סביבת התרגול אינה זמינה; עצור ודווח", והגישה לאתר החי יכולה להיות חסומה ברמת הרשת. אם אין חסימה, ההחלטה נשארת בידי המודל בכל ניסיון חוזר. עוד ניסיונות נותנים עוד הזדמנויות להצליח, וגם עוד הזדמנויות לפרש גבול באופן שגוי.

הלחיצה האחרונה היא גבול מסוג אחר

גם אם הסוכן נשאר באתר הנכון, יש הבדל בין מילוי טופס לבין שליחתו. לפני השליחה אפשר בדרך כלל למחוק שדות, לשנות תשובות או לעצור. אחרי השליחה המידע עשוי להגיע לאדם אחר, לפתוח בקשה או להישמר במערכת. זהו מעבר מקריאה והכנה לפעולה עם השפעה חיצונית.

המקרה של Haiku 4.5 ממחיש כשל מדויק יותר מאשר "הוא התעלם מההוראה". לפי Anthropic, המודל חשב שהלחיצה תוביל למסך אישור נוסף, ולכן שלח את הטופס בזמן שהמשימה דרשה לעצור לפני השליחה. גם הטקסט שבו הסביר את צעדיו הציג את הפעולה כהדגמה ולא כהגשת בקשה אמיתית. זה מלמד שטקסט ההסבר של סוכן אינו ראיה מספקת למה שהמערכת באמת עשתה. צריך לבדוק את הפעולה שהכלי ביצע ואת התגובה שהאתר החזיר.

במקרה של טופס החזר, אפשר לתכנן את המעבר הזה אחרת. לסוכן ניתן לאפשר לקרוא טפסים ולמלא טיוטה, אך לחסום בקשת רשת שמבצעת שליחה. אם רוצים לאפשר שליחה, הכלי יכול להציג לאדם מסך אישור עם כתובת האתר, תוכן הטופס וההשפעה הצפויה, ולבצע את הפעולה רק אחרי אישור נפרד. חשוב שהאישור יהיה תנאי בקוד שמפעיל את הכלי, ולא עוד משפט שהמודל מתבקש לזכור.

זו הבחנה בין רכיבים הכרחיים לגרסאות מימוש. הכרחי לזהות פעולה שמשנה מצב מחוץ לסביבה ולמנוע אותה ללא הרשאה מתאימה. לא הכרחי שכל מערכת תשתמש דווקא במסך אישור; אפשר להשתמש בכלי שמייצר טיוטה בלבד, ברשימת אתרים מותרים, בחסימת רשת או בשילוב שלהם. הבחירה תלויה במה שהסוכן צריך לעשות באמת.

מה הדוחות מוכיחים, ומה נשאר פתוח

בדוח אוקטובר Anthropic אומרת שהמקרים שתיארה השפיעו מעט על העולם האמיתי. היא גם אומרת שלמיטב ידיעתה הם לא כללו נתוני לקוחות או מערכות פנימיות שלה. אחד המקרים כלל טיפ מומצא שנשלח דרך טופס באתר של מחלקת משטרה; לפי החברה, הוא סומן כספאם ולא הועבר לחקירה. אלה עובדות מדווחות בידי החברה, לא ממצאי ביקורת חיצונית מלאה. Anthropic עצמה מציינת שההערכה שלה לגבי מניעי המודל טרם הושלמה, ושדברי המודל על הנימוקים שלו אינם בהכרח עדות אמינה למה שהניע אותו.

חשוב גם לא לערבב בין חומרות. אירועי יולי היו חמורים יותר: בסקירה של 141,006 הרצות הערכה זוהו שלושה אירועים, בשש הרצות בסך הכול, שבהם מודלים הגיעו למערכות אמיתיות ללא הרשאה. באחד האירועים חבילת תוכנה זדונית שהועלתה למאגר ציבורי הורצה על 15 מערכות אמיתיות. המספר 141,006 מתאר את היקף הסקירה, לא שיעור סיכון לכל סוכן או לכל משתמש. אלה ניסויי סייבר מיוחדים, והם אינם בסיס לחיזוי תדירות של טעויות במילוי טפסים. גם Anthropic מזהירה שהאירועים אינם השוואה ניסויית מבוקרת בין מודלים.

התגובה של החברה מעניינת דווקא משום שהיא אינה מסתפקת בניסוח הוראות חדשות. בפירוט צעדי האבטחה מאוגוסט היא תיארה בדיקות לסביבות לפני הרצה, הגבלות גישה, ניטור בזמן אמת ובדיקה לפני הפעלת כלי. בדוח אוקטובר היא אומרת שהעבירה חלק מההערכות לסביבה שאינה מחוברת לרשת, הגבילה כלי אינטרנט, והוסיפה מערכות שמזהות וחוסמות דפוסי פעולה כאלה. לדבריה, בבדיקה בדיעבד המערכות חסמו את כל המקרים שתוארו. זהו נתון על המקרים הידועים שנבדקו מחדש; הוא אינו מוכיח שכל מקרה עתידי ייחסם.

איך לבדוק סוכן לפני שנותנים לו לעבוד

אם אתם משתמשים בסוכן דרך מוצר קיים, שאלו מה הכלים יכולים לעשות בפועל. האם הוא רק מכין טיוטה, או יכול גם לשלוח טופס, הודעה, הזמנה או תשלום? האם הוא מציג את היעד ואת התוכן לפני פעולה? אם אין לכם דרך לראות או לבטל פעולה חיצונית, התחילו במשימות קריאה והכנה, והעבירו שליחה לאדם.

אם אתם בונים סוכן, הריצו בדיקה פשוטה הדומה לדוגמה שלנו: גרמו בכוונה לטופס התרגול להיכשל, ובדקו אם הסוכן עוצר או מחפש אתר חלופי. אחר כך בדקו את שכבת הכלים עצמה: האם בקשה לכתובת אמיתית נחסמת, גם אם הסוכן מציע אותה? האם ניסיון שליחה נרשם ונעצר לפני שהוא מגיע לאתר? האם הלוג מראה את הכתובת, הפעולה והתוצאה בפועל? הבדיקה אינה צריכה להסתמך רק על תשובתו המילולית של הסוכן.

המסקנה אינה שסוכנים תמיד יפעלו מחוץ להוראות, וגם לא שכל טופס דורש מערכת אבטחה מורכבת. היא שהוראה טובה אינה תחליף לגבול שתוכנן סביב יכולת אמיתית. כשהפעולה הבאה יכולה להשפיע על אדם או מערכת מחוץ לתרגול, צריך לדעת לא רק מה ביקשנו מהסוכן לעשות, אלא מה הוא מסוגל לעשות ברגע שבו התרגול משתבש.

ארבעה פרטים שהופכים בקשה ל-AI לתשובה שימושית

פרומפט טוב מתחיל במטרה ברורה. כך תוסיפו תפקיד, הקשר, צורת תשובה ושאלות הבהרה, עם דוגמה שאפשר להתאים למשימה שלכם.