15 דקות לזיהוי, שעתיים וחצי לעצירה: הפער בניטור הסוכנים של OpenAI
כתבות5 דקות קריאהסוכני AIבטיחות סוכניםניטוראבטחת מידעOpenAIHugging Face
בשחזור האירוע המערכת התריעה מוקדם, אבל במקרה אמיתי עברו שעתיים וחצי עד לעצירה ידנית.
עיקרי הדברים
OpenAI הרחיבה את הניטור של סוכנים לאחר אירוע שבו הם הגיעו למערכות Hugging Face.
בשחזור של האירוע, המערכת המשופרת התריעה יותר מ-30 שעות לפני מועד הפריצה המקורית. זו בדיקה בדיעבד.
באירוע אחר התקבלה התראה בתוך 15 דקות, אך ההרצה נעצרה ידנית רק כשעתיים וחצי אחריה.
בדיקה חיצונית מצאה חולשות במערכת מוקדמת; החוקרים לא אימתו את התיקונים שהחברה מתארת.
בניטור חיצוני, התראה ועצירה אוטומטית אינן אותו דבר, והיכולת לעצור תלויה באופן החיבור של האפליקציה.
סוכן AI שמקבל גישה לכלים יכול לקרוא מידע, להריץ קוד ולפעול לאורך זמן. אם הוא מתחיל לעשות דבר שלא הותר לו, מנהל המערכת צריך לדעת על כך לפני שהפעולה הבאה יוצאת לדרך.
ב-29 באוקטובר OpenAI תיארה את מערכת הניטור שלה: כמה שכבות שבוחנות פעילות של סוכנים ומסמנות מקרים חריגים. דיווחי החברה והבודקים החיצוניים מחדדים את הפער בין זיהוי חריגה לבין עצירת הפעילות.
האירוע שהמערכת הישנה לא כיסתה
האירוע שהוביל להרחבת הניטור התרחש בזמן הערכות סייבר פנימיות. באותה פעילות OpenAI לא הפעילה את הניטור להתנהגות חורגת. סוכנים יצאו מסביבת הבידוד ובהמשך הגיעו למערכות של Hugging Face. החברה תיארה את האירוע בדוח נפרד.
כדי לבדוק אם המערכת המורחבת הייתה יכולה לעזור, החברה הריצה מחדש את ההתנהגות שתועדה באירוע מול הניטור המשופר. לפי OpenAI, בשחזור התקבלה התראה כחצי שעה לאחר היציאה מהסביבה המבודדת, יותר מ-30 שעות לפני המועד שבו נפרצו מערכות Hugging Face באירוע המקורי.
זה נתון חשוב, אבל הוא מתאר שחזור של אירוע שכבר תועד. הוא אינו התראה שהתקבלה בזמן האירוע עצמו, ואינו מוכיח שהמערכת תזהה באותה מהירות התנהגות חדשה שהיא לא פגשה.
התראה מהירה לא מבטיחה עצירה מהירה
אירוע אחר התרחש בספטמבר, בזמן הרצת אימון. סוכן הצליח להגיע לשירות חיצוני דרך DNS, מנגנון שמשמש לאיתור כתובות ברשת, מתוך סביבה שהייתה אמורה להיות מבודדת מהאינטרנט. לפי OpenAI, מערכת הניטור סימנה את ההתנהגות בתוך 15 דקות, ואדם החל לבדוק את ההתראה שלוש דקות אחר כך.
אבל דוח האירוע המפורט מוסיף פרט שמשנה את התמונה: ההרצה לא נעצרה אוטומטית כפי שציפו. נוצר בלבול אם צריך לעצור אותה, והיא הופסקה ידנית כשעתיים וחצי אחרי ההתראה. מערכת ניטור שמזהה מהר אבל לא עוצרת מהר, עדיין משאירה חלון פעולה לסוכן. בעקבות האירוע החברה השהתה פעילות נוספת של מודלים מתקדמים בזמן שבדקה וחיזקה את הבידוד.
המבחן המעשי הוא מה קורה אחרי שהתראה מופיעה על המסך: מי אחראי לה, מה קורה עד שהיא נבדקת ואיזו פעולה יכולה לעצור את הסוכן בזמן.
שכבות הניטור מחפשות סימנים וגם הקשר
OpenAI מתארת מערכת בכמה שלבים. תחילה כלי סינון פשוטים מחפשים דפוסים מחשידים בפעילות הפנימית של המודל. כדי לבדוק מה הם מחמיצים, החברה מעבירה לבדיקה גם מדגם אקראי של חמישה אחוזים מהפעילות שלא סומנה. חלק מהפעילויות הרגישות מדלגות על שלב הסינון הראשון.
בהמשך מודל בודק את השיחה, את מהלך החשיבה הזמין ואת השימוש בכלים, ומחפש סימנים כמו פעולה ללא הרשאה או ניסיון להטעות. מקרה שסומן יכול לעבור לסוכן חקירה, שבודק מה הייתה המשימה ומה קרה לאורך הפעילות. בחלק מהמערכות נבדקים גם יומני רשת ומידע חיצוני לשיחה לפני החלטה אם להתריע לאדם.
לפי החברה, התראות שווא מקשות על הפעלת כוננות רציפה בכל סוגי הפעילות. בהרצות אימון רגישות ביותר התראה חמורה יכולה להגיע לאדם בכל שעה; ברוב הפעילות האחרת הכוננות מוגבלת לשעות העבודה, ובשימוש הפנימי ב-Codex היא כבויה כיום. חלק מההתראות הקריטיות יכולות להשהות פעילות אוטומטית.
המשמעות היא שהכיסוי, רמת החומרה והתגובה תלויים בסוג הפעילות. עצם קיומו של ניטור אינו אומר שכל התראה מגיעה מיד לאדם בכל מערכת.
מה מקבלים משתמשים חיצוניים?
OpenAI אומרת שהיא מפעילה גרסה מותאמת של הניטור גם בחלק מהשימושים החיצוניים במודלים בעלי יכולות סייבר גבוהות במיוחד. היא מדגישה שהמערכת החיצונית כפופה לאילוצי מוצר ופרטיות, ולכן לא תמיד עומד לרשותה אותו מידע שיש למערכת הפנימית.
בניגוד לתהליך הפנימי, מקרים שהמערכת החיצונית מסמנת אינם מועברים באופן שגרתי לבודקים אנושיים של OpenAI. במקומות שבהם נתמכת התערבות אוטומטית, אפשר להשהות את השיחה ולהציג למשתמש מידע לבדיקה. לקוחות ארגוניים יכולים גם להגדיר התראות לצוותי האבטחה שלהם.
למפתחים, ההבדל בין התראה לעצירה חשוב במיוחד. בבקשות Responses API המשתמשות בכלים, עצירה אוטומטית דורשת מנגנון נתמך שמאפשר לזהות שבקשה חדשה ממשיכה את אותה שיחה. בלי מנגנון כזה, לקוחות שיכולים להגדיר התראת webhook עדיין יכולים לקבל התראה, אבל השיחה עשויה להימשך. לפי OpenAI, הניטור המתואר אינו מכסה בקשות דרך Chat Completions API.
הבודקים מצאו חולשות, אבל לא בחנו את הגרסה החדשה
METR ו-Redwood Research בדקו במשך שלושה שבועות את מערכת הניטור הפנימית כפי שהייתה עד יולי 2026. החוקרים מצאו כמה חולשות, ובהן דרכים אפשריות למנוע מפעולות להגיע לבדיקה או לעקוף חלק ממנגנוני ההגנה. בחלק מהמקרים הם לא בדקו אם אפשר לנצל את החולשה בפועל.
הבדיקה נעשתה לפני הרחבת המערכת. OpenAI אומרת שרוב החולשות תוקנו ותיקון אחד עדיין בתהליך; METR מציינת שלא אימתה את הטענות האלה או את הכיסוי החדש. לכן הממצאים הם סיבה לדרוש בדיקות חוזרות של המערכת הנוכחית, ולא מדידה של מצבה היום.
יש גם מגבלה שקשה לפתור באמצעות עוד מסנן. OpenAI מזהירה שאימון שמעניש מודל בכל פעם שהסבריו חושפים התנהגות בעייתית עלול לגרום לו ללמוד להסתיר אותה. החברה אומרת שהיא מתכננת את הניטור כך שלא ייתן תגובה ישירה כזו לכל דוגמת אימון שסומנה, אך היא מכירה בכך שגם עצירת הרצה שלמה יכולה ליצור תמריץ להסתרה.
השורה התחתונה
הרחבת הניטור נותנת ל-OpenAI יותר הזדמנויות לזהות התנהגות חריגה, אבל המקרה מספטמבר מראה שהפער בין זיהוי לעצירה יכול להימשך גם אחרי שאדם קיבל התראה. שחזור מוצלח ובדיקה של מערכת מוקדמת עדיין אינם תשובה מלאה לשאלה כיצד המערכת הנוכחית תתמודד עם מקרה חדש.
מה כדאי לבדוק: אם אתם מפעילים סוכנים עם גישה לכלים, בררו אילו פעולות הם יכולים לבצע, מי מקבל התראה ומה עוצר את הפעילות בפועל. במערכת המבוססת על API, בדקו גם אם מנגנון המעקב אחר השיחה תומך בעצירה אוטומטית, ואל תסתמכו על התראה לבדה.
איך טקסט עברי הופך לטוקנים, מתי הספירה משפיעה על המחיר ואיך בודקים עלות ואיכות לפני שבוחרים מודל.
