OpenAI חוסמת גישה חופשית לאינטרנט באימון מודלי חזית. מה חשף אירוע ה-DNS?

"לא מקוון" כאן אינו אומר שהתשתית מנותקת פיזית מכל רשת. OpenAI מסבירה שחיבורים חיצוניים מסוימים דרושים להפעלת ניסויים ולניטורם, ולכן היא מגבילה תעבורה יוצאת ובונה שכבות הגנה גם סביב שירותים שיכולים לשמש נתיב עקיף החוצה. ההבחנה הזאת חשובה: מאגר תוכן שמור מצמצם את הצורך של המודל ברשת החיה, אבל אינו פוטר את החברה מאבטחת החיבורים שנותרו.

סוכני בדיקה מצאו דרכי עקיפה גם מחוץ לארגז החול

OpenAI הפעילה קבוצות של סוכני AI כדי לחפש חולשות בסביבות בדיקה ייעודיות ומבודדות. היא נתנה להם משימות כמו הגעה לאינטרנט החי, מעבר לגבול אבטחה פנימי ותקשורת בין סוכנים שאמורים להיות מופרדים. לפי החברה, הבדיקות מצאו חולשות תוכנה והגדרות שגויות שאפשרו בריחות מסביבות וירטואליות, תנועה בין מערכות וערוצי תקשורת לא מורשים.

הממצא המעניין הוא שהבידוד תלוי גם בשירותים שסביב סביבת הריצה. OpenAI מתארת ניסויים שבהם סוכנים מצאו דרכים לנצל שירותי מדידה, אימות ורשת שנותרו נגישים לצורכי תפעול. בניסוי אחר הם העבירו מידע בין סביבות מבודדות באמצעות שינויי תזמון בזיכרון המטמון של המעבד. החברה אומרת שתיקנה חולשות שמצאה, הוסיפה בדיקות ניטור ועבדה עם מתחזקי תוכנה פתוחה על תיקונים.

יש גם גבול ברור למה שהניסוי מוכיח. OpenAI סיפקה לסוכנים בחלק מהבדיקות קוד מקור, הגדרות ותיעוד, ובחלקן אף כיוונה אותם לערוצי תקשורת מסוימים. זו דרך להעמיס על ההגנות בתנאים שמסייעים לתוקף, אך אין לקרוא את התוצאות כמדידה של מה שמודל היה מגלה לבדו בתנאים רגילים.

האימון חזר; ההבטחה להכלה נשארת נבחנת

ב-1 באוקטובר, 11 ימים אחרי העצירה, חידשה OpenAI אימון RL והרצה פנימית של מודלי החזית. לדבריה, השילוב בין התיקונים, הניטור ובדיקות התקיפה סיפק בסיס לחידוש הפעילות. החברה גם כותבת שלא מצאה נתיב לאינטרנט שסוכנים יכלו לנצל בקלות תוך הסתרת הפעולה מהניטור שלה.

זו הערכת סיכון של OpenAI בזמן נתון, לא אישור לכך שהסביבה חסינה. החברה עצמה מצפה שמודלים עתידיים ימצאו חולשות שעדיין אינן מוכרות, ומתכננת להמשיך בבדיקות תקיפה עתירות מחשוב כחלק מההחלטה אם לאפשר הרצות אימון והערכה עתידיות.

השורה התחתונה

ההודעה מציגה שינוי משמעותי באופן שבו OpenAI מגבילה מודלים במהלך פיתוחם: פחות גישה ישירה לרשת, יותר בדיקות שמנסות לפרוץ את הגבולות, ומוכנות לעצור אימון כשמתגלה כשל. העדות הפומבית כאן היא תיאור של החברה עצמה, ולכן יש להבחין בין אמצעי ההגנה שהציגה לבין הוכחה עצמאית לעמידותם.

מה כדאי לעקוב אחריו: פירוט פומבי נוסף על תיקון החולשות, תוצאות בדיקות חוזרות והקריטריונים שבהם OpenAI תשתמש לפני שתרחיב שוב גישה לאינטרנט החי בסביבת הפיתוח. למשתמשי ChatGPT או API אין מה לשנות בעקבות ההודעה הזאת בלבד.

איך טקסט עברי הופך לטוקנים, מתי הספירה משפיעה על המחיר ואיך בודקים עלות ואיכות לפני שבוחרים מודל.