האם DeepSeek ו-Kimi השתמשו במודל Astra של OpenAI לאימון המודל?

מודל יכול ללמוד מתשובות של מודל אחר, אבל הדיווח על השימוש ב-Astra אינו חושף כמה תרמה השיטה לביצועים או מה היו תנאי השימוש.
עיקרי הדברים
-
אתר החדשות הטכנולוגי, The Information, מדווח כי DeepSeek ו-Moonshot הסתמכו על תשובות GPT-6 Astra באימון המודלים האחרונים שלהן.
-
מדובר ב-Kimi K3.1 Pro וב-DeepSeek V4.1-Flash 1017.
-
זיקוק מאפשר למודל ללמוד מדוגמאות שיצר מודל אחר, אך הדיווח אינו חושף את חלקן באימון או את השפעתן המדויקת.
-
Anthropic מעריכה שצעדי ההגנה צמצמו את איסוף הנתונים לזיקוק בכ-90% עד 99%; מדידתה מתמקדת בטוקנים של תהליכי ההנמקה בפלטפורמה שלה.
כשמודל חדש פותר משימות קשות במחיר נמוך יותר, קשה לדעת מבחוץ מה בדיוק תרם לשיפור. האם זו ארכיטקטורה חדשה, נתוני אימון טובים יותר, או תשובות של מודל מתחרה?
דיווח של The Information, שעליו דיווחה גם רויטרס ב-28 באוקטובר, מציב את השאלה הזאת במרכז התחרות בין מפתחי המודלים. לפי אנשים בעלי ידע ישיר שצוטטו בדיווח, שתי החברות הסיניות השתמשו בהיקף נרחב בתשובות של Astra לפיתוח המודלים האחרונים שלהן. זו טענה עיתונאית המבוססת על מקורות, ולא ממצא שאומת באופן עצמאי בכתבה זו.
מה מודל לומד מתשובות של מודל אחר?
בזיקוק, מפתחים יוצרים דוגמאות באמצעות מודל אחד ומשתמשים בהן לאימון מודל אחר. למשל, מודל חזק יכול לפתור מגוון משימות תכנות, והפתרונות שלו ישמשו דוגמאות שמודל אחר לומד מהן.
השיטה עשויה לחסוך חלק מעלות הפיתוח, אך היא אינה מעתיקה את המודל המקורי בשלמותו. התוצאה תלויה, בין היתר, באיכות הדוגמאות, במודל הלומד ובשאר תהליך האימון. לכן עצם השימוש האפשרי בדוגמאות אינו מספר כמה עלה לפתח מודל או כמה מהיכולת שלו נובעת מהן.
זיקוק הוא שיטת אימון מוכרת. תנאי השימוש של OpenAI למשתמשים פרטיים אוסרים שימוש בפלטים לפיתוח מודלים שמתחרים בה. הסכם השירות העסקי כולל מגבלה דומה לצד חריגים מותרים. השאלה במקרה הזה היא גם כיצד הושגו התשובות ואילו תנאים חלו על הגישה. אין בדיווח מספיק מידע כדי לקבוע באופן עצמאי אם הופרו תנאים או זכויות במקרה הספציפי הזה.
עוד מ-Anthropic

Claude
14 עדכונים באתר
- חדשות חמות7
- כתבות4
- מאמרים2
- מדריכים1
תגובות
טוען תגובות…
