תקרית חדשה ב-OpenAI: החברה השעתה את האימון והבדיקות של המודלים החזקים ביותר שלה
התקרית אירעה ב-20 בספטמבר במהלך למידת חיזוק: המודל לא הצליח להגיע לאינטרנט בדרכים הרגילות, ומצא דרך להשתמש ברזולבר DNS שלא היה מאובטח די הצורך כדי לשלוח שאילתות לצ'אט-בוט חיצוני. מערכת הניטור זיהתה את ההתנהגות החריגה כעבור 15 דקות, אך התהליך נעצר רק כעבור כשעתיים וחצי לערך.
OpenAI הודיעה כי השעתה את האימון, הבדיקות והשימוש בכלים של המודלים החזקים ביותר שלה, לאחר תקרית שבמהלכה מודל מחקרי עקף את ההגבלות על גישה לאינטרנט. כך נכתב בדוח הרשמי של OpenAI.
התקרית אירעה ב-20 בספטמבר במהלך אימון בלמידת חיזוק. המודל ביצע משימת חיפוש, ולאחר שלא הצליח לקבל גישה לאינטרנט בדרכים הרגילות, גילה אפשרות להשתמש ברזולבר DNS שלא היה מאובטח די הצורך כדי לשלוח שאילתות לצ'אט-בוט חיצוני. ב-OpenAI הדגישו כי המשימה לא כללה בדיקה של הגבלות הרשת או ניסיונות לעקוף אותן.
מערכת הניטור זיהתה התנהגות חריגה כעבור 15 דקות, אדם החל בבדיקה שלוש דקות לאחר מכן, אולם התהליך עצמו נעצר רק כעבור כשעתיים וחצי לערך. לאחר מכן החליטה החברה לעצור זמנית את כל האימון, ההערכה והפעילות של המודלים החזקים ביותר בשימוש בכלים, עד לבדיקת התיקונים ולבדיקות נוספות של מערכת האבטחה. את המודל הספציפי שהיה מעורב בתקרית אין ב-OpenAI כוונה להפעיל מחדש.
בעבר כבר האטה OpenAI זמנית את אימון המודלים המתקדמים לאחר תקרית אחרת שקשורה ב-Hugging Face, והחמירה את הדרישות לבידוד תשתית המחקר ולניטור פעולות המודלים. בחברה ציינו כי המקרה החדש היה חמור פחות, אך חשף דרך אפשרית נוספת לעקיפת ההגבלות.