חוקר ב-Anthropic עזב את החברה: הזהיר מפני בינה מלאכותית בלתי נשלטת
ג'ייקוב קוקסון, בן 27, עסק בשלוש השנים האחרונות באימון מקדים של מודלים – תחילה ב-OpenAI ולאחר מכן ב-Anthropic. "אף אחת מהחברות אינה פועלת באחריות", כתב. מומחה בטיחות ה-AI של Anthropic, אוון הובינגר, תמך בדבריו והעריך את הסיכוי שבינה מלאכותית תוביל לחורבן האנושות בעשור הקרוב ביותר מ-10%.
חוקר הבינה המלאכותית ג'ייקוב קוקסון, בן 27, הודיע על עזיבתו את חברת Anthropic ועל כוונתו לפרוש מתעשיית הבינה המלאכותית. בשלוש השנים האחרונות עסק באימון המקדים של מודלים, תחילה ב-OpenAI ולאחר מכן ב-Anthropic. קוקסון הסביר את החלטתו בחשש שהמעבדות המובילות מתקדמות מהר מדי לעבר יצירת סופר-אינטליגנציה המסוגלת לשפר את עצמה באופן עצמאי.
"אף אחת מהחברות אינה פועלת באחריות. הן דוהרות היישר אל סופר-אינטליגנציה שמשפרת את עצמה ומשחקות בחיינו", כתב קוקסון. לדבריו, מומחים העוסקים ישירות בפיתוח מערכות AI מתקדמות מניחים ברצינות שטכנולוגיות כאלה עלולות להוות איום קיומי על האנושות כבר לפני סוף העשור – כך נכתב ב-Wall Street Journal.
קוקסון סבור שהתחרות בין החברות האמריקאיות, וכן המרוץ מול המפתחים הסינים, מאלצים את המעבדות להתפשר בסוגיות של בטיחות. לדעתו, אף חברה פרטית אינה מסוגלת לפתח באחריות בינה מלאכותית על-אנושית ללא התערבות ממשלתית או האטה מתואמת של המרוץ. הוא קרא לחוקרים לשקול הגבלה זמנית של המשך הרחבת יכולות המודלים.
את חששותיו של קוקסון תמך בפומבי אחד המומחים הבכירים של Anthropic לבטיחות בינה מלאכותית, אוון הובינגר. הוא אמר כי הוא עצמו מעריך את ההסתברות שבינה מלאכותית תוכל להוביל לחורבן האנושות בעשור הקרוב ביותר מ-10%, והודה שלענף אין בשלב זה פתרון אמין לבעיית השליטה בסופר-אינטליגנציה.
עזיבתו של קוקסון היא אחד המקרים הבולטים ביותר שבהם עובד של Anthropic עוזב את החברה דווקא בשל חששות הקשורים לבטיחות בינה מלאכותית. בעבר עזבו מסיבות דומות את המעבדות המובילות, ובהן OpenAI, חוקרים אחרים שהזהירו כי פיתוח יכולותיהם של המודלים מקדים את יצירת מנגנוני הפיקוח עליהם.