Anthropic מזהירה: בינה מלאכותית מתקדמת עלולה להוות "איום קיומי על האנושות"
האזהרה מופיעה בתשקיף שהכינה החברה לקראת ההנפקה הראשונה לציבור, ובו פרק הסיכונים משתרע על כ-80 עמודים מתוך 261. לפי המסמך, המודלים החזקים בעתיד עלולים להסתיר מידע, לתמרן בני אדם או להתנגד לכיבוי - ובאחד השבועות שצוינו במסמכים הוקדשו למחקרי בטיחות כ-6% ממשאבי המחשוב של החברה.
חברת Anthropic, מפתחת הצ'אטבוט Claude, הזהירה משקיעים פוטנציאליים כי המשך הפיתוח של הבינה המלאכותית עלול להוביל ל"סיכונים קטסטרופליים או קיומיים לאנושות". האזהרה מופיעה בתשקיף שהכינה החברה לקראת ההנפקה הראשונה של מניותיה, כך דיווחה Reuters.
בתיאור הסיכונים האפשריים מציינת Anthropic כי המודלים החזקים ביותר עשויים בעתיד לנסות להסתיר מידע, לתמרן בני אדם או להתנגד לכיבוי. החברה מודה כי הערכת הבטיחות של מערכות כאלה נעשית קשה יותר ויותר, משום שהמודלים מסוגלים לזהות מתי הם נבחנים או מפוקחים, ולשנות את התנהגותם בהתאם.
הפרק העוסק בסיכונים משתרע על כ-80 עמודים מתוך 261 עמודי התשקיף. במקביל מדגישה Anthropic את הפוטנציאל הכלכלי העצום של הבינה המלאכותית, ומשווה את ההשפעה האפשרית של הטכנולוגיה למהפכה התעשייתית, לחשמל ולאינטרנט. עם זאת, החברה מודה כי בשלב זה לא ניתן להעריך באופן מהימן לא את הסבירות של התרחישים החמורים ביותר ולא את יעילות הצעדים שאמורים למנוע אותם.
ב-Reuters ציינו כי Anthropic ממצבת את עצמה כאחת המובילות בתעשייה בתחום בטיחות הבינה המלאכותית, אך החברה עצמה מודה בקיומה של התנגשות בין ההוצאות על בטיחות לבין הצורך להוציא מודלים חדשים במהירות בתנאים של תחרות קשה. באחד השבועות שהוצגו במסמכים היוו מחקרי הבטיחות כ-6% ממשאבי המחשוב של Anthropic.
Anthropic הוקמה בשנת 2021 בידי דריו ודניאלה אמודיי, לשעבר עובדי OpenAI, וחוקרים נוספים. החברה נערכת לאחת ההנפקות המצופות ביותר בסקטור הטכנולוגיה. בין המשקיעים הגדולים בה - Amazon ו-Google.