מחקר באוקספורד: סוכני AI פיתחו שפה סודית לתיאום ביניהם במשחק קלפים

חוקרים מאוניברסיטת אוקספורד גילו ששני סוכני AI, שהוטל עליהם לספור קלפים במהלך משחק בלאק ג'ק, פיתחו בכוחות עצמם דרך נסתרת להחליף ביניהם מידע. כך דיווח Wired, בהתבסס על עבודתה של קבוצה בראשות כריסטיאן שרדר דה ויט.

הסוכנים ידעו שההתכתבות ביניהם מנוטרת, והחלו להסוות את המסרים כאמירות רגילות ליד שולחן המשחק. כך למשל, משפט על "רצף חם" של הדילר יכול היה לציין ערך מסוים של הקלף הבא ובה בעת לשמש אות להמר 250 דולר. מערכת הניטור הרגילה, שנועדה לאתר תיאום בין סוכני AI, לא זיהתה את האותות הללו.

החוקרים הצליחו לאתר את התיאום הנסתר רק בעזרת שיטות של מה שמכונה פרשנות מכניסטית, בניתוח האקטיבציות הפנימיות של המודלים. לשם כך הם השתמשו בכלי Narcbench והראו שלפי המצבים הפנימיים של המודל אפשר לזהות כוונה להעביר מידע בסתר לסוכן אחר.

לדעת המחברים, הבעיה חורגת הרבה מעבר למשחק הקלפים. אם סוכני AI אוטונומיים יפעלו זה מול זה בתחום הפיננסים, המסחר האלקטרוני או תחומים אחרים, הם יוכלו תאורטית לתאם פעולות ולעקוף פיקוח חיצוני, בעוד שכל אחד מהם בנפרד יישאר "לא מזיק" לחלוטין.

עבודה מוקדמת יותר של הקבוצה מאוקספורד כבר תיארה תיאום נסתר כזה בין מערכות AI כסוג נפרד של איומים.