מומחים ישראלים: נוכלים למדו להחליף את תשובות שירותי התמיכה ב-ChatGPT וב-Gemini
המערכת שפיתחו החוקרים זיהתה מתקפות מסוג זה נגד 374 מותגים מוכרים, בהם Delta, Lufthansa, Airbnb ו-Citi. הקמפיין כונה Dark Sourcery. החוקרים מדגישים כי לא מדובר בפריצה למודלים עצמם, אלא ב"הרעלה" של מקורות המידע שאליהם פונות מערכות הבינה המלאכותית.
מומחי סייבר ישראלים חשפו קמפיין רחב היקף שבמסגרתו תוקפים גורמים לכך שמספרי טלפון מזויפים, כתובות דוא"ל וקישורים יופיעו בתשובות של מערכות בינה מלאכותית. המערכת שפיתחו החוקרים זיהתה מתקפות מסוג זה נגד 374 מותגים מוכרים, כך על פי Israel Defense. הקמפיין כונה Dark Sourcery.
התוקפים מפרסמים באינטרנט בהיקף נרחב הודעות, קבצי PDF, ביקורות ועמודים של שירותי תמיכה מזויפים, שעברו אופטימיזציה למנועי חיפוש ולבינה מלאכותית. כתוצאה מכך, ChatGPT, Google Gemini ו-Google AI Overview עלולים במקרים מסוימים להציג מספר טלפון של נוכלים או קישור פישינג כפרטי הקשר של החברה. בין המותגים שלפי נתוני החוקרים הותקפו בדרך זו נמנים Delta, Lufthansa, United Airlines, Emirates, Qatar Airways, Airbnb, TripAdvisor, Chase, Citi ו-Wells Fargo.
כך למשל, משתמש שמנסה לשנות כרטיס טיסה או ליצור קשר עם הבנק עלול לקבל מהבינה המלאכותית מספר של מוקד טלפוני מזויף. מפעיל המוקד מציע לבצע את הפעולה המבוקשת, אך לאחר מכן דורש את פרטי כרטיס האשראי או גובה תשלום גבוה בהרבה. החוקרים מדגישים כי לא מדובר בפריצה למודלים עצמם: התוקפים "מרעילים" את מקורות המידע שאליהם פונות מערכות הבינה המלאכותית.
לפי Israel Defense, החוקרים פנו ל-Google ול-OpenAI. ב-Google ציינו כי מידע מטעה מסוג זה אינו נכלל בתוכנית חשיפת הפגיעויות של החברה, ואילו OpenAI סגרה את הפנייה משום שלא ניתן היה לשחזר את התוצאות באופן עקבי בשל השונות בתשובות של מודלי השפה.
מחברי המחקר סבורים כי בחיפוש מספרים של שירותי תמיכה, עמודי תשלום ונתונים רגישים אחרים, על המשתמשים לבדוק את המידע גם באתרים הרשמיים של החברות.