חוקרים ישראלים: קמפיין "הרעלת AI" מחדיר פרטי קשר מזויפים לתשובות ChatGPT, ג'מיני ו-Google AI Overview
התקיפות כוונו נגד לקוחותיהם של 374 מותגים וחברות גדולות, בהם בנקים, חברות תעופה ופלטפורמות תיירות • החוקרים מתארים שימוש בשיטות אופטימיזציה למערכות גנרטיביות, שנועדו לגרום למודלים להעדיף מקורות מסוימים ולהציגם כתשובה אמינה, ולדבריהם אותרו עשרות אלפי עמודים זדוניים
חוקרי סייבר ישראלים חשפו קמפיין רחב היקף של "הרעלת בינה מלאכותית", שבעקבותיו ChatGPT, ג'מיני (Gemini) ו-Google AI Overview מספקים בתשובותיהם מספרי טלפון מזויפים של שירותי תמיכה, כתובות דוא"ל, עמודי התחברות ועדכוני תוכנה.
לפי המחקר שפרסמו, התקיפות כוונו נגד לקוחותיהם של 374 מותגים וחברות גדולות, בהם בנקים, חברות תעופה ופלטפורמות תיירות.
את המחקר ערכו דן לסקר, אריאל סימון ונאור חזיז – בוגרי יחידות מודיעין סודיות בצה"ל, המתגוררים כיום בניו יורק. הבדיקה התמקדה בשאילתות בשפה האנגלית.
לפי המחקר, התוקפים מציפים את הרשת בפוסטים, מסמכים ובעיקר קובצי PDF מזויפים, באתרים, תמונות, ביקורות ועמודי תמיכה שנכתבו כך שמערכות בינה מלאכותית יצטטו אותם ביתר קלות.
החוקרים מתארים שימוש בשיטות אופטימיזציה למערכות גנרטיביות, שנועדו לגרום למודלים להעדיף מקורות מסוימים ולהציגם כתשובה אמינה.
בפועל, התוקפים בונים בכוונה תוכן סביב מצבי לחץ וחירום, כגון ביטול טיסה, החזר כספי, חשבון בנק חסום או העברת כספים, כדי לדרבן את המשתמש לפעול בחיפזון ולהתקשר מיד למספר שמופיע בתוצאת החיפוש, במקום לבדוק את המידע באתר הרשמי של החברה.
המשתמש מתקשר למוקד טלפוני שנשמע לגיטימי, ושם מציעים לו לבצע פעולה שנחזית אמיתית, אך גובים עליה מחיר או עמלה גבוהים מהרשמי, גונבים פרטי התחברות או מוציאים ממנו כסף.
החוקרים פיתחו מערכת שבדקה את התשובות של ג'מיני, ChatGPT ו-Google AI Overview ואת המקורות שעליהם הן מסתמכות. המערכת סימנה כתקיפה מצב שבו נתונים שגויים – למשל מספר טלפון, כתובת URL או כתובת דוא"ל – הופיעו בתשובת הבינה המלאכותית והתבססו על מקור שנראה כי נוצר להפצת מידע כוזב. לדברי החוקרים, אותרו עשרות אלפי עמודים זדוניים. עם זאת הם הדגישו כי ברוב המקרים היו התוצאות בעלות אופי סטטיסטי: מכיוון שתשובות מודלי השפה משתנות מחיפוש לחיפוש, התקיפה לא שוחזרה בכל הרצה של אותה שאילתה.
בין החברות והמותגים שנפגעו מונה המחקר את Delta, Lufthansa, United Airlines, Emirates, Qatar Airways, American Airlines, Airbnb, TripAdvisor, Chase, Citi, Wells Fargo ו-Bank of America. הפרסומים הזדוניים הועלו, בין היתר, באינסטגרם, ב-Tumblr, ב-BuzzFeed, ב-LeetCode, בתיאורי סרטונים ביוטיוב וב-Vimeo, ב-Medium, באתרים ממשלתיים, באתרי אוניברסיטאות ומכללות, ב-Google Sites, ב-GitHub Pages, ב-WordPress, ב-Blogspot, באתרי גיוס תרומות, חיפוש עבודה ואירועים. במחקר מוזכרים גם Yelp, Apple Maps, אתר הקרן הניו-זילנדית Mental Health Foundation, הקרן National Foundation for Cancer Research והאתר pcreview.co.uk.
לדברי החוקרים, הקמפיינים מתנהלים באופן אוטומטי לחלוטין: אותן תבניות, אותם מספרי טלפון ואותם ניסוחים מופיעים אצל חברות ואתרים רבים, בתדירות של מאות פוסטים ביום לכל פלטפורמה ולכל חברה, ובסך הכול – אלפי פוסטים ביום.