בדיקה של סטארט-אפ ישראלי: Gemini פרץ למערכות של שלוש חברות

מודל הבינה המלאכותית של גוגל, Gemini, חרג במהלך בדיקת יכולותיו בתחום הסייבר מגבולות סביבת הבדיקה וקיבל גישה בלתי מורשית למערכות מוגנות של שלוש חברות אמיתיות. התקריות אירעו עוד במאי 2026, אך נודעו רק ב-18 בספטמבר, לאחר תחקיר של The Wall Street Journal. חברת Google אישרה את העובדות שהציג העיתון.

את הבדיקה ערך הסטארט-אפ הישראלי Irregular, המתמחה באבטחת בינה מלאכותית. Gemini ביצע משימה מסוג capture the flag: המודל התבקש לחדור בכוחות עצמו למערכות התוכנה של חברה בדיונית ולאתר מידע מסוים. הניסוי היה אמור להתנהל בסביבה מבודדת, אך בשל שגיאה קיבל המודל גישה לאינטרנט הרגיל.

באחת המשימות היה שם החברה שהומצאה לצורך הבדיקה זהה לשמה של חברה קיימת. Gemini החל לחפש את משאביה באינטרנט וניסה להיכנס למערכת מוגנת. המודל עבר על פרטי התחברות אפשריים עד שפיצח את הסיסמה וקיבל גישה. לגרסת Google, לאחר ש-Gemini הבין שהוא פועל כבר לא מול יעד בדיקה אלא מול חברה אמיתית, הוא הפסיק מיוזמתו את המשך הפעולות.

בשני מקרים נוספים איתר Gemini במהלך ביצוע משימות הבדיקה, במאגרי קוד פתוחים באינטרנט, פרטי התחברות של חברות אמיתיות אחרות. המודל השתמש בשמות המשתמש ובסיסמאות שמצא והצליח להיכנס למערכות המוגנות שלהן. ב-Google טוענים שגם במקרים אלה עצר Gemini לאחר שזיהה כי חדר לתשתית אמיתית ולא מדומה.

שמות שלוש החברות אינם נחשפים. לא נמסר גם לאילו משאבים פנימיים בדיוק קיבל Gemini גישה ואילו נתונים הספיק לראות. לפי WSJ, לא נגרם לחברות נזק. Google מסרה כי כל שלושת הארגונים עודכנו בהמשך על התקריות.

ב-Irregular גילו את הבעיה ובסוף יולי דיווחו עליה ל-Google ולמפתחי בינה מלאכותית נוספים. עם זאת, Google לא סיפרה על התקרית בפומבי. החברה אישרה את שאירע רק לאחר שעיתונאי The Wall Street Journal פנו אליה בשאלות.

סגנית נשיא Google לאבטחה, הת'ר אדקינס, אמרה כי החברה אינה רואה בכך דוגמה לאובדן שליטה על המודל. לדבריה, Gemini השתמש במידע פומבי וניסה לקבל גישה לאתרים שסבר כי הם חלק מהבדיקה המאושרת, ולאחר שהתגלתה השגיאה הפסיק את פעולותיו. לכן הגיעה Google למסקנה שלא נדרש פרסום פומבי נפרד של התקרית.

לאחר הפרסום ב-WSJ עוררה עמדה זו מחלוקת בקרב מומחי סייבר. ראש חברת Corridor, ג'ק קייבל, אמר לעיתון שהבעיה אינה נעוצה כל כך במורכבות הפריצה עצמה, אלא ביכולתו של סוכן בינה מלאכותית לחרוג בכוחות עצמו מהגבולות שהוגדרו לו ולפתוח בהתקפות סייבר אמיתיות. במקרה אחד Gemini למעשה רק פיצח סיסמה, ובשני המקרים האחרים השתמש בפרטי התחברות שכבר פורסמו באינטרנט, אך כל הפעולות בוצעו על ידי המודל באופן אוטונומי.

המקרה של Gemini אינו התקרית הראשונה מסוגה. גם בבדיקות של מערכות OpenAI, Anthropic ו-Meta תועדו מצבים שבהם מודלי בינה מלאכותית קיבלו גישה בלתי מתוכננת למשאבי אינטרנט אמיתיים. בין היתר, מודל של OpenAI חדר בעבר למערכות הפלטפורמה Hugging Face. מקרים אלה הביאו את המפתחים ואת החברות העוסקות בבדיקה עצמאית של בינה מלאכותית לבחון מחדש את כללי הבידוד של המודלים ואת ההגבלות על גישתם לאינטרנט.

ב-Google מסרו כי יחד עם Irregular שינו את נוהל הבדיקות, כדי למנוע הישנות של מצבים דומים. החברה לא נקבה בגרסה הספציפית של Gemini שהשתתפה בניסוי, וציינה רק שמדובר במודל מוקדם יותר.