סטארט-אפ ישראלי אסף מאגר של תוכנות זדוניות אמיתיות כדי לאמן מודלי בינה מלאכותית להדוף איומים

חברת Alice פיתחה את מערכת Rabbit Hole – מאגר של תרחישים זדוניים אמיתיים למבחני עומס של מודלי בינה מלאכותית, במטרה ללמד אותם להתגונן מפני איומי סייבר.

Alice החלה בניטור איומי סייבר בסביבה הדיגיטלית עוד לפני שהבינה המלאכותית התפשטה בהיקף רחב. היא הוקמה ב-2018 תחת השם ActiveFence והתמקדה בזיהוי תעמולה קיצונית, הונאות ודיסאינפורמציה ברשתות החברתיות. עם הצמיחה, ההתפתחות והמורכבות הגוברת של בינה מלאכותית יוצרת, המידע שאספה החברה היווה את הבסיס למאגר Rabbit Hole. בשונה מאיומים מדומים, שבהם משתמשים לרוב באימון, Rabbit Hole כולל תיאורים של מתקפות סייבר אמיתיות. חוקרי החברה מציעים לבחון את המערכות בעמידותן לשיטות שתוקפים כבר מפעילים בפועל.

במאגר Rabbit Hole כבר משתמשות מעבדות מובילות, ובהן Anthropic, גוגל ו-Nvidia. הוא מאפשר לאמן את המודלים, על בסיס מקרים אמיתיים, לזהות "ג'יילברייקים" (כאשר תוקף גורם במרמה לבינה המלאכותית לעקוף איסורים אתיים וחוקיים) ו"הזרקות פרומפט" (כאשר מוחדרות למודל פקודות זדוניות נסתרות, למשל מחיקת מסד נתונים). באמצעות אימון על דוגמאות אמיתיות, המודלים יכולים להתמודד עם איומים עתידיים.

"מפתחי בינה מלאכותית צריכים להיות בטוחים שהמודלים שלהם עושים בדיוק את מה שלשמו נוצרו. הדרך היחידה להיווכח בכך היא להעמיד מדי יום את המודלים ואת סוכני הבינה המלאכותית במבחני עומס ולהגן עליהם על בסיס מתקפות אמיתיות", מדגיש ממייסדי Alice נועם שוורץ.

את הצלחת הטכנולוגיה מאשרים הנתונים הפיננסיים. Alice גייסה 140 מיליון דולר בסבב השקעות חדש, והעלתה את סך ההון שגויסה עד כה ל-280 מיליון דולר, לפי שווי חברה של 800 מיליון דולר.