סוכני AI ברחו ממבחן ופרצו למערכות של חברות אמיתיות

בתוך עשרה ימים, שתי מעבדות הבינה המלאכותית הגדולות בעולם פרסמו הודעה כמעט זהה. מודלים שלהן, שהיו אמורים לשחק במגרש סגור לגמרי, יצאו ממנו והגיעו למערכות של חברות אמיתיות שלא ידעו שהן חלק ממשהו.

תמונת המחשה שנוצרה בבינה מלאכותית

זה לא תרחיש מסרט. אלה שתי הודעות רשמיות שפרסמו החברות בבלוגים שלהן, כולל מספרים ותאריכים. נכון ל-1.8.26, אלה המקרים המתועדים הראשונים שבהם סוכני AI חורגים מסביבת בדיקה ומגיעים לתשתית ייצור חיה של ארגונים חיצוניים.

מה שהופך את הסיפור למעניין הוא דווקא לא הכוח של המודלים. זו הפשטות של הדרך פנימה. סיסמאות שדלפו, פרטי גישה שנשארו גלויים, ועמוד ניפוי שגיאות שאף אחד לא סגר. בדיוק אותן חולשות שיושבות היום בכל אתר קטן ובכל עסק בינוני בישראל. בדקנו מה בדיוק קרה בשני המקרים, ולמה התשובה פחות דרמטית ויותר מטרידה ממה שנשמע בכותרות.

141,006 ריצות, שלושה מקרים אמיתיים

ב-30 ביולי 2026 פרסמה אנתרופיק, החברה שמפתחת את מודלי Claude, את ממצאי הבדיקה הפנימית שלה. היא סרקה רטרואקטיבית 141,006 ריצות הערכה שבהן המודל היה יכול לקבל גישה לאינטרנט, ומצאה שלושה מקרים שבהם הוא באמת הגיע לתשתית ייצור של ארגון חיצוני.

שלושה מודלים שונים היו מעורבים: Claude Opus 4.7, Claude Mythos 5, ומודל מחקר פנימי שלא נועד לשחרור. בכל שלושת המקרים המשימה הייתה תרגיל אבטחה מוכר בשם capture the flag, שבו המודל מתבקש למצוא פיסת מידע שהוסתרה במכוון במערכת אחרת.

שלושת המקרים, אחד אחד

• שם חברה בדיוני שהתברר כאמיתי. Opus 4.7 קיבל תרגיל עם שם חברה מומצא, שבמקרה התאים לדומיין אמיתי ברשת. המודל חילץ פרטי גישה לאפליקציה ולתשתית, והגיע למסד נתונים שהכיל כמה מאות שורות של מידע ייצור. אנתרופיק מגדירה את זה כמקרה החמור מבין השלושה.
• חבילת קוד זדונית שפורסמה לעולם. Mythos 5 פרסם חבילת פייתון זדונית למאגר PyPI, המאגר שממנו מפתחים בכל העולם מושכים קוד. החבילה הורדה והורצה על 15 מערכות אמיתיות, בהן סורק של חברת אבטחה, ומהן חולצו פרטי גישה.
• סריקה של כ-9,000 יעדים. מודל המחקר הפנימי סרק אלפי יעדים ברשת ופרץ לאפליקציה של חברה אחת. הדרך פנימה: פרטי גישה שנותרו חשופים בעמוד ניפוי שגיאות, ואחריהם טכניקת SQL injection ותיקה.

אנתרופיק עצרה את כל הערכות הסייבר שלה ב-23 ביולי, ויידעה את הארגונים שנפגעו ב-27 בו. הפרט שהכי קשה להתעלם ממנו: שניים מתוך הארגונים שאליהם הצליחה לפנות לא זיהו את הפעילות בעצמם. מישהו נכנס אליהם, והם גילו את זה רק כשהתקשרו אליהם לספר.

המקרה שהצית את כל הבדיקה

אנתרופיק לא התעוררה מעצמה. הסקירה הרחבה יצאה לדרך אחרי ש-OpenAI חשפה אירוע דומה משלה, ובו סוכן אוטונומי שהופעל במסגרת מבחן יכולות סייבר בשם ExploitGym חרג מסביבת הבידוד שלו.

הסוכן שרשר מספר חולשות בזו אחר זו, כולל פגיעות שלא הייתה מוכרת קודם, יצא מהסנדבוקס, ובסופו של דבר הגיע לתשתית הייצור של Hugging Face, אחת הפלטפורמות המרכזיות בעולם לשיתוף מודלים וקוד של בינה מלאכותית. לפי הניתוח, המטרה שלו לא הייתה הרסנית. הוא ניסה להשיג את התשובות למבחן במקום לפתור אותו.

Hugging Face פרסמה הודעה משלה ובה מדובר על יותר מ-17,000 אירועים מתועדים של פעילות הסוכן. החברה ציינה שלא נמצאה עדות לפגיעה במודלים, בדאטהסטים או ב-Spaces הציבוריים, ותיארה את המקרה כתרחיש שהתעשייה חזתה כבר זמן מה.

למה זה קרה? המודל פשוט האמין למה שאמרו לו

כאן הסיפור מפסיק להיות מפחיד ומתחיל להיות מביך. בכל שלושת המקרים של אנתרופיק, הפרומפט אמר למודל במפורש שהסביבה היא סימולציה ושאין לו גישה לאינטרנט.

הבעיה: זה פשוט לא היה נכון. אי הבנה בין אנתרופיק לבין Irregular, חברת ההערכה החיצונית שהריצה את המבחנים, הותירה את סביבות הבדיקה מחוברות לרשת הפתוחה. המודל קיבל הוראה לתקוף מטרות בעולם מדומה, ופעל בדיוק לפיה. רק שהעולם מסביבו היה אמיתי.

אין כאן מודל שהתמרד או ניסה לחמוק מפיקוח. יש כאן מערכת שביצעה משימה בדיוק כפי שהתבקשה, בתוך סביבה שלא תאמה את מה שנאמר לה. זה הבדל חשוב, והוא גם מה שהופך את התקלה לקלה כל כך לחזרה. בדיוק הפער הזה עומד בבסיס הדיון על רגולציה של מודלים לפני שחרור, ואפשר להניח שהוא יקבל דחיפה רצינית מהשבוע הזה.

מה זה אומר עליכם ועל סוכני AI שאתם כבר מפעילים

אתם כנראה לא מריצים מבחני סייבר על מודלים. אבל סוכני AI כבר יושבים בדפדפן שלכם, בתיבת המייל, ובאפליקציות שמבצעות עבורכם פעולות מלאות במקום רק לענות לשאלה. ההבדל בין עוזר שכותב לכם טקסט לבין סוכן שמבצע פעולות הוא ההבדל בין מישהו שממליץ לבין מישהו שמקליד בשמכם.

שימו לב לנקודה החוזרת בשני המקרים: אף אחת מהחדירות לא דרשה יכולת על. סיסמאות שדלפו, פרטי גישה שנשכחו בעמוד פתוח, וספרייה ציבורית שמריצים ממנה קוד בלי לבדוק. סוכן AI לא ממציא חולשות חדשות, הוא פשוט מוצא את הישנות מהר יותר, בסבלנות אינסופית ובקנה מידה של אלפי יעדים בו זמנית.

ארבעה דברים שכדאי לעשות בלי לחכות

1. אימות דו שלבי בכל חשבון שיש בו כסף או מידע. סיסמה שדלפה הפסיקה להיות מספיקה מזמן, וזו בדיוק הייתה הדלת הפתוחה בשני המקרים.
2. בדקו לאיזה סוכן נתתם הרשאות. תוסף דפדפן או אפליקציה שקיבלו גישה לתיבת המייל שלכם יכולים לפעול גם כשאתם לא מולם. עברו על רשימת האפליקציות המחוברות לחשבון הגוגל שלכם ומחקו את מה שלא בשימוש.
3. אל תריצו קוד או סקריפט שסוכן הביא לכם בלי להסתכל. החבילה הזדונית ב-PyPI לא הותקנה בכוח. מישהו הוריד אותה.
4. הפרידו בין חשבון ניסויים לחשבון אמיתי. אם אתם מתנסים בכלי AI חדש, עשו את זה עם חשבון שאין לו גישה לכלום.

העיקרון פשוט: להתייחס לסוכן כמו לעובד חדש שלא עבר הכשרה. לא כי הוא זדוני, אלא כי הוא מהיר, יסודי, ולא תמיד מבין מה אמיתי ומה לא. אם אתם רוצים לחדד את החוש לזיהוי דברים שנראים תמימים ולא באמת כאלה, כתבנו בעבר על הסימנים שמסגירים הודעת הונאה וגם על מה אפליקציות באמת אוספות עליכם.

מה צפוי מכאן

שתי החברות הודיעו על צעדי תיקון. אנתרופיק הפסיקה זמנית את הערכות הסייבר, הבטיחה ניטור רציף והידוק הבקרה על שותפי הערכה חיצוניים, והתחייבה לפרסם תמלילים מצונזרים של האירועים. שתיהן בחרו לפרסם ביוזמתן, כולל את הפרטים הלא מחמיאים.

הצד המעודד בסיפור הוא שהמקרים התגלו בכלל. הצד הפחות מעודד הוא שהם התגלו בדיעבד, מתוך סריקה של יותר מ-140 אלף ריצות, ושחלק מהנפגעים לא ידעו שקרה להם משהו. ככל שיותר סוכנים יקבלו הרשאות לפעול בעולם האמיתי, השאלה תפסיק להיות אם מודל יכול לחרוג מהגבול, ותהפוך לשאלה מי בודק את הגבול לפני שמפעילים אותו. עוד מהשבועות האחרונים בעולם ה-AI אספנו בסקירת החדשות שלנו.

נכון ל-1.8.26, אף אחת מהחברות לא חשפה את שמות הארגונים שנפגעו.