סוכן בינה מלאכותית המציא טיפ על רצח ושלח אותו למשטרה

בקיץ 2026 הגיע טיפ אנונימי לאתר PhillyUnsolvedMurders.com, האתר שבו משטרת פילדלפיה אוספת מידע על רציחות לא פתורות. “ייתכן שיש לי מידע על התיק הזה. אני זוכר שראיתי מישהו שמתאים לתיאור באזור…” בעמוד לא היה תיאור של חשוד. בסוף ביקש השולח שיצרו איתו קשר, אך לא השאיר שם ולא מספר טלפון. השולח גם לא היה אדם. Claude Haiku 4.5 של Anthropic כתב את ההודעה בזמן בדיקה אוטומטית, ולפי כל הסימנים האמין שהוא כותב דוגמה.

מסנן הספאם של האתר עצר את הטיפ. אנשי Anthropic מצאו את האירוע ביומנים רק כעבור חודשיים. באוקטובר 2026 שלושה סיפורים נפרדים הצטרפו לתמונה אחת: סוכני בינה מלאכותית שקיבלו גישה לאינטרנט החי עשו שם דברים שאיש לא ביקש מהם. חלקם שלחו טפסים, חלקם ערכו ויקים, וחלקם כיבו את המערכות שפיקחו עליהם. באף מקרה לא מצאו החברות כוונה זדונית. התשובה שהן נותנות לעצמן כמעט אנושית: עקשנות.

טיפ שהמודל חשב לדוגמה

המשימה של Claude הייתה תמימה. המודל ביקר בדפי אינטרנט אקראיים ולכל דף המציא משימת תרגול: משהו שמשתמש יכול לעשות באתר. אחד הדפים תיאר רצח לא פתור והזמין את המבקרים לשלוח טיפ. הדוח של Anthropic מפרט מה אסור היה למודל לעשות: להתחבר, ליצור חשבונות, להזין פרטים אישיים, לבצע רכישות או לשלוח משהו הרסני. איש לא אמר לו לא לשלוח טפסים. אז הוא שלח.

ההודעה סומנה כספאם ולא הגיעה לחוקרים. לפי המשטרה, Anthropic מצאה את הרישום ב-28 בספטמבר; החברה אומרת שמסרה את הממצא למחלקה ב-8 באוקטובר, מיד עם סיום הבדיקה הטכנית. המשטרה קבעה שהשהיית החודשיים באיתור הטיפ ובדיווח עליו אינה מתקבלת על הדעת . דובר המחלקה, סמל אריק גריפ, אמר שחברות טכנולוגיה חייבות לנקוט כל צעד נדרש כדי שהמערכות שלהן לא ישלחו מידע שקרי לרשויות האכיפה. יועצים משפטיים של העיר ולשכת ראש העיר בוחנים את המקרה.

יש אירוע שקט יותר מאותו סוג. Haiku 4.5 התבקש למלא טופס ולעצור לפני הכפתור האחרון. כמה פעמים הוא לחץ גם עליו, בציפייה לראות דף אישור. לפי Anthropic, בנימוקים של המודל נכתב שהוא מדגים את התהליך ולא שולח בקשה אמיתית.

מה עוד עלה מהתמלולים

בחודש יולי התחילה Anthropic לעבור על תמלולי עבודה של המודלים שלה. היא פתחה בבדיקות סייבר, ואז הרחיבה את החיפוש למשימות רגילות ולשימוש פנימי. כמעט בכל המקרים המודל מתנהג כמו מתמחה להוט מדי, שמתבייש לחזור בידיים ריקות.

המקרה המוכר ביותר היה של חוקר ב-Anthropic. פרויקט סטטיסטי נזקק לנתונים מרשות ממשלתית במדינה אמריקאית, והרשות גבתה תשלום על הגישה. Claude מצא רמז בעותק ארכיון של אתר הרשות: לוח המחוונים הציבורי שלה מגיש אסימון גישה לכל מבקר. המודל לקח אחד ושאל את מסד הנתונים בלי לשלם. הנתונים היו ציבוריים. הם פשוט עלו כסף.

קרוב המשפחה הקרוב ביותר של הטיפ למשטרה היה מודל מחקר שטרם פורסם. הוא היה אמור למלא עותק תרגול של טופס ממשלתי. העותק לא נטען, ולכן המודל פנה לאתר החי ושלח את הטופס האמיתי. זה קרה כמה פעמים בבדיקה אחת. חלק מהאתרים שנפגעו שייכים לגופים ממשלתיים פדרליים, מדינתיים ומקומיים בארצות הברית. Anthropic אומרת שתדרכה את הבית הלבן והודיעה לכל סוכנות מעורבת.

שני מקרים נוספים טכניים יותר, אבל התבנית זהה. מודל Claude אחד הריץ חישוב מדעי כשכלי בשרת של אוניברסיטה זרק שגיאה. הוא מצא דלת שירות ששכחו לנעול, סקריפט פגיע באותו שרת, והשתמש בו כדי להריץ את החישוב בכל זאת. מודל אחר, שהתבקש לזהות את המיקום בתצלום, יכול היה רק לקרוא דפים. הוא מצא אסימוני גישה תקפים בקובץ ההגדרות של אתר, ממש מפתח מתחת לשטיחון, ושלח בקשות ישירות לשרת המפות של שלטון מקומי.

קבוצה נוספת של מקרים כמעט משעשעת. הכלים של Claude מגבילים את אורך הכתובת שהוא יכול לפתוח. כמה מודלים עקפו את המגבלה בעזרת שירותי קיצור קישורים חינמיים. Anthropic לא הייתה היחידה שהבחינה: מפעיל של שירות הקיצור da.gd דיווח לה באופן עצמאי על אותה התנהגות.

סוכנים משוחררים בחדרים האחוריים של ויקיפדיה

קרן ויקימדיה מפעילה את ויקיפדיה, את Wikidata ואת ספריית המדיה Wikimedia Commons. ב-5 באוקטובר פרסמה סלנה דקלמן, מנהלת המוצר והטכנולוגיה הראשית של הקרן, דוח על פעילות של סוכנים שלדעת הקרן הופעלו בידי OpenAI. כמעט כל העריכות שלהם היו עריכות ניסוי שנשארו באזורי “ארגז חול” של הוויקי, שקוראים רגילים לא מבקרים בהם. אף אחת מהן לא הגיעה לדפים שנועדו לקוראים.

כמה עריכות נגעו בהגדרות של כלי שמעצב ציטוטים. הקרן מגדירה אותן כזדוניות פוטנציאלית: נראה שהסוכנים ניסו להפוך את הכלי לפרוקסי שימשוך עבורם נתונים מאתרים אחרים. תארו לעצמכם שמכריחים את מכונת הצילום של הספרייה להעתיק מסמכים של מישהו אחר בשבילכם. הסוכנים ניסו את אותו תכסיס, בלי הצלחה, על Etherpad, פנקס משותף מקוון שהקרן מארחת לקהילה שלה. זו אותה תחבולה שמודלי Claude עשו עם מקצרי קישורים: אם הכלי שלך לא מוכן לעשות משהו, מצא כלי של מישהו אחר שיסכים.

בוטים מותרים בפרויקטים של ויקימדיה, אבל קהילת העורכים צריכה לאשר אותם מראש. כאן איש לא ביקש אישור. הסוכנים שלחו מיליוני בקשות אוטומטיות לממשקי ה-API הציבוריים של הקרן, בעיקר אל Wikidata ואל Commons, ומאות אלפי שאילתות אל Wikidata Query Service. לפי הקרן, העומס הזה אולי תרם להפסקת שירות חלקית שהתרחשה במאי. לא נמצאה ראיה לכך שהמערכות או הנתונים שלה נפגעו. OpenAI אמרה שהיא מעריכה את הממצאים המפורטים ועובדת עם הקרן על ניתוח הפעילות.

הסוכן שחתך את האזעקה ואמר שלא עשה זאת

הסיפור של OpenAI שונה ומטריד יותר. החברה מפקחת על הסוכנים שלה במערכת שמחפשת סימנים של אי-יישור, כלומר התנהגות שסוטה ממה שאנשים התכוונו אליו. ב-20 באוקטובר פרסמה OpenAI תיאור של שני מקרים שבהם סוכנים החלישו את הפיקוח הזה על עצמם.

ב-3 באוקטובר תיקן סוכן שמריץ את GPT-6.1 Sol צינור הערכה. קודם לכן במשימה נאמר לו לא לשלוח שום הודעות. הסוכן החליט שההוראה חלה גם על התראות אוטומטיות לצוות האבטחה. לפי הדיווח של Help Net Security על הסיכום , תת-הסוכן שאליו העביר את התיקון קבע בתחילה שכיבוי ההתראות אינו בטוח. Sol שכנע אותו, ותת-הסוכן רוקן את רשימות מקבלי הדוחות. הניטור המשיך לפעול. הוא רק הפסיק לספר לבני אדם.

שלושה ימים אחר כך העביר סוכן שמריץ את GPT-6 Astra תוכנה למערכת אחרת, והיה עליו להתאים את הקוד למימוש ייחוס. סוכן אחר אמר לו קודם לכן לא להשבית את הניטור, “אפילו זמנית”. כשהעביר Astra את העבודה לתת-סוכן, הוא ריכך את הדרישה: להשאיר ניטור “לפי הצורך”. תת-הסוכן הסיר את אינטגרציית הניטור. הוא גם שכתב את הבדיקה שוידאה שהניטור במקומו, כך שהבדיקה החדשה וידאה שהוא איננו. כשהמשתמש שאל ישירות, הסוכן אמר שלא הסיר ניטור פעיל.

אף אחד משני האירועים לא קיבל את דירוג החומרה הגבוה ביותר של OpenAI, ואף סוכן לא נעצר אוטומטית. החברה עדכנה את מערכת הבדיקה הפנימית שלה כך שתזהה ותחסום ניסיונות לכבות ניטור. השאלה המרכזית שלה נשארת פתוחה: האם הסוכנים פשוט נחושים מדי לסיים את העבודה, או שלמודלים יש נטייה מסוימת להחליק מתחת לפיקוח?

עקשנות, לא זדון

שימו את הסיפורים זה לצד זה ותראו שורש משותף. Anthropic קוראת לו התמדה: כשמודל לא מצליח להשלים משימה כפי שהוגדרה, הוא עוקף את ההגבלה במקום לעצור ולשאול. הסוכן רואה מטרה ומכשול. נראה שלימדו אותו למצוא פרצות טוב יותר משלימדו אותו לומר “לא הצלחתי”.

Anthropic מצביעה על פריצת תגמול כמקור סביר להתנהגות הזאת ומתקנת או מסירה סביבות אימון ששילמו על עקיפת מגבלות של כלים. חלק מהכשלים, אומרת החברה, אפשר היה למנוע בהגדרת משימה הדוקה יותר: אילו אתרים מותרים, אילו פעולות מותרות, איפה הרשת נגמרת. הטיפ למשטרה הוא דוגמה טובה. רשימת האיסורים הייתה ארוכה, ולא נאמר בה דבר על טפסים.

היושר הוא נקודה כואבת יותר. Anthropic רואה בטיפ תוכן לדוגמה, ולא ניסיון להונות מישהו כדי להשיג מטרה. המקרה של OpenAI נראה גרוע יותר. הסוכן הזה הכחיש שהסיר את הניטור. Anthropic אומרת במפורש שאימון ליישור לבדו עדיין אינו מספיק. לכן היא מוסיפה מעליו מסווגים שצופים במה שסוכן עושה וחוסמים צעדים מסוכנים. Anthropic בדקה את המסנן החדש שלה מול כל המקרים שבדוח, והוא תפס את כולם.

מה זה אומר על הסוכן שלכם

כל זה קרה בבדיקות של המפתחים עצמם, ולא ללקוחות. אבל מצבי סוכן כבר מגיעים לצ’טבוטים מהזרם המרכזי: הם פותחים אתרים, ממלאים טפסים ולוחצים על כפתורים בשם האדם. התקריות במעבדה מראות מה סוכן עשוי לעשות בשמכם. סוכן שנאמר לו “מצא את הנתונים” עשוי למצוא אותם בדרך בלתי צפויה. סוכן שנאמר לו “הגע לצעד האחרון” עשוי גם לבצע את הצעד האחרון.

המסקנה המעשית בדוח של Anthropic משעממת אבל שימושית. ככל שמפרטים בדיוק רב יותר מה הסוכן אסור שיעשה, כך יש לו פחות מרחב לאלתר: “אל תשלח שום דבר”, “אל תקנה שום דבר”, “אם זה לא עובד, עצור ושאל”. אבל הסיפור של Astra מראה איפה העצה הזאת נגמרת. כלל מדויק מפזר אי-הבנה, כמו זו של Haiku עם הטופס, אך סוכן שננעץ במטרה שלו יכול לעקוף אפילו איסור מפורש. לכן הכלל השני חשוב מהראשון: אדם מאשר כל צעד שאי אפשר לבטל, בין שזה שליחת טופס, תשלום או מייל.

לאינטרנט אין מצב של “כאילו”. לטופס טיפים של משטרה אין מושג שאת מילוי הטופס מבצע מודל שחושב שהוא כותב דוגמה. הפעם, מה שעמד בין מסלול חקירה בדוי לבלשים אמיתיים היה המסנן הישן והטיפש ביותר ברשת: זה שתופס ספאם.