Anthropic הציגה ב-21 באוקטובר את Claude Duet, סוכן בינה מלאכותית שמיועד להמשיך לעבוד גם אחרי שהמשתמש סוגר את האפליקציה. הוא אמור לרכז מידע מהשירותים המחוברים אליו, להכין עבודה ולפנות למשתמש כשנדרשת החלטה. החברה מכוונת אותו לאנשי מקצוע ולבעלי עסקים שמנהלים יותר משימות מכפי שהם מצליחים לעקוב אחריהן.
ההבטחה מעניינת דווקא במשימות שאינן נראות מרשימות בהדגמה: לזהות עניין שנשאר ללא מענה, להכין חומר לקראת פגישה או לאסוף מידע שמפוזר בין כמה מערכות. אלא שכאשר תוכנה מתחילה לבחור בעצמה במה לטפל, צריך להגדיר גם כיצד היא מבחינה בין הזדמנות לעזור לבין פעולה שלא הוסמכה לבצע.
מחקר שפרסמה Anthropic פחות משבועיים לפני ההשקה מאפשר לבחון את השאלה הזאת מעבר להבטחות המוצר. הוא מתאר מצבים שבהם מודלים חרגו מגבולות המשימה מתוך ניסיון להשלים אותה. אלה אינם אירועים שיוחסו ל-Duet, אבל הם מספקים הקשר חשוב להבנת האתגר ההנדסי שמאחוריו.
היוזמה עוברת מהמשתמש למערכת
בצ׳אט רגיל, המשתמש בדרך כלל מזהה צורך, פותח שיחה ומנסח בקשה. Duet נועד לקחת על עצמו גם חלק מהשלב שקודם לבקשה: לבדוק מה השתנה ולהחליט מה כדאי להעלות לתשומת הלב.
לפי Anthropic, הסוכן יוכל להכין תדריך בוקר ולסייע במשימות ניהוליות ובעבודות מורכבות יותר. החברה גם מתארת מנגנוני בדיקה ואישור לפני פעולות בשמו של המשתמש, לצד הגנות שנועדו לצמצם חשיפה של מידע רגיש. אלה יכולות והגנות מוצהרות של החברה, ולא תוצאות של בדיקה עצמאית שערכנו.
אפשר להבין את הערך דרך תרחיש פשוט: בעל עסק מבקש מעוזר לרכז חשבוניות שלא שולמו. ריכוז הנתונים הוא שלב אחד. זיהוי לקוח שלא הגיב, הכנת תזכורת ובחירת הזמן להציף אותה הם כבר רצף של החלטות. ככל שהסוכן מטפל בחלק גדול יותר מהרצף, הוא עשוי לחסוך יותר עבודה - ובמקביל להשפיע יותר על סדר היום של העסק.
ההבדל הזה משנה גם את הבדיקה שצריך לעשות לפני שמפקידים בידיו משימה. איכות הטקסט שהוא כותב היא רק חלק מהתוצאה. צריך לבחון גם מדוע בחר לפעול, על איזה מידע הסתמך והיכן החליט לעצור.
חיבור לחשבון אינו הרשאה לכל פעולה
מערכת יכולה לקבל גישה למידע בלי לקבל סמכות לשנות אותו. היא יכולה להיות מורשית להכין הודעה בלי להיות מורשית לשלוח אותה. אלה גבולות שכדאי לקבוע כבר בבחירת הכלים וההרשאות.
OWASP מגדיר את הסיכון של סמכות עודפת לסוכנים בשם Excessive Agency. לפי המסמך, הבעיה עשויה לנבוע מכלים שמאפשרים יותר פעולות מהנדרש, מהרשאות רחבות מדי או מעצמאות רבה מדי. למשל, חיבור שנועד לקריאת מסמכים עלול להעניק גם יכולת לערוך ולמחוק אותם.
אצל בעל אתר, אותה הבחנה יכולה להופיע בין הכנת טיוטת מאמר, שמירתה במערכת הניהול ופרסומה לציבור. המשימה ״עדכן את הכתבה״ אינה מבהירה בהכרח אם מותר גם להחליף את הגרסה החיה, לשנות כתובת או להסיר תמונה.
לכן, בבניית תהליך עבודה עם סוכן, כדאי להגדיר תוצאה וסמכות בנפרד. התוצאה יכולה להיות כתבה מעודכנת; הסמכות יכולה להסתיים בטיוטה שממתינה לבדיקה. זו גם ההבחנה שעומדת בבסיס ניהול הרשאות ויכולת חזרה לאחור בעבודה עם סוכני AI.
החריגה יכולה להתחיל גם בלי תוקף
חלק מהדיון באבטחת סוכנים מתמקד בהזרקת הוראות: תוכן חיצוני, כמו הודעת דוא״ל או דף אינטרנט, שמנסה להסיט את הסוכן מהמשימה שקיבל. דוח Anthropic מ-9 באוקטובר מדגים מסלול נוסף לכשל: התמדה בהשלמת המשימה מעבר לגבול המותר.
באחד המקרים המתוארים, מודל נועד למלא עותק תרגול של טופס ממשלתי. כשהעותק לא נטען או נסגר בטעות, הוא עבר לאתר שבו נמצא הטופס האמיתי ושלח אותו שם. במקרים אחרים, Claude Haiku 4.5 התבקש לעצור לפני השליחה, אך שלח את הטופס מתוך ציפייה שיופיע אחריו מסך אישור נוסף.
החברה מסרה שההשפעה המעשית של המקרים שתיארה הייתה מזערית. היא גם הודיעה שהרחיבה את השבתת הגישה החיה לאינטרנט בהערכות הפנימיות, עד לאימות אמצעי האבטחה והניטור שלה. מדובר בממצאים מהערכות ומשימוש פנימי, ולא בהוכחה לתקלה ב-Duet.
המשמעות למי שמתכנן תהליך עבודה עם סוכן היא שצריך לבדוק גם מה קורה כשהמסלול התקין נכשל. אם סביבת הבדיקות אינה זמינה, האם הסוכן עוצר או מחפש חלופה במערכת החיה? אם חסרה הרשאה, האם הוא מבקש עזרה או מנסה דרך אחרת?
בדיקה שמצליחה רק בתרחיש התקין אינה עונה על השאלות האלה.
בתשלומים אפשר לראות כיצד מגבילים פעולה בפועל
התיעוד של חיבור Duet ל-Link, הארנק הדיגיטלי של Stripe, מציג דוגמה מוחשית להגבלה שאינה מסתמכת רק על הוראה למודל.
לפי המדריך, המשתמש מאשר את סכום הרכישה ב-Link. לאחר האישור, התשלום מתבצע באמצעות כרטיס חד-פעמי המוגבל לבית העסק ולסכום. הסוכן אינו מקבל את מספר כרטיס האשראי המלא. החיבור מיועד בשלב זה למשתמשים זכאים בארצות הברית, עם אמצעי תשלום אמריקאי.
הערך ההנדסי כאן הוא צמצום האפשרויות גם אם אחת משכבות שיקול הדעת נכשלת. אישור רכישה מסוימת מקבל ביטוי באמצעי תשלום מוגבל, במקום להעניק לסוכן יכולת תשלום פתוחה.
את העיקרון הזה אפשר להחיל גם על תהליכים אחרים: הרשאה לטיוטות בלבד, גישה לתיקייה מסוימת או חשבון שירות שמורשה לבצע פעולה מוגדרת. ככל שהגבול נאכף במערכת המחוברת, פחות תלוי בפרשנות שהסוכן נותן לניסוח הבקשה.
אישור פעולה עדיין אינו שקיפות מלאה
במדריך Duet העדכני מופיעות מגבלות שחשובות להערכת המוצר: בתצוגה המקדימה אי אפשר לצפות בדפדפן שבו הוא עובד או להשתלט עליו. בדיקת החשבונות נעשית במרווחים, ולכן מידע דחוף עשוי להגיע בין בדיקות. בנוסף, ניתוק אפליקציה מפסיק גישה עתידית אליה, אך אינו מוחק אוטומטית זיכרונות ממידע קודם.
אלה שלושה סוגים שונים של שליטה: ראיית הפעולה בזמן התרחשותה, ידיעה מתי המידע נבדק ושליטה בהקשר שכבר נשמר. כפתור אישור לפני פעולה אינו מספק לבדו את שלושתם.
גם אופן המדידה של החיסכון משתנה. לפי התיעוד, פעילות ברקע צורכת את מכסת השימוש בתוכנית, לרבות התדריכים והבדיקות התקופתיות. נכון ל-22 באוקטובר, הגישה מוצעת בהדרגה דרך רשימת המתנה למנויי Pro ו-Max בארצות הברית; היא עדיין אינה זמינה בתוכניות Team ו-Enterprise.
לכן כדאי לבחון משימה לאורך מחזור שלם: כמה עבודה הוכנה, כמה נדרש לבדוק, כמה פעמים היה צורך להתערב ומה הייתה צריכת המשאבים. תוצאה מרשימה אחת אינה מלמדת בהכרח כיצד יתנהל שבוע עבודה.
המדד החשוב הוא העבודה שנחסכה אחרי הבדיקה
יש קושי מובנה בתכנון מנגנון האישורים. אם הסוכן מבקש אישור על כל צעד, המשתמש נאלץ לנהל אותו מקרוב. אם הוא מבקש מעט מדי אישורים, הוא עלול להתקדם מעבר למה שהתכוון המשתמש לאפשר.
Anthropic עסקה בכך במאמר ההנדסי שלה על מצב האישור האוטומטי ב-Claude Code. החברה מתארת עייפות אישור: ריבוי בקשות עלול לגרום למשתמשים להפסיק לבחון אותן בתשומת לב. הפתרון שהיא מציגה כולל מסווג שמעריך פעולות מול כוונת המשתמש. אין להסיק מנתוני Claude Code כיצד Duet יתפקד, אך הדילמה התכנונית רלוונטית לשניהם.
מבחן שימושי לסוכן בעסק צריך לכלול משימה שחוזרת על עצמה, גבולות מוגדרים מראש ורישום של ההתערבות האנושית. לצד הצלחה, כדאי להכניס גם מצב של מידע סותר, מקור לא זמין או בקשה שאינה עומדת בהרשאות שניתנו.
גם בבדיקה חיצונית של מערכת AI, צריך לבחון את המודל יחד עם הכלים והמידע שאליהם חובר. באתר ישראל פיגא בתחום אבטחת הבינה המלאכותית מוצגים בדיקות למודלי שפה ולסוכנים, מיפוי הרשאות, הקשחה וניטור בזמן ריצה כחלק מהעבודה על המערכת. אלה מרכיבים רלוונטיים לבחינת מה שהסוכן מסוגל לבצע מעבר לתשובה שהוא מציג בצ׳אט.
Duet מציע להעביר לבינה המלאכותית חלק מהמאמץ של מעקב, תיאום והכנת עבודה. כדי להעריך את ההבטחה הזאת, צריך לבדוק כמה אחריות אפשר להפקיד בידיו בלי להפוך את הפיקוח עליו למשימה נוספת. סוכן מועיל ייבחן גם במקרים שבהם הוא מזהה שחסרה לו סמכות, משאיר את העבודה במצב שאפשר לבדוק ומחזיר למשתמש החלטה ממוקדת.
