לפני שמוסיפים שורות ל-robots.txt כדי ״לחסום AI״, כדאי לדעת שאין דבר כזה סורק AI אחד. כל חברה מפעילה כמה מזהים, וכל מזהה נוגע בשימוש אחר: אימון מודלים, הופעה בחיפוש של הצ'אט, או גלישה בזמן אמת בשם משתמש. חסימה של מזהה אחד לא משפיעה על השאר.
המזהים, לפי התיעוד הרשמי
| חברה | מזהה (User-agent) | למה הוא משמש | מה חסימה משיגה |
|---|---|---|---|
| OpenAI | GPTBot | איסוף תוכן שעשוי לשמש לאימון מודלים | התוכן העתידי לא ישמש לאימון |
| OpenAI | OAI-SearchBot | הצגת אתרים בתוצאות החיפוש של ChatGPT | האתר לא יופיע בתשובות חיפוש (יכול להופיע כקישור ניווט) |
| OpenAI | ChatGPT-User | גישה לעמוד כשמשתמש מבקש זאת בשיחה | לפי OpenAI, כללי robots לא בהכרח חלים על בקשות שמשתמש יזם |
| Anthropic | ClaudeBot | איסוף תוכן שעשוי לשמש לאימון | התוכן העתידי לא ייכלל באימון |
| Anthropic | Claude-SearchBot | אינדוקס לשיפור תוצאות חיפוש | האתר לא יאונדקס לחיפוש של Claude |
| Anthropic | Claude-User | גישה לעמוד לבקשת משתמש | מונע את הגישה הזאת, ועלול להקטין נראות |
| Google-Extended | אסימון שליטה: שימוש בתוכן לאימון Gemini ול-grounding | לא משפיע על אינדוקס בחיפוש גוגל ואינו אות דירוג |
שימו לב להבדל אצל גוגל: Google-Extended אינו סורק נפרד. הסריקה נעשית על ידי הסורקים הרגילים של גוגל, והאסימון רק אומר למה מותר להשתמש בתוכן. חסימה שלו לא מורידה אתכם מהחיפוש, וגם לא מונעת מ-AI Overviews להציג את התוכן, כי אלה חלק ממוצר החיפוש. גוגל כותבת זאת במפורש בתיעוד.
מה robots.txt יכול ומה לא
robots.txt הוא בקשה, לא מנעול. התקן (RFC 9309) מגדיר איך סורק מנומס אמור לקרוא את הקובץ, ושלוש החברות שלעיל מצהירות שהן מכבדות אותו. סורקים שלא מזדהים, או שמזדהים כדפדפן רגיל, לא כפופים לו. מי שרוצה חסימה בפועל צריך שכבה אחרת: חוקים בשרת או ב-CDN לפי מזהה, הגבלת קצב, או אימות.
יש גם עניין של זמן. OpenAI מציינת שעדכון ב-robots.txt מתעדכן אצלם תוך כ-24 שעות; Anthropic מציינת שחסימת כתובות IP אינה דרך אמינה לבקש הסרה, כי היא עלולה למנוע מהסורק לקרוא את robots.txt בכלל. ובכל מקרה, חסימה חלה על תוכן שייאסף מעכשיו, לא על מה שכבר נאסף.
דוגמה לקובץ שמפריד בין השימושים
אתר שרוצה להישאר בחיפוש של הצ'אטים אבל לא לשמש לאימון יכול לכתוב כך:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /זו בחירה עריכתית, לא המלצה גורפת. אתר שמתפרנס מתנועה אולי ירצה דווקא להישאר נגיש לכל המנועים; אתר שמוכר תוכן אולי ירצה לחסום הכול. העיקר הוא לדעת מה כל שורה עושה.
ומה עם llms.txt
llms.txt הוא הצעה קהילתית מספטמבר 2024: קובץ Markdown בשורש האתר שמסכם לכלי AI מה יש בו. ההצעה נפוצה בחוגי SEO, אבל אין עדות רשמית שמנוע חיפוש או מודל משתמש בה. John Mueller מגוגל כתב ביוני 2025 ששום מערכת AI לא משתמשת ב-llms.txt, והשווה אותו לתג keywords שמנועי חיפוש מתעלמים ממנו כבר שנים כי בעל האתר שולט בו. בהתבטאויות מאוחרות יותר ב-2026 הוא חזר על כך.
המסקנה המעשית: הקובץ לא מזיק, אבל הוא לא תחליף לשום דבר. מה שמנועי החיפוש והמודלים קוראים בפועל הוא ה-HTML של העמודים, הכותרות, ה-structured data, ו-robots.txt. אם ביומני השרת שלכם אין בקשות ל-llms.txt, זה לא סימן שמשהו לא עובד; זה פשוט המצב.
איך בודקים מה קורה אצלכם
ביומני הגישה של השרת (ב-cPanel: Raw Access או Awstats) חפשו את המזהים מהטבלה. תראו מי מגיע, באיזו תדירות ולאילו עמודים. זו הדרך היחידה לדעת אם החסימה שכתבתם מכובדת, ואם סורק שלא רציתם מבקר בכל זאת.
