כך ChatGPT מגלה דפים חדשים - הפיילוט של Cloudflare ו-OpenAI
Cloudflare ו-OpenAI פרסמו ב-15 באוקטובר 2026 תוצאות ראשונות של פיילוט לשיפור גילוי דפי אינטרנט עבור חיפוש ב-ChatGPT. לפי הפרסום המשותף של החברות, הפיילוט החל ביולי, הקיף כ-1% מרשת Cloudflare וסייע לגלות ולהכניס לאינדקס החיפוש של OpenAI מאות מיליוני דפים חדשים. אלה נתונים שמציגות החברות המשתתפות, ולא מדידה עצמאית.
הסיפור נוגע לשלב שקודם לבחירת המקור לתשובה: היכולת לדעת שדף מסוים קיים ושכדאי לבדוק אותו. עבור בעלי אתרים, זו הזדמנות להבין טוב יותר את המרחק שבין פרסום תוכן לבין הצגתו למשתמש בחיפוש מבוסס AI.
מה רשת תשתית יכולה לספר לסורק
לפי תיאור הפיילוט, אותות מרשת Cloudflare מסייעים לסורק החיפוש של OpenAI למצוא דפים שימושיים, לרבות כאלה שמעט אתרים מקשרים אליהם. לאחר הגילוי, OpenAI מעריכה ומדרגת את הדפים באופן עצמאי.
חלק מהעבודה עוסק בסינון: בקשות אוטומטיות לכתובות שאינן קיימות, הפניות גורפות לעמוד הבית ועותקים של אותו תוכן עלולים ליצור פעילות שמבזבזת משאבי סריקה. אותות על שינויים בדפים יכולים לסייע גם בהחלטה מתי כדאי לחזור אליהם.
אפשר לחשוב, למשל, על עמוד תיעוד שעודכן בעקבות שינוי בתוכנה. לפני שמערכת חיפוש תוכל להשתמש בגרסה החדשה שלו, עליה לגלות שהעמוד קיים או השתנה, לגשת אליו ולעבד את המידע. שיפור בשלב המוקדם עשוי לקצר את הדרך למידע העדכני, אך בחירתו לתשובה עדיין תלויה בשאלה שנשאלה ובתוכן שנמצא.
מהגילוי ועד לתשובה: ארבעה שלבים נפרדים
ההפרדה בין גילוי, סריקה, אינדוקס והצגת תוצאה מוכרת גם ממנועי חיפוש. Google, למשל, מתארת במפורש כיצד גילוי כתובת עשוי להוביל לסריקה, וכיצד דף שנסרק עדיין אינו מובטח להיכלל באינדקס או להופיע בתוצאות. זו הבחנה מושגית שימושית גם לניתוח הפיילוט.
שלב | מה מתרחש בו | מה עדיין צריך לבחון |
גילוי | המערכת לומדת על כתובת של דף | האם אפשר לגשת לדף והאם יש בו מידע שימושי |
גישה וסריקה | הסורק מקבל תגובה ותוכן מהאתר | האם התקבל התוכן הרצוי, ומה אפשר ללמוד ממנו |
אינדוקס | המידע מעובד ונכלל במאגר החיפוש | לאילו שאלות הוא רלוונטי וכיצד ייבחר |
הצגה למשתמש | הדף מופיע בתוצאה או כמקור לתשובה | האם נוצרו ביקורים ומה עשו המשתמשים באתר |
הטבלה מבהירה גם כיצד לקרוא נתוני הצלחה. גידול במספר הדפים שהתגלו מעיד על התרחבות הכיסוי. כדי להעריך תועלת לבעל אתר צריך לבדוק גם את השלבים שאחריו: הופעה בפני משתמשים, ביקורים רלוונטיים ופעולות שהתרחשו בעקבותיהם.
דף יכול להיות נגיש ולהיכלל במאגר, ועדיין לא להתאים לשאלה מסוימת. מנגד, עמוד ממוקד שמספק תשובה מדויקת עשוי להיות רלוונטי לשאלה צרה גם אם אינו מיועד לקהל גדול.
גילוי הדף והרשאת הגישה אליו
לפי Cloudflare, הפיילוט משתמש במטא-דאטה לצורכי חיפוש וגילוי, ואות על דף אינו מעניק הרשאה לגשת אליו. הפרסום גם מבחין בין פעילות זו לבין שיתוף תוכן לאימון מודלים.
בתיעוד OpenAI קיימת הפרדה תפעולית בין מטרות הסורקים. OAI-SearchBot מיועד לחיפוש, ואילו GPTBot משמש לסריקת תוכן שעשוי לשמש לאימון. ההגדרות נפרדות, כך שבעל אתר יכול להתיר את סורק החיפוש ולהגביל את סורק האימון.
את ההבדלים האלה פירטנו בכתבה על robots.txt מול סורקי AI: מה אפשר לחסום, מה לא, ומה llms.txt לא עושה. הפיילוט מוסיף לדיון את שאלת הגילוי: כיצד המערכת מוצאת דפים שכדאי לה לבדוק, לצד ההחלטה של המפרסם כיצד לאפשר גישה אליהם.
מה בעלי אתרים יכולים למדוד כבר עכשיו
כדי להעריך נראות בחיפוש מבוסס AI, כדאי להפריד בין שלוש קבוצות של נתונים:
- גישה טכנית: אילו תגובות מקבלות בקשות הסורקים, והאם הן מגיעות לתוכן הרצוי.
- פעילות סריקה: אילו דפים נבדקים, באיזו תדירות ואילו בקשות נחסמות.
- חשיפה ותוצאות: הופעות מזוהות בתשובות, ביקורים שהגיעו מהן והפעולות שביצעו המבקרים.
Cloudflare מציעה במסגרת AI Crawl Control כלים לצפייה בפעילות של שירותי AI, לניהול גישה ולמעקב אחר ציות להוראות robots.txt. הנתונים האלה מסייעים לבחון את צד הגישה והסריקה של האתר.
את הקשר לתוצאות עסקיות צריך לבדוק בנפרד. למשל, אפשר לתעד שינוי בהגדרות הגישה, לעקוב אחר בקשות לדפים מסוימים ולבחון אם בהמשך מופיעים ביקורים רלוונטיים. גם כאשר מתרחש שיפור, יש להביא בחשבון שינויים נוספים באתר ובתוכן לפני שמייחסים אותו לגורם יחיד.
הפיילוט מציב במרכז בעיה תשתיתית חשובה: למצוא מידע שימושי ולעדכן את ההיכרות איתו בלי לסרוק שוב ושוב את אותה הרשת. עבור מפרסמים, המדידה המשמעותית מתחילה בגישה תקינה לדף וממשיכה עד לאופן שבו המידע שלהם מגיע לקורא ומשמש אותו.
