robots.txt و llms.txt وزواحف الذكاء الاصطناعي: ما الذي يجهّزه موقع صغير
بقلم فريق Rastock AEOنُشر 6 دقائق قراءة
على الموقع الصغير أن يقرّر عن قصد أي زواحف الذكاء الاصطناعي يسمح لها في robots.txt، مستخدمًا الأسماء الرسمية لوكيل المستخدم لدى كل شركة، وأن يتأكد من أن حقائقه الأساسية موجودة في HTML الذي يرسله الخادم. أما ملف llms.txt فاختياري: هو مقترح من المجتمع التقني، وتقول Google إن بحثها لا يستخدمه.
تقرأ شركات الذكاء الاصطناعي المواقع ببرامج آلية تسمى الزواحف. يعلن كل زاحف عن اسم يسمى وكيل المستخدم (user agent)، ومعظمها يراجع ملفًا نصيًا على موقعك اسمه robots.txt قبل أن يقرأ أي شيء. يتناول هذا الدليل الأسماء المهمة، وإعدادًا آمنًا للبداية، وموضوعين يسببان الالتباس: llms.txt و JavaScript.
ثلاثة أنواع من زواحف الذكاء الاصطناعي
يقسّم كبار المزوّدين زواحفهم بحسب الغرض. ولهذا التقسيم أهميته، لأن حجب نوع يختلف أثره عن حجب نوع آخر.
- زواحف التدريب تجمع صفحات قد تُستخدم في تدريب النماذج المقبلة. حجبها رفض للمشاركة في التدريب. ولا يخرجك من بحث الذكاء الاصطناعي.
- زواحف البحث تبني الفهرس الذي يبحث فيه المساعد حين يجيب بنتائج من الويب. حجبها قد يبقي صفحاتك خارج تلك الإجابات وروابط مصادرها.
- أدوات الجلب التي يشغّلها المستخدم تزور الصفحة لأن شخصًا سأل المساعد عنها أو لصق عنوانها. وهي ليست زحفًا آليًا، ويقول بعض المزوّدين إن قواعد
robots.txtقد لا تنطبق عليها.
الأسماء الرسمية لوكيل المستخدم
هذه الأسماء مأخوذة من وثائق كل شركة نفسها، وقد جرى التحقق منها في نوفمبر 2026. وهي تتغير من حين إلى آخر، فراجع روابط المصادر قبل أن تعدّل ملفًا يعمل فعليًا.
| الشركة | الاسم في robots.txt | الغرض | ما تقوله الشركة |
|---|---|---|---|
| OpenAI | GPTBot | التدريب | منعه إشارة إلى أن محتواك لا ينبغي استخدامه في تدريب نماذجها. |
| OpenAI | OAI-SearchBot | البحث | المواقع التي تختار الاستبعاد لا تُعرض في إجابات بحث ChatGPT، وإن كانت قد تظهر كروابط تنقّل عادية. |
| OpenAI | ChatGPT-User | بطلب من المستخدم | لا يُستخدم للزحف الآلي. قد لا تنطبق عليه قواعد robots.txt. |
| Anthropic | ClaudeBot | التدريب | حجبه يستبعد المواد المقبلة من مجموعات بيانات التدريب. |
| Anthropic | Claude-SearchBot | البحث | حجبه قد يقلّل الظهور والدقة في نتائج بحث Claude. |
| Anthropic | Claude-User | بطلب من المستخدم | يلتزم بـ robots.txt. حجبه يمنع Claude من جلب صفحتك للإجابة عن سؤال مستخدم. |
| Perplexity | PerplexityBot | البحث | يُستخدم لإظهار المواقع ووضع روابطها في Perplexity. لا يُستخدم لتدريب النماذج. |
| Perplexity | Perplexity-User | بطلب من المستخدم | يتجاهل robots.txt في العموم، لأن شخصًا هو من طلب الجلب. |
Googlebot | البحث | يغذّي بحث Google. وتقول Google إن ميزات الذكاء الاصطناعي لديها تعتمد على فهرس البحث. | |
Google-Extended | اسم تحكّم فقط | ليس زاحفًا مستقلًا. يتحكم في تدريب Gemini وفي الإسناد (grounding) داخل تطبيقات Gemini. لا أثر له في بحث Google. |
ملاحظتان. تذكر OpenAI أيضًا OAI-AdsBot، وهو لا يزور إلا الصفحات المقدَّمة كإعلانات على ChatGPT. أما منشورات Microsoft عن Copilot فلا تسمّي زاحف ذكاء اصطناعي مستقلًا. فهي تخاطب زاحفه باسم Bingbot وتستخدم وسومًا على مستوى الصفحة، يأتي ذكرها أدناه.
مثال على robots.txt
يوجد الملف في جذر نطاقك، مثل https://example.com/robots.txt. ومن الخيارات الشائعة لنشاط تجاري يريد أن يُعثر عليه: السماح بالبحث وبالوصول الذي يطلبه المستخدم، ورفض المشاركة في التدريب. ويكون ذلك هكذا:
# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlوللسماح بالتدريب أيضًا، احذف المجموعة الثانية. ولحجب زاحف عن مجلد واحد فقط، ضع مكان / مسارًا مثل /members/.
فكّر قبل أن تضيف Google-Extended إلى المجموعة المحجوبة. تقول Google إن هذا الاسم يشمل تدريب Gemini والإسناد داخل تطبيقات Gemini معًا، فحجبه قد يحدّ أيضًا من استخدام تطبيق Gemini لصفحاتك عند الإجابة.
ما لا يستطيعه robots.txt
- هو طلب وليس قفلًا. يقول دليل Google إن الملف لا يستطيع فرض سلوك معيّن، وإن الالتزام به متروك لكل زاحف. ضع المحتوى الخاص خلف تسجيل دخول.
- التغييرات ليست فورية. تقول OpenAI و Perplexity كلتاهما إن أنظمتهما قد تحتاج إلى نحو 24 ساعة حتى يظهر فيها التحديث.
- طبقات أخرى قد تحجب بصمت. قد يرفض جدار حماية أو شبكة توصيل محتوى (CDN) أو مزوّد استضافة زواحف الذكاء الاصطناعي قبل أن تقرأ ملفك أصلًا. اسأل مزوّدك عن إعداده الافتراضي.
- الحجب بعنوان IP قد يأتي بنتيجة عكسية. تحذّر Anthropic من أنه قد يمنع الزاحف من قراءة
robots.txtمن الأساس. - Microsoft تستخدم وسوم الصفحة. أعلنت Bing في 30 أكتوبر 2026 عن تفضيلات جديدة للتدريب والإسناد، تُضبط بوسوم meta موجّهة إلى Bingbot، وتقول إنها تسري اعتبارًا من 1 فبراير 2027. وهي تحل محل الوسمين الأقدم
noarchiveوnocacheلهذا الغرض.
وتجري كذلك في IETF صياغة مسودة لإشارة مشتركة في robots.txt معناها «لا لتدريب الذكاء الاصطناعي». تقول Anthropic و Microsoft إنهما تلتزمان بها أو ستلتزمان بها، وتقول Google إنها تعتزم دعمها في أوائل 2027. المسودة قد تتغير بعد، ولذلك تبقى القواعد المسمّاة أعلاه هي الطريق الذي يُعتمد عليه حاليًا.
ما هو llms.txt، وما وضعه الفعلي
llms.txt مقترح نشره جيريمي هوارد (Jeremy Howard) في سبتمبر 2024. يقترح وضع ملف Markdown في /llms.txt يحوي اسم موقعك وملخصًا قصيرًا وقوائم روابط إلى أكثر صفحاتك فائدة، ويُفضَّل أن تكون بصيغة نصية نظيفة. وهو دليل لأدوات الذكاء الاصطناعي لا قاعدة وصول، فلا يغني عن robots.txt.
لكنه لم ينتهِ أيضًا. تنشر OpenAI و Anthropic وفريق Gemini في Google و Perplexity ملفات llms.txt لوثائق المطوّرين الخاصة بها، وأداة Lighthouse من Chrome صارت تتحقق من وجوده، وتصفه بأنه عُرف ناشئ اختياري في الوقت الحالي. استخدامه العملي اليوم هو مساعدة مساعدات البرمجة والوكلاء على قراءة الوثائق. فإذا كان لموقعك وثائق أو API، فإضافة الملف قليلة التكلفة. أما موقع نشاط تجاري محلي، فاعتبره فيه أولوية منخفضة.
المحتوى الذي لا يظهر إلا بـ JavaScript
كثير من المواقع الحديثة يرسل صفحة شبه فارغة ثم يبني المحتوى في متصفح الزائر بواسطة JavaScript. تستطيع Google تشغيل هذا الـ JavaScript، في خطوة عرض منفصلة قد تأتي لاحقًا. لكن وثائق Google نفسها تشير إلى أن الروبوتات لا تستطيع كلها تشغيل JavaScript، وتوصي بالعرض من جهة الخادم (server-side rendering) أو العرض المسبق (pre-rendering).
صفحات الزواحف لدى OpenAI و Anthropic و Perplexity لا تذكر هل تنفّذ زواحفها السكربتات. والافتراض الآمن أنها قد لا تنفّذها. وللتحقق، افتح صفحتك واختر «عرض مصدر الصفحة»، وابحث عن أسعارك وخدماتك وبيانات التواصل. فإن لم تجدها في المصدر، فاطلب من مطوّرك أن يعرضها من الخادم.
إعداد معقول لموقع صغير
- 1اقرأ ملف
robots.txtالحالي وابحث عن قواعد قديمة تحجب كل شيء. - 2اسمح لزواحف البحث وأدوات الجلب التي يشغّلها المستخدم التابعة للمحركات التي يستخدمها عملاؤك.
- 3اتخذ قرارك في زواحف التدريب بوصفه خيارًا تجاريًا، واكتب القاعدة في الحالين.
- 4اسأل مزوّد الاستضافة أو شبكة توصيل المحتوى (CDN) هل يحجب روبوتات الذكاء الاصطناعي افتراضيًا.
- 5تأكد من أن حقائقك الأساسية موجودة في مصدر الصفحة، لا مضافة بـ JavaScript فقط.
- 6أضف
llms.txtفقط إذا كانت لديك وثائق تستحق الإشارة إليها. - 7راجع صفحات الزواحف الرسمية بضع مرات في السنة.
Rastock AEO، وهو ما زال قيد البناء، مصمَّم لتتبّع كيف تصف محركات الإجابة النشاط التجاري. ولا يعمل شيء من ذلك إذا لم تستطع الزواحف قراءة موقعك، ولهذا يأتي هذا الإعداد أولًا.
أسئلة وأجوبة
- هل يزيل حجب GPTBot موقعي من بحث ChatGPT؟
- لا. تقول OpenAI إن كل إعداد مستقل عن الآخر: GPTBot يتعلق بالتدريب، و OAI-SearchBot يتحكم في ما إذا كان الموقع يُعرض في إجابات بحث ChatGPT.
- هل أحتاج إلى ملف llms.txt؟
- هو اختياري. إنه مقترح من المجتمع التقني، وتقول Google إن بحثها لا يستخدمه، ولم نجد محركًا رئيسيًا يؤكد أنه يؤثر في الإجابات. وأكثر ما يفيد المواقع التي لديها وثائق للمطوّرين.
- هل تلتزم كل روبوتات الذكاء الاصطناعي بـ robots.txt؟
- لا. الملف طلب تتبعه الزواحف الحسنة السلوك. تقول Perplexity إن أداة الجلب التي يشغّلها المستخدم لديها تتجاهله في العموم، وتقول OpenAI إن القواعد قد لا تنطبق على ChatGPT-User.
- هل سترى زواحف الذكاء الاصطناعي المحتوى الذي يحمّله موقعي بـ JavaScript؟
- ربما لا. Google تعرض JavaScript لكنها تنبّه إلى أن الروبوتات لا تستطيع ذلك كلها، وصفحات الزواحف الرئيسية الأخرى لا تذكر شيئًا. ضع الحقائق المهمة في HTML الذي يرسله الخادم.
المصادر
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
- Perplexity Crawlers (Perplexity)
- Google's common crawlers (Google for Developers)
- Optimizing your website for generative AI features on Google Search (Google Search Central)
- Robots.txt Introduction and Guide (Google Search Central)
- Understand the JavaScript SEO basics (Google Search Central)
- Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
- The /llms.txt file, v2 (llmstxt.org)
- llms.txt (Lighthouse, Chrome for Developers)
اعرف ما يقوله الذكاء الاصطناعي عن نشاطك التجاري.
احصل على وصول مبكرمقالات أخرى
ما هو تحسين محركات الإجابة (AEO)؟
دليل مبسّط لتحسين محركات الإجابة: ما هي محركات الإجابة، وما علاقة AEO بـ SEO، وما الذي تستطيع التأثير فيه، وما الذي لا تستطيعه، وخطواتك الأولى.
لماذا لا تُعدّ إجابة واحدة من الذكاء الاصطناعي قياسًا
إجابات الذكاء الاصطناعي تتغير بين تشغيل وآخر وبتغيّر الصياغة والمكان وإصدار النموذج. إليك لماذا لا تثبت لقطة شاشة واحدة إلا القليل، وكيف تأخذ عينات منصفة.