مختبر robots.txt

Make HTML structure easier to inspect

تقرأ هذه الأداة نص robots.txt وتقيّم المسارات التي يبدو أن زاحفاً محدداً مسموح له بطلبها أو ممنوعاً. robots.txt توجيه طوعي وليس تحكماً بالوصول أو مصادقة أو حاجز أمان. قد تختلف الزواحف في الإضافات.

Formatting is not HTML validation

يحتوي الملف على مجموعات محددات User-agent وقواعد Allow وDisallow وتوجيهات sitemap وcrawl-delay اختيارية. تعتمد المطابقة والأولوية وحالة الأحرف والبدائل والحقول غير المدعومة على تطبيق الزاحف.

How to format HTML

1. أدخل الملف أو ألصقه واختر الوكيل واختبر مسارات ممثلة وافحص المجموعة والقاعدة المطابقة. تحقق من الملف في الأصل والبروتوكول الصحيحين وراجع إعادة التوجيه والتخزين وأرسل خرائط الموقع منفصلة.
2. أدخل الملف أو ألصقه واختر الوكيل واختبر مسارات ممثلة وافحص المجموعة والقاعدة المطابقة. تحقق من الملف في الأصل والبروتوكول الصحيحين وراجع إعادة التوجيه والتخزين وأرسل خرائط الموقع منفصلة. Compare the tested path with crawler documentation.

Formatting method

• Read markup structure

  يحلل المختبر المجموعات ويطابق رموز الوكيل ويقيّم قواعد المسار ويشرح النتيجة. قد يحاكي الأعراف الشائعة لا كل محرك. لا تثبت النتيجة أن الزاحف قرأ الملف أو سيلتزم به.

• Apply indentation

  يحلل المختبر المجموعات ويطابق رموز الوكيل ويقيّم قواعد المسار ويشرح النتيجة. قد يحاكي الأعراف الشائعة لا كل محرك. لا تثبت النتيجة أن الزاحف قرأ الملف أو سيلتزم به.

• Preserve content

  يحلل المختبر المجموعات ويطابق رموز الوكيل ويقيّم قواعد المسار ويشرح النتيجة. قد يحاكي الأعراف الشائعة لا كل محرك. لا تثبت النتيجة أن الزاحف قرأ الملف أو سيلتزم به.

Read the formatted result

يعرض الناتج المفيد الوكيل والمسار والقواعد والافتراضات. راجع الخصوصية والدمج والترميز والفرق بين الزحف والفهرسة. Disallow لا يزيل الرابط من نتائج البحث.

أخطاء شائعة

من الأخطاء حظر CSS أو JavaScript اللازم للعرض واعتبار الملف حماية للملفات الخاصة ونسيان الشرطة أو wildcard واستخدام توجيهات غير مدعومة واختبار مضيف أو بروتوكول مختلف.

من الأخطاء حظر CSS أو JavaScript اللازم للعرض واعتبار الملف حماية للملفات الخاصة ونسيان الشرطة أو wildcard واستخدام توجيهات غير مدعومة واختبار مضيف أو بروتوكول مختلف. Compare the tested path with crawler documentation.

الحدود والحالات الخاصة

لا يفرض المختبر سلوك الزاحف ولا يزيل المحتوى المفهرس ولا يتحقق من تحكم الخادم ولا يضمن اتباع كل روبوت. تحتاج CDN وإعادة التوجيه وDNS وسياسة المحرك إلى فحص مستقل.

لا يفرض المختبر سلوك الزاحف ولا يزيل المحتوى المفهرس ولا يتحقق من تحكم الخادم ولا يضمن اتباع كل روبوت. تحتاج CDN وإعادة التوجيه وDNS وسياسة المحرك إلى فحص مستقل. Compare the tested path with crawler documentation.

Examples

Frequently asked questions

References