robots.txt পরীক্ষক

স্টোরেজ কেবল তখন ব্যবহার হয় যখন টুলটি স্থানীয়, সংস্করণযুক্ত, সীমিত পরিসরের, মুছে ফেলা যায় এমন এবং অসংবেদনশীল ব্রাউজার ডেটা স্পষ্টভাবে বর্ণনা করে।