robots.txt
User-agent: * Disallow: /admin/ Disallow: /api/
User-agent: * Disallow: /admin/ Disallow: /api/
Robots.txt Generator giúp bạn tạo file robots.txt đúng cú pháp để kiểm soát các search engine bot crawl website của bạn. Chọn rules và copy file hoàn chỉnh.
Kiểm soát crawling
Chỉ định trang nào được và không được crawl, tiết kiệm crawl budget.
Bảo vệ nội dung riêng
Ngăn bot index các trang admin, staging hoặc duplicate content.
Sitemap reference
File robots.txt là nơi lý tưởng để khai báo URL sitemap.
Crawl budget optimization
Với site lớn, định hướng bot đến các trang quan trọng hơn.
01
Chọn User-agent
Áp dụng rules cho tất cả bot (*) hoặc bot cụ thể (Googlebot).
02
Thêm Disallow rules
Liệt kê các đường dẫn không muốn bot crawl.
03
Thêm Allow rules
Cho phép bot crawl một số path trong Disallow folder.
04
Thêm Sitemap URL
Khai báo URL sitemap.xml để bot dễ tìm thấy.
User-agent: *
Áp dụng cho tất cả search engine bots.
Disallow: /admin/
Ngăn bot crawl toàn bộ thư mục /admin/.
Allow: /
Cho phép crawl path cụ thể (dùng khi có Disallow rộng hơn).
Sitemap:
Khai báo URL sitemap.xml đầy đủ với https://.
Crawl-delay:
Thời gian chờ giữa các requests (giây). Chỉ một số bot support.
SEO Specialist
Tạo robots.txt đúng cú pháp mà không cần nhớ format hay test thủ công.
Developer
Tạo nhanh robots.txt khi deploy site mới với các rules cơ bản.
Site Owner
Kiểm soát search engine access mà không cần kiến thức kỹ thuật chuyên sâu.