Robots.txt Generator

Tạo file robots.txt để hướng dẫn các bot tìm kiếm và các công cụ AI cách thu thập dữ liệu web.

Googlebot

Bingbot

AI Bots (GPT, Gemini...)

Crawl Delay (Giây)

Sitemap URL (Tùy chọn)

Thư mục/Trang muốn chặn (Mỗi dòng một đường dẫn)