Tôi đặt tệp được tạo ở đâu?

Lưu thành robots.txt ở thư mục gốc tên miền (ví dụ https://example.com/robots.txt) — tệp không được nằm trong thư mục con.

robots.txt có thực sự chặn một trang khỏi được lập chỉ mục không?

Không đáng tin cậy — Disallow chỉ yêu cầu crawler không tải trang; trang bị chặn vẫn có thể được lập chỉ mục nếu website khác liên kết tới nó. Hãy dùng meta tag noindex ngay trên trang để đảm bảo nó không xuất hiện trong kết quả tìm kiếm.

Trình tạo Robots.txt

Tạo tệp robots.txt với quy tắc Allow/Disallow tùy chỉnh cho từng user-agent và liên kết sitemap.

User-agent

Disallow (one path per line) Allow (one path per line, optional)

Sitemap URL (optional)

robots.txt

User-agent: *

Related tools

How it works

1
Đặt User-agent
Dùng * cho tất cả crawler hoặc tên bot cụ thể.
2
Liệt kê các đường dẫn Disallow và Allow
Mỗi đường dẫn một dòng — thêm nhiều khối user-agent nếu cần.
3
Thêm URL sitemap (tùy chọn)
Tệp được tạo trực tiếp khi bạn điền các trường.

FAQ

Tôi đặt tệp được tạo ở đâu?: Lưu thành robots.txt ở thư mục gốc tên miền (ví dụ https://example.com/robots.txt) — tệp không được nằm trong thư mục con.
robots.txt có thực sự chặn một trang khỏi được lập chỉ mục không?: Không đáng tin cậy — Disallow chỉ yêu cầu crawler không tải trang; trang bị chặn vẫn có thể được lập chỉ mục nếu website khác liên kết tới nó. Hãy dùng meta tag noindex ngay trên trang để đảm bảo nó không xuất hiện trong kết quả tìm kiếm.