Robots.txt là gì? 3 Cách tạo file robots.txt cho wordpress

[letrinbd 0]

 File robots.txt là gì?

 

• File robots.txt là một tập tin văn bản đơn giản có dạng .txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn web quy định cách robot web (hoặc robot của các công cụ tìm kiếm) thu thập dữ liệu trên web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.
•  
• Trên thực tế, tạo file robots.txt cho wordpress giúp các nhà quản trị web link hoạt, chủ động hơn trong việc cho phép hay không cho các con bot của công cụ tìm kiếm index một số phần nào đó trong trang web của mình.

 

Cú pháp của tệp robots.txt

 

• User-agent
• Disallow
• Allow (chỉ áp dụng cho bọ tìm kiếm Googlebot)
• Crawl-delay
• Sitemap

 

Bài viết này sẽ hướng dẫn cho bạn:

 

1. Hiểu rõ khái niệm robots.txt là gì
2. Cấu trúc cơ bản của một file robots.txt
3. Có những lưu ý gì khi tạo lập robots.txt
4. Tại sao phải cần robots.txt cho website của bạn
5. Cách tạo lập 1 file hoàn chỉnh cho web của bạn

 

>>> Xem tại đây: https://gtvseo.com/robots-txt-la-gi/

 

#robots_txt_la_gi #gtv_seo #tạo_file_robots.txt_cho_wordpress