Nhiều bạn thắc mắc về vấn đề của File Robots.txt. Đây cũng là 1 trong những lý do khách hàng gọi cho Công ty SEO Phong Vũ thắc mắc là sao bên mình làm SEO mãi mà không thấy kết quả. Thực sự thì sau khi kiểm tra xong thì kỹ thuật của công ty đã báo những lỗi khá cơ bản nhưng nó lại để lại hậu quả nghiêm trọng như không được Google index, và Robots.txt có lẽ là nguyên nhân khá nhiều.
- Vậy để hiểu và sử dụng File Robots.txt hiệu quả chúng ta đi vào 2 ý dưới đây
1. Robots.txt là gì?
Robots.txt: Là một file đặt trong thu mục Root, tệp tin này chứa hoàn toàn nội dung văn bản text (không phải HTML).
Nó cho phép người quản trị Web (Webmaster) định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nói cách khác thông qua tệp tin này, nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm (SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.
Robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?
Ví dụ 1 số SE: Googlebot (Google), Googlebot-Image(Google), Yandex (SE của Nga), Bingbot (Bing) / Yahoo Slurp(Yahoo)…
2. Tùy chỉnh Robots.txt
Những cú pháp thông thường bạn thấy trong Robots.txt
User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép
*: Đại diện cho tất cả
Ví dụ các bạn xem robots.txt của site: http://seophongvu.com/robots.txt
Trong đó:
User-agent: * (Cho phép tất cả các SE được chấp nhận)
Disallow: /wp-admin/ (Chặn lại liên kết http://seophongvu.com/wp-admin/)
Disallow: /wp-includes/ (Chặn lại liên kết http://seophongvu.com/wp-includes/)
Nếu các bạn cho phép chấp nhận hết thì chỉ cần đơn giản như ví dụ:
User-agent: *
Allow: /
Chặn 1 trang
Disallow: /private_file.html
Loại bỏ 1 hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg
Bỏ tất cả các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /
Chặn 1 file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$
Những điều cần tránh trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoản trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
Cách tạo và vị trí đặt file robots.txt
- Dùng notepad hay bất cứ chương trình nào tạo file, sau đó đổi tên file là robots.txt.
- Đặt ở thư mục gốc của website. (http://seophongvu/robots.txt)
Nguồn: http://seophongvu.com/