Cách tạo, kiểm tra Robots.txt

1. Cách tạo file robots.txt

Tạo tệp robots.txt rất dễ dàng. Tất cả những gì bạn cần là một trình soạn thảo văn bản (thông dụng là notepad) và truy cập các tệp của trang web của bạn (qua FTP hoặc bảng điều khiển quản lý hosting).

Trước khi tham gia quá trình tạo tệp tin robot, điều đầu tiên cần làm là kiểm tra xem nó đã có chưa.

Cách dễ nhất để làm việc này là mở một cửa sổ trình duyệt mới và truy cập đến https://www.tênmiền.com/robots.txt

Nếu bạn thấy một thứ tương tự như dưới đây, có nghĩa là bạn đã có tệp robots.txt và bạn có thể chỉnh sửa tệp hiện tại thay vì tạo tệp mới.

User-agent: *

Allow: /

2. Cách chỉnh sửa robots.txt

Sử dụng ứng dụng khách FTP và kết nối với thư mục gốc của trang web của bạn.

Robots.txt luôn nằm trong thư mục gốc (www hoặc public_html, tùy thuộc vào máy chủ của bạn). Tải tập tin về máy tính của bạn và mở nó bằng một trình soạn thảo văn bản. Thực hiện các thay đổi cần thiết và tải tệp lên máy chủ của bạn.

Ví dụ về tệp tin robots.txt

User-agent: *

Allow: /

Sitemap: https://example.com/sitemap.xml

Điều này cho phép tất cả các chương trình truy cập trang web của bạn mà không chặn bất kỳ thư mục, url nào. Nó cũng xác định vị trí sơ đồ trang web để làm cho các công cụ tìm kiếm dễ tìm thấy nó hơn.

3. Cách kiểm tra và xác nhận hợp lệ cho robots.txt

Mặc dù bạn có thể xem nội dung robots.txt của mình bằng cách điều hướng tới robots.txt URL nhưng cách tốt nhất để kiểm tra và xác nhận nó là thông qua tùy chọn robots.txt Tester của Google Search Console.

Đăng nhập vào Tài khoản Google Search Console của bạn. Nhấp vào robots.txt Tester, được tìm thấy trong Tùy chọn Crawl. Nhấp vào nút TEST. Nếu mọi thứ đều ổn, nút Test sẽ chuyển sang màu xanh và nhãn sẽ thay đổi ALLOWED. Nếu xảy ra sự cố, đường kẻ gây ra lỗi sẽ được đánh dấu.

4. Một vài điều nữa cần biết về robots.txt Tester:

• Bạn có thể sử dụng URL Tester (dưới cùng của công cụ) để nhập URL từ trang web của bạn và kiểm tra xem nó có bị chặn hay không.

• Bạn có thể thực hiện bất kỳ thay đổi nào đối với trình soạn thảo và kiểm tra các quy tắc mới nhưng để các ứng dụng này được áp dụng cho robots.txt trực tiếp của bạn, bạn cần EDIT tệp của mình bằng trình chỉnh sửa văn bản và tải tệp lên thư mục gốc của trang web của bạn (như đã giải thích ở trên ).

• Để thông báo cho Google rằng bạn đã thực hiện thay đổi robots.txt, hãy nhấp vào nút SUBMIT (từ ảnh màn hình ở trên) và nhấp vào nút SUBMIT một lần nữa từ cửa sổ bật lên (tùy chọn 3 như được hiển thị bên dưới).