Hướng dẫn tạo robots.txt chuẩn SEO trên Yandex cho website

Bài viết này hướng dẫn bạn cách tạo file robots.txt chuẩn SEO trên Yandex cho website, chỉ cần sửa dụng đoạn khai báo bên dưới là bạn đã dễ dàng tạo cho website của mình một file robots.txt chuẩn SEO.

Để tạo một tệp robots chuẩn SEO cho trang web trên Yandex, bạn có thể sử dụng nội dung sau:

Ở đây mình sẽ ví dụ trên site https://maikimtuyen.com/

User-agent: Yandex

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /trackback/

Disallow: /xmlrpc.php

Disallow: /feed/

Disallow: /comments/

Disallow: /author/

Disallow: /cgi-bin/

Sitemap: https://maikimtuyen.com/sitemap.xml

Trong đoạn mã trên, tất cả các thư mục quan trọng của WordPress như /wp-admin/, /wp-includes/, /wp-content/plugins/ và /wp-content/themes/ đã được chặn truy cập bởi Yandex.

Những phần khác như /trackback/, /xmlrpc.php, /feed/, /comments/, /author/ và /cgi-bin/ cũng được chặn.

Sitemap được chỉ định bằng dòng “Sitemap” cuối cùng. Bạn có thể cung cấp URL của tệp sitemap.xml của trang web của bạn.

Lưu ý: Trước khi sử dụng robots.txt, hãy chắc chắn rằng bạn đã kiểm tra và hiểu rõ cấu trúc và các thư mục quan trọng của trang web của mình.

Sau khi bạn đã tạo nội dung robots.txt như trên, hãy lưu file với tên “robots.txt” và đặt nó vào thư mục gốc của trang web (thường là thư mục chứa tệp tin index.html hoặc index.php).

Trên là hướng dẫn tạo robots.txt chuẩn SEO trên Yandex cho website, chúc bạn thành công!

» Tham khảo thêm: Hướng dẫn tạo và quản lý sitemap cho website