Hướng dẫn tạo file robots cho website

Hướng dẫn tạo file robots

Robots.txt là một công cụ tuyệt vời giúp cho việc quản lý website trở nên dễ dàng hơn, nếu như sở hữu một trang web thì việc tạo cho mình một file robots.txt là vô cùng cần thiết. Vậy robots.txt là gì? Và tạo lập file robots.txt như thế nào? Trong bài viết này, hãy cùng đi tìm hiểu và giải đáp những câu hỏi đó nhé.

Robots là gì?

Robots hay robots.txt là một tập văn bản thuộc thư mục gốc của trang web. Nó có tác dụng cung cấp và hướng dẫn cho các công cụ tìm kiếm có thể thu thập những thông tin mà người dùng muốn. Cụ thể hơn thì chúng lập ra các chỉ mục và cho phép hoặc không cho phép việc thu thập dữ liệu trong một website. Hãy nói theo một cách khác, tệp robots.txt có tác dụng ngăn chặn có phương tiện truy cập khác lấy các thông tin không được chủ website cho phép.

Cấu tạo cơ bản của robots.txt

Những tệp robots.txt có một cấu trúc khá đơn giản và dễ hiểu. Chúng là kết hợp bởi những từ khóa và giá trị được xác định trước, các coder được sử dụng để lập trình như Allow, User – agent, Disallow, Sitemap, Crawl – delay. Trong đó:

Cấu tạo file robots
Robots.txt có cấu tạo đơn giản và dễ hiểu

Allow: Chỉ định cho phép truy cập một số tệp nhất định. Tuy nhiên, điều này sẽ chỉ áp dụng cho Google bot.

User – agent: Chỉ định những trình dữ liệu nào được hiển thị. Mọi người có thể thêm dấu * để cho phép được thu thập thông tin. Ngoài ra cũng có thể thêm vào các trình thu thập thông tin bằng cách thêm vào nó và vào phía sau.

Disallow: Chỉ thị có các trình thu thập thông tin, được cho phép hoặc không được thu thập những url, tập hay một thông tin cụ thể nào đó.

Sitemap: Đây là chỉ thị giúp hỗ trợ các công cụ tìm kiếm. Nó có mục đích xác định vị trí của sơ đồ XML. Tuy vậy, ngay cả khi không có hiển thị này của robots.txt thì các trang tìm kiếm vẫn không thể nào tìm thấy được.

Crawl – delay: Thời gian cho phép trình tìm kiếm thu thập thêm các thông tin thuộc các trang khác trong website. Thông thường, các lập trình viên sẽ được gán cho công cụ này là mili giây. Ngoại trừ google bot thì nó sẽ không bị ràng buộc bởi bất cứ một tiêu chí nào.

Hướng dẫn tạo file robots cho website

Sau khi đã quyết định được rule nào để đặt trong file robots.txt thì mọi người sẽ có thể bắt đầu tạo nó. Có thể chỉnh sửa file robots.txt trong WordPress thông qua plugin hoặc thậm chí là cả phương pháp thủ công. Dưới đây là những cách tạo file robots.txt dễ dàng nhất mà mọi người có thể dễ dàng tự thực hiện.

Sử dụng Yoast SEO

Yoast SEO là Plugin hiệu quả nhất dành cho việc SEO – Search Engine Optimization.  Nó mang tới nhiều tác dụng giúp giữ chân người đọc lâu hơn và quan trọng nhất là plugin này rất thân thiện với công cụ tìm kiếm của google. Nó có thể thay đổi song song với sự thay đổi cho SEO. Cũng bởi vậy mà Yoast SEO luôn được nhiều người dùng yêu thích và sử dụng.

Sử dụng Yoast SEO tại file robots.txt cũng vô cùng đơn giản với vài bước:

        Thành công cài đặt Yoast SEO

        Chuyển tới tab SEO

        Dashboard => Tools

        File Editor

        Vào link => đến trang mới chính sửa file .htaccess

        Vào Create robots.txt file rồi tạo file robots.txt

        Yoast SEO sẽ đặt giá trị mặc định và rồi ghi đè lên file robots.txt ảo

        Chọn Save changes to robots.txt

Sử dụng yoast seo tạo file robots
Yoast SEO có nhiều tác dụng được sử dụng nhiều để tạo file robots.txt

Dùng Plugin All in One SEO Pack

Trong WordPress SEO, All in one SEO Pack luôn là Plugin hiệu quả được nhiều người tin tưởng. Plugin này có đầy đủ các tính năng cần thiết nhưng lại nhẹ hơn Yoast SEO. Cũng bởi vậy mà việc tạo file robots.txt bằng Plugin sẽ rất đơn giản và nhanh chóng. Các bước tạo file gồm:

        Dashboard => Setup Manager

        Vào tùy chọn robots.txt

        Click Activate

        Click vào robots.txt mới sẽ xuất hiện dưới menu file robots.txt

        Thêm rules mới vào, lưu thay đổi hoặc cũng có thể là xóa nó đi

        Phần nội dung sẽ bị mờ đi và mọi người sẽ chưa thể thay đổi file robots.txt này trực tiếp.

        Trong All in One SEO sẽ có nhiều tính năng chặn bots độc hại. Mọi người chỉ cần vào All in One SEO thì sẽ có thể tìm thấy.

Tạo file robots.txt thông qua FTP

Nếu như không muốn cài đặt thêm Plugin thì mọi người có thể tạo và up file robots.txt bằng phương pháp thủ công thông qua FTP. Các bước thực hiện gồm:

        Mở Text Editor

        Lưu tên bất kỳ và chọn loại file là txt

        Thông qua FTP kết nối đến website

        Khi đã kết nối thành công => vào thư mục public_html

        Up file robots.txt từ máy chủ hoặc có thể nhấn chuột phải vào file rồi chọn Upload.

Tạo file robots thông qua FTP
Tạo file robots.txt bằng phương pháp thủ công mà không cần tạo thêm Plugin

Một số lưu ý khi tạo file robots

Sau khi đã lập file thành công mọi người cần chú ý tới những điều sau để đạt được hiệu quả sử dụng và quản lý ở mức tốt nhất:

        Tệp robots.txt phải được đặt trong thư mục root của website để có thể dễ dàng tìm thấy.

        Robots.txt sẽ phân biệt chữ thường và chữ viết hoa. Do đó, khi viết phương trình các lập trình viên cần phải viết đúng kiểu chữ để có thể đảm bảo tệp sẽ được chạy đúng như mong muốn.

        Có một số trình tìm kiếm có quyền lực có thể bỏ qua được robots.txt trong website. Chúng thường sẽ thu thập các thông tin không được cho phép, người dọn dẹp các địa chỉ email hoặc phần mềm độc hại.

        Robots.txt cần phải được thêm vào cả ở tên miền và tên gốc của website.

Bất cứ một website nào cũng cần phải tạo file robots.txt. Đây được xem là việc làm vô cùng quan trọng nhằm bảo vệ những thông tin của website. Do đó, hãy thiết kế phần này thật cẩn thận, tìm hiểu kỹ càng và làm đúng các bước như hướng dẫn. Có như vậy việc tạo file robots.txt mới có thể mang lại được hiệu quả cao như mong muốn.