Google crawl là gì?

Bước đầu tiên là tìm những trang tồn tại trên web. Google không lưu giữ một danh mục trung tâm về mọi trang web, do đó, chúng tôi phải liên tục tìm kiếm các trang mới và thêm những trang đó vào danh sách các trang đã biết. Google biết đến một số trang vì chúng tôi đã truy cập các trang đó từ trước. Google tìm thấy các trang khác khi đi theo đường liên kết từ một trang đã biết đến một trang mới. Ngoài ra, chúng tôi cũng phát hiện một số trang khác khi chủ sở hữu trang web gửi danh sách các trang (sơ đồ trang web) để Google crawling. Nếu bạn đang sử dụng một nhà cung cấp dịch vụ lưu trữ web được quản lý (chẳng hạn như Wix hoặc Blogger), thì họ có thể yêu cầu Google crawl mọi trang bạn mới tạo hoặc cập nhật.

Khi phát hiện ra URL của một trang, Google sẽ truy cập hoặc thu thập dữ liệu trang đó để tìm hiểu nội dung trên trang. Google hiển thị trang và phân tích cả nội dung văn bản lẫn nội dung không phải văn bản cũng như bố cục tổng thể để quyết định vị trí mà trang có thể xuất hiện trong kết quả tìm kiếm. Càng hiểu rõ về trang web của bạn thì Google càng có thể tìm đúng những người đang tìm kiếm nội dung của bạn để hiển thị trang cho phù hợp.

Cách cải thiện kết quả thu thập dữ liệu trang web:

• Xác minh rằng Google có thể truy cập các trang trên trang web của bạn và những trang đó hiển thị đúng cách. Google truy cập các trang web dưới dạng người dùng ẩn danh (người dùng không có mật khẩu hoặc thông tin). Google cũng cần xem tất cả hình ảnh và các phần tử khác của trang để có thể hiểu đúng nội dung trên trang. Bạn có thể kiểm tra nhanh bằng cách nhập URL của trang vào Mobile-Friendly Test.
• Nếu đã tạo hoặc cập nhật một trang, bạn có thể gửi một URL riêng lẻ cho Google bằng URL inspection trong Google Search Console Để thông báo cùng lúc cho Google về nhiều trang mới tạo hoặc mới cập nhật, hãy sử dụng sitemap.
• Nếu bạn yêu cầu Google chỉ thu thập dữ liệu một trang, hãy chỉ định trang đó làm trang chủ của bạn. Đối với Google, trang chủ là trang quan trọng nhất trên trang web của bạn. Để giúp Google crawling toàn bộ trang web, hãy đảm bảo rằng trang chủ (và mọi trang khác) đều có một hệ thống điều hướng rõ ràng liên kết đến mọi phần và trang quan trọng trên trang web của bạn. Hệ thống này giúp người dùng (và Google) dễ dàng di chuyển trong trang web của bạn. Đối với các trang web nhỏ (dưới 1.000 trang), bạn chỉ cần cho Google biết trang chủ, miễn là Google có thể truy cập tất cả các trang khác bằng cách đi theo đường liên kết bắt nguồn từ trang chủ.
• Liên kết một trang mà Google đã biết đến trang của bạn. Tuy nhiên, xin lưu ý rằng Google sẽ không truy cập các đường liên kết trong quảng cáo, đường liên kết mà bạn trả tiền trong các trang web khác, đường liên kết trong phần nhận xét hoặc các đường liên kết khác không tuân theo nguyên tắc quản trị trang web của Google với Google Webmaster.