Để khắc phục vấn đề như trên , Đầu tiên chúng ta phải xác định đó là do một phần của cơ sở hạ tầng trang web của bạn đã ngăn chặn Googlebot và loại bỏ nó. Các bức tường lửa được dựng lên có thể không do bạn kiểm soát , vì vậy bạn nên thảo luận với nhà cung cấp hosting của bạn để giải quyết vấn đề đó.
Một số quản trị web cố tình ngăn chặn Googlebot truy cập vào trang web của họ , có thể sử dụng một bức tường lửa như mô tả ở trên . Trong những trường hợp này , mục đích không phải là để hoàn toàn ngăn chặn Googlebot mà là để kiểm soát từng phần của website được thu thập và lập chỉ mục. Trong trường hợp này , kiểm tra như sau :
Để kiểm soát thu thập nội dung bạn muốn googlebot thu thập hay không thu thập thì nên sử giao thức để chỉ định cho rotbot, trong đó có sử dụng một tập tin robots.txt và cấu hình các thông số URL .Nếu bạn muốn thay đổi mức độ thường xuyên Googlebot thu thập trang web của bạn , bạn có thể yêu cầu thay đổi tốc độ thu thập dữ liệu của Googlebot.
0 nhận xét:
Đăng nhận xét