Perayapan Googlebot Telah Melambat

Ada diskusi yang sedang berlangsung selama beberapa minggu terakhir di media sosial bahwa Googlebot telah secara dramatis mengurangi perayapannya. Misalnya, pendiri layanan analisis perayapan web men-tweet grafik yang menunjukkan bagaimana aktivitas perayapan Google menurun sejak 11 November 2021.

Meskipun perlambatan pengindeksan tidak mempengaruhi semua situs, banyak di Twitter dan Reddit setuju bahwa ada sesuatu yang berubah di Google sehubungan dengan pengindeksan dan membuktikannya dengan tangkapan layar aktivitas Googlebot.

Bukti Perayapan Berkurang
Bukti anekdot dari anomali perayapan Google telah menumpuk di media sosial. Masalah dengan media sosial adalah bahwa seseorang benar-benar dapat melakukan pengamatan apa pun tentang Google dan hampir dijamin untuk menerima persetujuan.

Anekdot menarik tetapi tidak sebagus pengamatan yang didukung data , yang baru-baru ini muncul di Twitter.

Pendiri layanan crawler dan analisis log Seolyzer ( @Seolyzer_io ) memposting grafik perilaku crawling Google yang menunjukkan penurunan dramatis aktivitas crawling yang dimulai pada 11 November.

Dia memposting:

“Googlebot sedang mogok! Googlebot telah secara drastis mengurangi aktivitas perayapannya di banyak situs besar sejak 11 November pukul 6 sore (GMT).”

304 Kode Respons Server dan Perayapan Googlebot
Beberapa telah mencatat pola dengan Googlebot yang tiba-tiba tidak lagi merayapi laman yang menyajikan kode respons server 304.

Kode respons 304 berarti 304 (Tidak Dimodifikasi).

Kode respons tersebut dibuat oleh server saat browser (atau Googlebot) membuat permintaan bersyarat untuk sebuah halaman.

Itu berarti bahwa browser (atau Googlebot) memberi tahu server bahwa ia memiliki halaman web yang disimpan dalam cache jadi jangan repot-repot menyajikannya kecuali halaman itu telah diperbarui (dimodifikasi).

Berikut adalah definisi kode respons server 304 (Tidak Dimodifikasi) dari Kelompok Kerja HTTP :

“Kode status 304 (Tidak Dimodifikasi) menunjukkan bahwa permintaan GET atau HEAD bersyarat telah diterima dan akan menghasilkan respons 200 (OK) jika bukan karena fakta bahwa kondisi dievaluasi salah.

Dengan kata lain, server tidak perlu mentransfer representasi sumber daya target karena permintaan menunjukkan bahwa klien, yang membuat permintaan bersyarat, sudah memiliki representasi yang valid; oleh karena itu server mengarahkan klien untuk menggunakan representasi yang tersimpan itu seolah-olah itu adalah muatan respons 200 (OK).

304 Tanggapan Menyebabkan Lebih Sedikit Perayapan Googlebot?
Satu orang men-tweet konfirmasi (dalam bahasa Prancis) bahwa di beberapa situs dengan AMP yang dia pantau mengalami penurunan halaman yang merespons dengan 304 respons.

Orang yang memposting tweet asli merespons dengan posting grafik yang menunjukkan bagaimana Google hampir berhenti merayapi halaman yang merespons dengan kode respons server 304:

Yang lain memperhatikan masalah serupa di mana halaman yang menyajikan respons 304 memiliki tingkat perayapan yang lebih rendah secara drastis:

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *