Mengatasi Crawled - Currently Not Indexed
Laporan Cakupan Indeks Google benar-benar fantastis karena memberikan wawasan yang lebih jelas kepada SEO tentang keputusan perayapan dan pengindeksan Google. Sejak diluncurkan, kita dapat menggunakannya untuk mendiagnosis masalah teknis dalam skala besar bagi kita.
Di dalam laporan, ada banyak “status” berbeda yang memberikan informasi kepada webmaster tentang bagaimana Google menangani konten situs mereka. Sementara banyak dari status memberikan beberapa konteks seputar keputusan perayapan dan pengindeksan Google, satu masih belum jelas: "Dirayapi - saat ini tidak diindeks (Crawled - currently not indexed)".
Sejak melihat status "Dirayapi — saat ini tidak diindeks" dilaporkan, kita telah mendengar dari beberapa pemilik situs yang menanyakan artinya. Salah satu manfaat bekerja di agensi adalah dapat menampilkan banyak data, dan karena kami telah melihat pesan ini di beberapa akun, kami mulai menangkap tren dari URL yang dilaporkan.
Definisi Google
Mari kita mulai dengan definisi resmi. Menurut dokumentasi resmi Google, status ini berarti: “Halaman telah dirayapi oleh Google, tetapi tidak diindeks. Ini mungkin atau mungkin tidak diindeks di masa depan; tidak perlu mengirim ulang URL ini untuk dirayapi.”
Jadi, pada dasarnya apa yang kita ketahui adalah bahwa:
- Google dapat mengakses halaman
- Google membutuhkan waktu untuk merayapi halaman
- Setelah merangkak, Google memutuskan untuk tidak memasukkannya ke dalam indeks
Kunci untuk memahami status ini adalah dengan memikirkan alasan mengapa Google “secara sadar” memutuskan untuk tidak melakukan pengindeksan. Kami tahu bahwa Google tidak kesulitan menemukan halaman, tetapi untuk beberapa alasan, pengguna merasa tidak akan mendapat manfaat dari menemukannya.
Ini bisa sangat membuat frustrasi, karena Anda mungkin tidak tahu mengapa konten Anda tidak diindeks. Di bawah ini saya akan merinci beberapa alasan paling umum yang dilihat tim kami untuk menjelaskan mengapa status misterius ini dapat memengaruhi situs web Anda.
1. Positif palsu
Prioritas: Rendah
Langkah pertama kami adalah selalu melakukan beberapa pemeriksaan langsung pada URL yang ditandai di bagian “Dirayapi — saat ini tidak diindeks” untuk pengindeksan.
Tidak jarang menemukan URL yang dilaporkan sebagai dikecualikan tetapi ternyata berada di indeks Google.
Namun, ketika menggunakan operator pencarian situs, kita dapat melihat bahwa URL sebenarnya termasuk dalam indeks Google.
Anda dapat melakukannya dengan menambahkan teks “site:” sebelum URL.
Jika Anda melihat URL yang dilaporkan dalam status ini, sebaiknya mulai dengan menggunakan operator penelusuran situs untuk menentukan apakah URL diindeks atau tidak.
Terkadang, ini berubah menjadi positif palsu.
Solusi: Jangan lakukan apa pun!
Kamu baik.
2. URL umpan RSS
Prioritas: Rendah
Ini adalah salah satu contoh paling umum yang kita lihat.
Jika situs Anda menggunakan umpan RSS, Anda mungkin menemukan URL yang muncul di laporan Google “Dirayapi — saat ini tidak diindeks”.
Sering kali URL ini memiliki string “/ feed/” yang ditambahkan di akhir.
Google menemukan URL umpan RSS ini yang ditautkan dari halaman utama.
Mereka akan sering ditautkan untuk menggunakan elemen "rel=alternate".
Plugin WordPress seperti Yoast dapat secara otomatis menghasilkan URL ini.
Solusi: Jangan lakukan apa pun!
Kamu baik.
Google kemungkinan secara selektif memilih untuk tidak mengindeks URL ini, dan untuk alasan yang baik.
Jika Anda menavigasi ke URL umpan RSS, Anda akan melihat dokumen XML seperti di bawah ini:
Meskipun dokumen XML ini berguna untuk umpan RSS, Google tidak perlu memasukkannya ke dalam indeks.
Ini akan memberikan pengalaman yang sangat buruk karena konten tidak dimaksudkan untuk pengguna
3. URL yang diberi paginasi
Prioritas: Rendah
Alasan lain yang sangat umum untuk pengecualian "Merayap - saat ini tidak diindeks" adalah pagination.
Kita akan sering melihat sejumlah besar URL paginasi muncul dalam laporan ini.
Di sini kita dapat melihat beberapa URL paginasi yang muncul dari situs e-niaga yang sangat besar:
Solusi: Jangan lakukan apa pun!
Kamu baik.
Google perlu merayapi URL yang diberi halaman untuk mendapatkan penjelajahan situs yang lengkap.
Ini adalah jalurnya ke konten seperti halaman kategori yang lebih dalam atau halaman deskripsi produk.
Namun, meskipun Google menggunakan pagination sebagai jalur untuk mengakses konten, Google tidak perlu mengindeks URL paginasi itu sendiri.
Jika ada, pastikan Anda tidak melakukan apa pun untuk memengaruhi perayapan setiap pagination.
Pastikan bahwa semua pagination Anda berisi tag kanonik referensi sendiri dan bebas dari tag "nofollow".
Penomoran halaman ini bertindak sebagai jalan bagi Google untuk merayapi halaman utama lainnya di situs Anda sehingga Anda pasti ingin Google terus merayapinya.
4. Produk kadaluarsa
Prioritas: Sedang
Saat memeriksa halaman individual yang tercantum dalam laporan, masalah umum yang kami lihat di seluruh klien adalah URL yang berisi teks yang mencatat produk "kedaluwarsa" atau "stok habis".
Khususnya pada situs e-commerce, terlihat bahwa Google melakukan pengecekan untuk melihat ketersediaan produk tertentu.
Jika menentukan bahwa suatu produk tidak tersedia, maka produk tersebut akan dikeluarkan dari indeks.
Ini masuk akal dari perspektif UX karena Google mungkin tidak ingin memasukkan konten dalam indeks yang tidak dapat dibeli pengguna.
Namun, jika produk ini benar-benar tersedia di situs Anda, ini bisa mengakibatkan banyak peluang SEO yang terlewatkan.
Dengan mengecualikan halaman dari indeks, konten Anda tidak diberi kesempatan untuk menentukan peringkat sama sekali.
Selain itu, Google tidak hanya memeriksa konten yang terlihat di halaman.
Ada beberapa contoh di mana kami tidak menemukan indikasi dalam konten yang terlihat bahwa produk tersebut tidak tersedia.
Namun, saat memeriksa data terstruktur, kita dapat melihat bahwa properti "ketersediaan" diatur ke "OutOfStock".
Tampaknya Google mengambil petunjuk dari konten yang terlihat dan data terstruktur tentang ketersediaan produk tertentu.
Jadi, penting bagi Anda untuk memeriksa konten dan skema.
Solusi: Periksa ketersediaan inventaris Anda.
Jika Anda menemukan produk yang benar-benar tersedia untuk dicantumkan dalam laporan ini, Anda sebaiknya memeriksa semua produk Anda yang mungkin salah dicantumkan sebagai tidak tersedia.
Lakukan penjelajahan situs Anda dan gunakan alat ekstraksi khusus seperti Screaming Frog's untuk mengikis data dari halaman produk Anda.
Misalnya, jika Anda ingin melihat skala semua URL Anda dengan skema yang disetel ke "OutOfStock", Anda dapat mengatur "Regex" ke: "ketersediaan":"
Ini: "class="redactor-autoparser-object">http://schema.org/OutOfStock" akan secara otomatis mengikis semua URL dengan properti ini:
Anda dapat mengekspor daftar ini dan referensi silang dengan data inventaris menggunakan Excel atau alat intelijen bisnis.
Ini akan dengan cepat memungkinkan Anda menemukan perbedaan antara data terstruktur di situs Anda dan produk yang benar-benar tersedia.
Proses yang sama dapat diulang untuk menemukan contoh di mana konten Anda yang terlihat menunjukkan bahwa produk kedaluwarsa.
5. 301 pengalihan
Prioritas: Sedang
Salah satu contoh menarik yang kami lihat muncul di bawah status ini adalah URL tujuan halaman yang dialihkan.
Seringkali, kita akan melihat bahwa Google merayapi URL tujuan tetapi tidak memasukkannya ke dalam indeks.
Namun, setelah melihat SERP, kami menemukan bahwa Google mengindeks URL pengalihan.
Karena URL pengalihan adalah yang diindeks, URL tujuan dilemparkan ke dalam laporan “Dirayapi — saat ini tidak diindeks”.
Masalahnya di sini adalah bahwa Google mungkin belum mengenali pengalihan.
Akibatnya, ia melihat URL tujuan sebagai "duplikat" karena masih mengindeks URL pengalihan.
Solusi: Buat sitemap.xml sementara.
Jika ini terjadi pada sejumlah besar URL, ada baiknya mengambil langkah-langkah untuk mengirim sinyal konsolidasi yang lebih kuat ke Google.
Masalah ini dapat menunjukkan bahwa Google tidak mengenali pengalihan Anda secara tepat waktu, yang mengarah ke sinyal konten yang tidak terkonsolidasi.
Salah satu opsi mungkin menyiapkan "peta situs sementara".
Ini adalah peta situs yang dapat Anda buat untuk mempercepat perayapan URL yang dialihkan ini.
Ini adalah strategi yang sebelumnya direkomendasikan John Mueller.
Untuk membuatnya, Anda perlu merekayasa balik pengalihan yang telah Anda buat sebelumnya:
Ekspor semua URL dari laporan “Dirayapi — saat ini tidak diindeks”.
Cocokkan mereka di Excel dengan pengalihan yang telah disiapkan sebelumnya.
Temukan semua pengalihan yang memiliki URL tujuan di keranjang “Dirayapi — saat ini tidak diindeks”.
Buat sitemap.xml statis dari URL ini dengan Screaming Frog.
Unggah peta situs dan pantau laporan “Dirayapi — saat ini tidak diindeks” di Search Console.
Tujuannya di sini adalah agar Google merayapi URL di sitemap.xml sementara lebih sering daripada yang seharusnya.
Ini akan mengarah pada konsolidasi yang lebih cepat dari pengalihan ini.
6. Isi tipis
Prioritas: Sedang
Terkadang kami melihat URL yang disertakan dalam laporan ini berisi konten yang sangat tipis.
Halaman-halaman ini mungkin memiliki semua elemen teknis yang diatur dengan benar dan bahkan dapat ditautkan dengan benar secara internal, namun, ketika Google menjalankan URL ini, hanya ada sedikit konten aktual di halaman tersebut.
Di bawah ini adalah contoh halaman kategori produk yang hanya memiliki sedikit teks unik:
Halaman daftar produk ini ditandai sebagai “Dirayapi — Saat Ini Tidak Diindeks”.
Ini mungkin karena konten halaman yang sangat tipis.
Halaman ini mungkin terlalu tipis bagi Google untuk menganggapnya berguna atau ada begitu sedikit konten sehingga Google menganggapnya sebagai duplikat dari halaman lain.
Hasilnya adalah Google menghapus konten dari indeks.
Berikut adalah contoh lain: Google dapat merayapi halaman komponen testimonial di situs Go Fish Digital (ditampilkan di atas).
Meskipun konten ini unik untuk situs kami, Google mungkin tidak percaya bahwa satu kalimat testimonial harus berdiri sendiri sebagai halaman yang dapat diindeks.
Sekali lagi, Google telah membuat keputusan eksekutif untuk mengecualikan halaman dari indeks karena kurangnya kualitas.
Solusi: Tambahkan lebih banyak konten atau sesuaikan sinyal indeksasi.
Langkah selanjutnya akan tergantung pada seberapa penting bagi Anda untuk mengindeks halaman ini.
Jika Anda yakin bahwa halaman tersebut harus dimasukkan dalam indeks, pertimbangkan untuk menambahkan konten tambahan.
Ini akan membantu Google melihat halaman sebagai memberikan pengalaman yang lebih baik kepada pengguna.
Jika pengindeksan tidak diperlukan untuk konten yang Anda temukan, pertanyaan yang lebih besar adalah apakah Anda harus mengambil langkah tambahan untuk memberi sinyal kuat bahwa konten ini tidak boleh diindeks.
Laporan “Dirayapi —saat ini tidak diindeks” menunjukkan bahwa konten memenuhi syarat untuk muncul di indeks Google, tetapi Google memilih untuk tidak menyertakannya.
Mungkin juga ada halaman berkualitas rendah lainnya di mana Google tidak menerapkan logika ini.
Anda dapat melakukan pencarian "situs:" umum untuk menemukan konten terindeks yang memenuhi kriteria yang sama seperti contoh di atas.
Jika Anda menemukan bahwa banyak halaman ini muncul di indeks, Anda mungkin ingin mempertimbangkan inisiatif yang lebih kuat untuk memastikan halaman ini dihapus dari indeks seperti tag “noindex”, kesalahan 404, atau menghapusnya dari struktur tautan internal sepenuhnya.
7. Konten duplikat
Prioritas: Tinggi
Saat mengevaluasi pengecualian ini di sejumlah besar klien, ini adalah prioritas tertinggi yang pernah kami lihat.
Jika Google melihat konten Anda sebagai duplikat, Google mungkin merayapi konten tetapi memilih untuk tidak memasukkannya ke dalam indeks.
Ini adalah salah satu cara agar Google menghindari duplikasi SERP.
Dengan menghapus konten duplikat dari indeks, Google memastikan bahwa pengguna memiliki lebih banyak variasi halaman unik untuk berinteraksi.
Terkadang laporan akan memberi label pada URL ini dengan status “Duplikat” (“Duplikat, Google memilih kanonis yang berbeda dari pengguna”).
Namun, ini tidak selalu terjadi.
Ini adalah masalah prioritas tinggi, terutama di banyak situs e-commerce.
Halaman utama seperti halaman deskripsi produk sering kali menyertakan deskripsi produk yang sama atau serupa dengan banyak hasil lain di seluruh Web.
Jika Google mengenali ini sebagai terlalu mirip dengan halaman lain secara internal atau eksternal, itu mungkin mengecualikan mereka dari indeks bersama-sama.
Solusi: Tambahkan elemen unik ke konten duplikat.
Jika menurut Anda situasi ini berlaku untuk situs Anda, berikut cara Anda mengujinya:
- Ambil cuplikan teks duplikat potensial dan rekatkan ke Google.
- Di URL SERP, tambahkan string berikut ke akhir: “andnum=100”. Ini akan menunjukkan kepada Anda 100 hasil teratas.
- Gunakan fungsi "Temukan" browser Anda untuk melihat apakah hasil Anda muncul di 100 hasil teratas. Jika tidak, hasil Anda mungkin difilter dari indeks.
- Kembali ke URL SERP dan tambahkan string berikut ke akhir: “andfilter=0”. Ini akan menunjukkan kepada Anda hasil Google yang tidak difilter (terima kasih, Patrick Stox, untuk tipnya).
- Gunakan fungsi "Temukan" untuk mencari URL Anda. Jika Anda melihat halaman Anda sekarang muncul, ini adalah indikasi yang baik bahwa konten Anda difilter dari indeks.
- Ulangi proses ini untuk beberapa URL dengan potensi duplikat atau konten yang sangat mirip yang Anda lihat di laporan “Dirayapi — saat ini tidak diindeks”.
Jika Anda secara konsisten melihat URL Anda difilter dari indeks, Anda harus mengambil langkah-langkah untuk membuat konten Anda lebih unik.
Meskipun tidak ada standar satu ukuran untuk semua untuk mencapai hal ini, berikut adalah beberapa opsi:
- Tulis ulang konten agar lebih unik di halaman prioritas tinggi.
- Gunakan properti dinamis untuk secara otomatis memasukkan konten unik ke halaman.
- Hapus sejumlah besar konten boilerplate yang tidak perlu. Halaman dengan lebih banyak teks template daripada teks unik mungkin akan dibaca sebagai duplikat.
- Jika situs Anda bergantung pada konten yang dibuat pengguna, beri tahu kontributor bahwa semua konten yang disediakan harus unik. Ini dapat membantu mencegah kejadian di mana kontributor menggunakan konten yang sama di beberapa halaman atau domain.
8. Konten yang menghadap pribadi
Prioritas: Tinggi
Ada beberapa contoh di mana perayap Google mendapatkan akses ke konten yang seharusnya tidak mereka akses.
Jika Google menemukan lingkungan pengembang, itu dapat menyertakan URL tersebut dalam laporan ini.
Kami bahkan telah melihat contoh Google merayapi subdomain klien tertentu yang disiapkan untuk tiket JIRA.
Ini menyebabkan perayapan eksplosif situs, yang berfokus pada URL yang seharusnya tidak pernah dipertimbangkan untuk pengindeksan.
Masalahnya di sini adalah bahwa perayapan Google terhadap situs tidak terfokus, dan menghabiskan waktu untuk merayapi (dan berpotensi mengindeks) URL yang tidak dimaksudkan untuk pencari.
Ini dapat memiliki konsekuensi besar untuk anggaran perayapan situs.
Solusi: Sesuaikan inisiatif perayapan dan pengindeksan Anda.
Solusi ini akan sepenuhnya bergantung pada situasi dan apa yang dapat diakses oleh Google.
Biasanya, hal pertama yang ingin Anda lakukan adalah menentukan bagaimana Google dapat menemukan URL pribadi ini, terutama jika itu melalui struktur tautan internal Anda.
Mulai perayapan dari halaman beranda subdomain utama Anda dan lihat apakah ada subdomain yang tidak diinginkan yang dapat diakses oleh Screaming Frog melalui perayapan standar.
Jika demikian, aman untuk mengatakan bahwa Googlebot mungkin menemukan jalur yang sama persis.
Anda ingin menghapus tautan internal apa pun ke konten ini untuk memotong akses Google.
Langkah selanjutnya adalah memeriksa status pengindeksan URL yang harus dikecualikan.
Apakah Google cukup menjauhkan semuanya dari indeks, atau ada yang terjebak dalam indeks?
Jika Google tidak mengindeks konten ini dalam jumlah besar, Anda dapat mempertimbangkan untuk menyesuaikan file robots.txt Anda untuk segera memblokir perayapan.
Jika tidak, tag "noindex", kanonik, dan halaman yang dilindungi kata sandi semuanya ada di atas meja.
Studi kasus: duplikat konten buatan pengguna
Untuk contoh dunia nyata, ini adalah contoh di mana kami mendiagnosis masalah di situs klien.
Klien ini mirip dengan situs e-niaga karena banyak konten mereka terdiri dari halaman deskripsi produk.
Namun, halaman deskripsi produk ini semuanya adalah konten buatan pengguna.
Pada dasarnya, pihak ketiga diizinkan untuk membuat daftar di situs ini.
Namun, pihak ketiga sering menambahkan deskripsi yang sangat singkat ke halaman mereka, sehingga menghasilkan konten yang tipis.
Masalah yang sering terjadi adalah halaman deskripsi produk yang dibuat pengguna ini terjebak dalam laporan "Dirayapi - saat ini tidak diindeks".
Ini mengakibatkan hilangnya peluang SEO karena halaman yang mampu menghasilkan lalu lintas organik sepenuhnya dikeluarkan dari indeks.
Saat melalui proses di atas, kami menemukan bahwa halaman deskripsi produk klien cukup tipis dalam hal konten unik.
Halaman yang dikecualikan tampaknya hanya memiliki satu paragraf atau kurang dari teks unik.
Selain itu, sebagian besar konten di halaman adalah teks template yang ada di semua jenis halaman ini.
Karena hanya ada sedikit konten unik di halaman, konten template mungkin menyebabkan Google melihat halaman ini sebagai duplikat.
Hasilnya adalah Google mengecualikan halaman-halaman ini dari indeks, dengan alasan status "Dirayapi — saat ini tidak diindeks".
Untuk mengatasi masalah ini, kami bekerja dengan klien untuk menentukan konten template mana yang tidak perlu ada di setiap halaman deskripsi produk.
Kami dapat menghapus konten template yang tidak perlu dari ribuan URL.
Hal ini mengakibatkan penurunan yang signifikan pada halaman “Dirayapi — saat ini tidak diindeks” karena Google mulai melihat setiap halaman sebagai lebih unik.
Kesimpulan
Mudah-mudahan, ini membantu pemasar penelusuran lebih memahami status misterius "Merayap — saat ini tidak diindeks" dalam laporan Cakupan Indeks.
Tentu saja, kemungkinan ada banyak alasan lain mengapa Google memilih untuk mengkategorikan URL seperti ini, tetapi ini adalah contoh paling umum yang kami lihat dengan klien kami hingga saat ini.
Secara keseluruhan, laporan Cakupan Indeks adalah salah satu alat paling canggih di Search Console.
Saya sangat menganjurkan pemasar penelusuran untuk membiasakan diri dengan data dan laporan karena kami secara rutin menemukan perilaku perayapan dan pengindeksan yang kurang optimal, terutama di situs yang lebih besar.
Jika Anda telah melihat contoh URL lain dalam laporan “Dirayapi — saat ini tidak diindeks”, beri tahu saya di komentar!
Sumber : Moz : https://moz.com/blog/crawled-currently-not-indexed-coverage-status
Comments