İsminden de anlaşılacağı üzere bir “bot” olan Googlebot, ziyaret ettiği web sitelerindeki bağlantıdan bağlantıya giderek ihtiyacı olan bilgileri toplar ve aranabilir bir web indeksi oluşturmayı amaçlar. Masaüstü ve mobil web sitelerinin yanı sıra haberler, fotoğraf ve videolar için de uyarlanmış Googlebot versiyonları mevcuttur.
Googlebot bir web sitesini ziyaret ettiği zaman güncellenmiş, yeni içerikleri tespit eder ve kayıt altına alır. Google’ın bilgi toplamak için internetin uçsuz bucaksız köşelerine gönderdiği Googlebot’un arkasında devasa bir bilgisayar gücü vardır. Google, Googlebot’u kullanırken Bing ve Yandex gibi rakip arama motorları da kendi arama botları vasıtasıyla internette gezinirler.
Google başta olmak üzere her arama motoru, internet sitelerini “bot” olarak adlandırılan yazılımlar aracılığıyla tararlar. Bing, Baidu, DuckDuckGo, Yahoo ve You.com gibi Google rakibi firmamlar da kendi botlarıyla internet sitelerini gezinir ve indeksler. Daha sonra kullanıcıların yaptığı aramalarla ilgili sayfalar sıralama sonuçlarında listelenir.
Gelişmiş bir web tarama yazılımı olarak tanımlayabileceğimiz Googlebot sayesinde Google, web sitelerini tarar ve içeriklerini tasnif eder. Sayfadan sayfaya URL’ler aracılığıyla gezinen bu bot, karşılaştığı içerikleri analiz eder ve arama yapan kullanıcıların karşısına en ideal sonucu çıkarmaya yardımcı olur.
Googlebot tarafından ziyaret edilmeyen hiçbir web sitesi arama sonuçları sayfasında gösterilmez. Bu sebeple sitenizin Googlebot tarafından indekslenebilir olması, SEO çalışmalarının olmazsa olmazları arasında yer alır.
Arama motoru optimizasyonu (SEO) çalışmalarında başarıya ulaşmak için Googlebot’un nasıl çalıştığını anlamak önem taşır. Ziyaret ettiği sayfa üzerindeki bağlantıları tıklayarak gezinmeye devam eden Googlebot’un kırık linklerle (404) karşılaşması, sitenizin itibarını düşürebilir. Aynı şekilde sık güncellenen bir web sitesine sahip olmak, yeni yayınladığınız içeriklerin Google’da daha hızlı gözükmesini sağlayacaktır.
Googlebot’un sitenizi doğru bir şekilde indekslemesi için arama motoru robotlarının erişimine açık olup olmadığını kontrol etmeniz gerekebilir. Bunun için sitenizin ana dizininde “robots.txt” isminde bir dosya oluşturup erişime açık hale getirmeniz yeterli olacaktır.
Google birden fazla tarama robotuna ev sahipliği yapar. Bu robotların her biri farklı kategorilerdeki web siteleri için uygundur. Örnek vermek gerekirse AdSense ve AdsBot ile reklamların kalitesini kontrol ederken Android uygulamaların yönergelere uygun tasarlanıp tasarlanmadığını takip eden mobil botlardan da faydalanır.
Web sitesi sahipleri için en önemli Google botları ise aşağıdaki gibidir:
Web sitenizin Google News kaydı varsa yayınladığınız içerikler “Haberler” sekmesi altında ayrı olarak gösterilir. Aynı şekilde bir çevrimiçi mağaza yönetiyorsanız ürünleriniz fiyat bilgisiyle listeleyebilen StoreBot isimli bot da sitenizi indeksleyecektir.
Her web sitesi sahibinin mutlaka yapması gerektiği gibi Google Search Console’a sitemizin kaydını yapmak ilk adım olmalı. Daha sonra Googlebot’un sitenizi ne sıklıkla ziyaret ettiğini ve hangi verileri tarayabildiğini kontrol etmek için konsol sayfasındaki “Tarama” aracından faydalanabilirsiniz.
Googlebot’un hangi sayfaları indeksleyeceğine yine “robots.txt” dosyasına ilgili satırları girerek karar verebilmeniz mümkün. Burada dikkatli olmanızda fayda var, çünkü yapacağınız bir hata sitenizin arama motorundan tamamen silinmesine yol açabilir. Web sitesi sahipleri genellikle yönetim paneli adresi gibi Google arama sonuçlarında listelenmesini istemediği sayfaları bu dosyaya kaydederler.
Örnek vermek gerekirse robots.txt dosyasına ekleyeceğiniz aşağıdaki satırlar, yönetim paneli olan “/admin” sayfasının Google’da çıkmamasını sağlar.
User-agent: *
Disallow: /admin/
Eğer tüm sayfaların bot erişimine açık olmasını istiyorsanız aşağıdaki satırdan faydalanabilirsiniz.
Allow:/
Bu, hiçbir sınırlama olmadan sitenizdeki tüm URL’lerin indekslenebileceği mesajını Google başta olmak üzere arama motoru botlarına iletir.
Web siteniz uzun bir süredir yayın hayatında olmasına rağmen Google’da “site: adres.com” şeklinde bir arama yapmanıza rağmen hiçbir sonuç karşınıza çıkmıyorsa, henüz Googlebot sitenizi ziyaret etmemiş demektir.
Bu süreci hızlandırmak için Googlebot’u web sitenize çağırmak isteyebilirsiniz. Bunun yolu aşağıdaki adımları izlemekten geçer:
Web sitesi sahibi olarak Google’da daha üst sıralarda yer almak için yapabileceğiniz en basit SEO çalışmalarının başında Googlebot’un işini kolaylaştırmak gelir. Aşağıdaki yönergeler sayesinde daha hızlı ve başarılı indekslenebilir web sayfaları oluşturabilirsiniz.
Son tahlilde Googlebot ve diğer arama motoru botlarının sitenizi daha kolay indeksleyebilmesi, daha üst sıralarda listelenmenize ve daha çok trafik almanıza yardımcı olacaktır.
Bu sorunun cevabı birçok farklı etkene göre değişiklik gösterir. Alan adının yaşı, web sitesindeki içeriklerin güncellik ve kalitesi, backlink sayısı, web sitesinin yüklenme hızı, yapısı gibi değerler Googlebot’un ziyaret sıklığını belirlemesinde rol oynar.
Yıllardır güncellenmeyen bir web sitesi haftalar boyunca ziyaret edilmeyebilir. Öte yandan güncel içeriklere ev sahipliği yapan ve kaliteli backlinklerle desteklenen bir site her 10 saniyede bir Googlebot tarafından taranabilir.
“Crawling” veya Türkçeye uyarlanmış adıyla “Taranabilirlik” isminden de anlaşılacağı üzere Googlebot’un web sayfalarınızı ne denli etkin tarayabileceğini belirler. Ziyaret ettiği sayfa üzerindeki tüm bağlantıları açarak yeni ve güncellenmiş sayfaları keşfeden Googlebot’un işini ne kadar kolaylaştırırsanız, web sitesi taranabilirlik değeri o kadar yüksek olur.
Daha taranabilir bir web sitesi oluşturmak için aşağıdaki ipuçlarından faydalanabilirsiniz:
Tüm bu yönergelere dikkat ettiğiniz takdirde siz de Googlebot tarafından sevilen ve yayınlanan her içeriği kısa süre içinde Google’da listelenen bir web sitesine kavuşabilirsiniz.
