WordPress İçeriği Google Arama’dan Nasıl Dışlanır

WordPress İçeriği ve Dosyaları Google Arama'dan Nasıl Hariç Tutulur

Bazen belirli WordPress içeriklerinin veya dosyalarının Google arama sonuçlarında dizine eklenmesini hariç tutmanız gerekir. Dizin veya Google’ın ve diğer arama motorunun ortaya çıkmasından önce “dizine ekleme”, çoğunlukla kitaplarla ilişkili bir kelimeydi. Genellikle çoğu kitabın arkasında bulunur ve bu yüzden Cambridge sözlüğü onu bu bağlamda şu şekilde tanımlar:


Dizin: bir konunun, adın vb. hangi sayfada olduğunu gösteren bir kitabın arkasına yazdırılmış gibi bir alfabetik liste.

1995 yılına gelindiğinde, internet patlaması sırasında Yahoo arama motoru gibi hizmetlerimiz var ve 1997’ye gelindiğinde Google arama, internette bilgi arama ve erişme şeklimizi önemli ölçüde değiştirdi.

Ocak 2018’de yapılan bir ankete göre, internette 1.805.260.010 (1.8 milyardan fazla) web sitesi var ve bu web sitelerinin çoğu hiç ziyaretçi almıyor.

Google Dizin Oluşturma nedir?

Farklı bir indeksleme formatına sahip farklı arama motorları vardır, ancak popüler arama motorları arasında Google, Bing ve gizlilik konusunda düşünen kişiler için duckduckgo bulunur..

Google dizine ekleme, genellikle belgeler, videolar ve resimler gibi dijital içerik dahil olmak üzere yeni web sayfaları ekleme ve bunları veritabanında depolama sürecini ifade eder. Başka bir deyişle, sitenizin içeriğinin Google arama sonuçlarında görünmesi için önce Google dizininde depolanması gerekir.

Google Dizine Ekleme nedir?

Google, tüm bu dijital sayfaları ve içeriği, İnternet’teki farklı web sitelerini tekrar tekrar tarayan örümceklerini, tarayıcılarını veya botlarını kullanarak dizine ekleyebilir. Bu botlar ve tarayıcılar, web sitesi sahiplerinin nelerin taranacağı ve tarama sırasında nelerin göz ardı edilmesi gerektiği yönergelerini izler..

Web Sitelerinin Neden Dizine Eklenmesi Gerekiyor??

Dijital çağın bu döneminde, belirli bir konuyu ve içeriği bulan milyarlarca web sitesinde gezinmek neredeyse imkansızdır. Hangi sitelerin güvenilir olduğunu, hangi içeriğin bizim için yararlı ve alakalı olduğunu gösteren bir araç varsa çok daha kolay olacaktır. Bu nedenle Google, web sitelerini arama sonuçlarında var eder ve sıralar.

Dizine ekleme, genel olarak arama motorlarının ve özellikle Google’ın çalışma biçiminin ayrılmaz bir parçası haline gelir. Bir sayfayı en iyi tanımlayan kelimeleri ve ifadeleri tanımlamaya yardımcı olur ve genel olarak sayfa ve web sitesi sıralamasına katkıda bulunur. Web sayfalarınız ve videolar, resimler ve belgeler gibi dijital dosyalar da dahil olmak üzere web sitenizin Google’ın ilk sayfasında görünmesi için öncelikle dizine eklenmesi gerekir.

Dizine ekleme, web sitelerinin genel olarak arama motorlarında ve özellikle Google’da iyi sıralanması için bir ön koşuldur. Anahtar kelimeler kullanarak, siteler arama motorları tarafından dizine eklendikten ve sıralandıktan sonra daha iyi görülebilir ve keşfedilebilir. Böylece web siteniz ve işletmeniz için daha fazla ziyaretçi, abone ve potansiyel müşteriye kapı açılır.

Bir cesedi gizlemek için en iyi yer Google’ın ikinci sayfası.

Çok sayıda dizine eklenmiş sayfanız olması, sitelerinizin otomatik olarak daha üst sıralarda yer almamasına rağmen, bu sayfaların içeriği yüksek kalitede ise SEO açısından da bir artış elde edebilirsiniz..

Arama Motorunun İçeriği Dizine Eklemesinin Neden ve Nasıl Engellenmesi

Dizine ekleme, web sitesi ve işletme sahipleri için mükemmel olsa da, arama sonuçlarında gösterilmesini istemeyebileceğiniz sayfalar vardır. hassas dosyaları ve içeriği İnternet üzerinden de açığa çıkarma riskiniz olabilir. Şifreler veya kimlik doğrulama olmadan, botlara web sitenizin klasörleri ve dosyaları üzerinde ücretsiz dizgin verilirse özel içerik maruz kalma ve yetkisiz erişim riski altındadır..

2000’lerin başında, bilgisayar korsanları kredi kartı bilgilerini görüntülemek için Google aramasını kullandım basit arama sorgularına sahip web sitelerinden. Bu güvenlik açığı, birçok bilgisayar korsanı tarafından e-ticaret web sitelerinden kart bilgilerini çalmak için kullanıldı.

Başka bir son box.com’da geçen yıl güvenlik açığı oldu, popüler bir bulut depolama sistemi. Güvenlik açığı Swisscom için tehdit istihbarat yöneticisi Markus Neis tarafından ortaya çıkarıldı. Google ve Bing dahil olmak üzere arama motorlarının basit bir şekilde istismar edilmesinin, birçok işletme ve bireysel müşterinin gizli dosyalarını ve bilgilerini ortaya çıkarabileceğini bildirdi.

Bu gibi durumlar çevrimiçi olur ve işletme sahipleri için satış ve gelir kaybına neden olabilir. Kurumsal, e-ticaret ve üyelik web siteleri için, hassas içeriğin ve özel dosyaların arama endekslemesini engellemek ve sonra muhtemelen bunları iyi bir kullanıcı kimlik doğrulama sisteminin arkasına koymak çok önemlidir..

Google ve diğer arama motorları tarafından hangi içeriğin ve dosyaların taranıp dizine eklenebileceğini nasıl kontrol edebileceğinize bakalım.

1. Görüntüler İçin Robots.txt Kullanılması

Robots.txt, sitenizin kökünde, Google, Bing ve diğer arama motorlarına botlara neyin taranıp neyin taranmayacağına ilişkin talimatlar sunan bir dosyadır. Robots.txt genellikle tarama trafiğini ve web (mobil ve masaüstü) tarayıcılarını kontrol etmek için kullanılırken, görüntülerin Google arama sonuçlarında görünmesini önlemek için de kullanılabilir.

Normal WordPress web sitelerinin bir robots.txt dosyası şöyle görünür:

Kullanıcı aracısı: *
İzin verme: / wp-admin /
İzin verme: / wp-include /

Standart robots.txt dosyası, kullanıcı aracısı için bir talimat ve bir yıldız sembolü ile başlar. Yıldız işareti, web sitesine gelen tüm botlar için aşağıda verilen tüm talimatları takip etmek için bir talimattır.

Robot.txt Kullanarak Robotları Belirli Dijital Dosyalardan Uzak Tutun

Robots.txt dosyası, PDF, JPEG veya MP4 gibi dijital dosyaların arama motorunda taranmasını durdurmak için de kullanılabilir. PDF ve JPEG dosyasının arama taramasını engellemek için, bu robots.txt dosyasına eklenmelidir:

PDF Dosyaları

Kullanıcı aracısı: *
Disallow: / pdfs / # / pdfs / dizinini engelle.
Disallow: * .pdf $ # Tüm botlardaki pdf dosyalarını engelleyin. Standart olmasa da, büyük arama motorları için çalışır.

Görüntüler

Kullanıcı aracısı: Googlebot-Image
Disallow: /images/cats.jpg #Block cats.jpg resmi Googlebot için özellikle.

JPEG ve PNG gibi diğer resim formatlarına izin verirken, tüm .GIF resimlerinin dizine eklenmesini ve google resim aramasında gösterilmesini engellemek istiyorsanız, aşağıdaki kuralları kullanmalısınız:

Kullanıcı aracısı: Googlebot-Image
İzin verme: /*.gif$

Önemli: Yukarıdaki snippet’ler içeriğinizin Google gibi üçüncü taraf siteler tarafından dizine eklenmesini engeller. Birisi nereye bakacağını biliyorsa hala erişilebilir. Kimsenin dosyalara erişememesi için dosyaları gizli hale getirmek için bu içerik kısıtlama eklentileri gibi başka bir yöntem kullanmanız gerekir.

Googlebot-Image, resimlerin ve belirli bir resim uzantısının Google resim aramada görünmesini engellemek için kullanılabilir. Bunları tüm Google aramalarından hariç tutmak istiyorsanız, ör. web araması ve resimler için bunun yerine bir Googlebot kullanıcı aracısı kullanılması önerilir.

Bir web sitesindeki farklı öğeler için diğer Google kullanıcı aracıları, videoların web üzerindeki Google video bölümüne uygulanması için Googlebot-Video’yu içerir. Benzer şekilde, Googlebot kullanıcı aracısının kullanılması tüm videoların google videolarında, web aramasında veya mobil web aramasında gösterilmesini engeller.

Robotlar txt Dizini Yok

Lütfen, Robots.txt kullanmanın, aşağıdaki sınırlamalar nedeniyle hassas veya gizli dosyaları ve içeriği engellemenin uygun bir yöntemi olmadığını unutmayın:

  • Robots.txt yalnızca iyi niyetli tarayıcılara talimat verebilir; diğer uyumlu olmayan arama motorları ve botlar talimatlarını göz ardı edebilir.
  • Robots.txt, sunucunuzun istek üzerine bu sayfaları ve dosyaları yetkisiz kullanıcılara göndermesini engellemez.
  • Arama motorları, başka web sitelerinden ve kaynaklardan bağlandıkları takdirde engellediğiniz sayfayı ve içeriği bulabilir ve dizine ekleyebilir.
  • Robots.txt’ye daha sonra sağlanan tüm talimatları okuyabilen ve bu içeriğe ve dosyalara doğrudan erişebilen herkes erişebilir

Arama dizine eklemeyi engellemek ve özel bilgilerinizi daha etkili bir şekilde korumak için lütfen aşağıdaki yöntemleri kullanın.

2. Sayfalar İçin Dizinsiz Meta Etiket Kullanma

Dizinsiz meta etiket kullanmak, web sitenizdeki hassas içeriğin arama dizinini engellemek için uygun ve daha etkili bir yöntemdir. Robots.txt dosyasından farklı olarak, dizin içermeyen meta etiket web sayfasının çok basit bir HTML etiketine sahip bölümü:



...

Bu talimatın başlıkta bulunduğu hiçbir sayfa Google arama sonucunda görünmez. Diğer direktifler nofollow ve notranslate gibi web tarayıcılarına bağlantıları taramamalarını ve o sayfanın çevirisini sunmalarını söyleyebilir..

Bir sayfada aşağıdaki gibi birden fazla meta etiket kullanarak birden çok tarayıcıya talimat verebilirsiniz:



...


Bu kodu web sitenize eklemenin iki yolu vardır. İlk seçeneğiniz bir WordPress alt teması oluşturmaktır, daha sonra işlevlerinizde. Bir noindex veya başka bir meta etiket eklemek için WordPress wp_head eylem kancasını kullanabilirsiniz. Aşağıda giriş sayfanızda noindex’i nasıl yapacağınıza bir örnek.

add_action ('wp_head', işlev () {
if (is_page ('giriş')) {
Eko '';
}
});

İkinci seçeneğiniz, bir sayfanın görünürlüğünü kontrol etmek için SEO eklentinizi kullanmaktır. Örneğin, Yoast SEO ile bir sayfadaki gelişmiş ayarlar bölümüne gidebilir ve arama motorunun sayfayı göstermesine izin verme seçenekleri için “Hayır” ı seçebilirsiniz:

Yoast SEO Arama Sonuçları Ayarı

3. Diğer dosyalar için X-Robots-Tag HTTP üstbilgisini kullanma

X-Robots-Tag, içeriğinizin ve dosyalarınızın arama dizinini engelleme konusunda size daha fazla esneklik sağlar. Özellikle, dizinsiz meta etiketle karşılaştırıldığında belirli herhangi bir URL için HTTP üstbilgisi yanıtı olarak kullanılabilir. Örneğin, robot meta etiketlerini kullanmanın mümkün olmadığı resim, video ve belge dosyaları için X-Robots-Tag’ı kullanabilirsiniz.

Okuyabilirsin Google’ın tam robot meta etiketi kılavuzu, ancak tarayıcılara HTTP yanıtında X-Robots-Tag kullanarak bir JPEG resmini takip etmemelerini ve dizine eklememelerini nasıl sağlayabileceğiniz aşağıda açıklanmıştır:

HTTP / 1.1 200 Tamam
İçerik türü: resim / jpeg
Date: Cmt, 27 Kas 2018 01:02:09 GMT
(...)
X-Robots-Tag: noindex, nofollow
(...)

Bir robot meta etiketi ile kullanılabilecek tüm yönergeler bir X-Robots-Tag için de geçerlidir. Benzer şekilde, birden çok arama motoru botuna da talimat verebilirsiniz:

HTTP / 1.1 200 Tamam
Date: Sal, 21 Eyl 2018 21:09:19 GMT
(...)
X-Robots-Tag: googlebot: nofollow
Robotlar Etiketi: Bingbot: Noindex
X-Robots-Tag: diğerbot: noindex, nofollow
(...)

Arama motorları botlarının, tarama işlemi sırasında Robotlar meta etiketlerini ve X-Robots-Tag HTTP başlıklarını keşfettiğini unutmayın. Dolayısıyla, bu botların herhangi bir gizli içeriği ve dokümanı takip etmemek veya dizine eklememek için talimatlarınızı takip etmesini istiyorsanız, bu sayfa ve dosya URL’lerinin taranmasını durdurmamalısınız.

Robots.txt dosyasını kullanarak tarama yapmaları engellenirse, dizine ekleme ile ilgili talimatlarınız okunmaz ve bu nedenle yok sayılır. Sonuç olarak, diğer web sitelerinin içeriğinize ve belgelerinize bağlanması durumunda yine de Google ve diğer arama motorları tarafından dizine eklenir.

4. Apache Sunucuları için .htaccess Kurallarını Kullanma

Ayrıca, tarayıcıların Apache sunucusunda barındırılan web sitenizin sayfalarını ve dijital içeriklerini endekslemesini engellemek için .htaccess dosyanıza X-Robots-Tag HTTP üstbilgisi ekleyebilirsiniz. Dizin içermeyen meta etiketlerin aksine, .htaccess kuralları tüm bir web sitesine veya belirli bir klasöre uygulanabilir. Düzenli ifadeler desteği, aynı anda birden fazla dosya türünü hedeflemeniz için daha da fazla esneklik sunar.

Googlebot, Bing ve Baidu’nun bir web sitesini veya özel bir dizini taramasını engellemek için aşağıdaki kuralları kullanın:

Motor Açık
RewriteCond% {HTTP_USER_AGENT} (googlebot | bingbot | Baiduspider) [NC]
RewriteRule. * - [R = 403, L]

Tüm web sitenizdeki tüm .txt, .jpg, .jpeg, .pdf dosyalarının arama endekslemesini engellemek için aşağıdaki snippet’i ekleyin:


Üstbilgi kümesi X-Robots-Tag "noindex, nofollow"

5. Kullanıcı Adı ve Parola ile Sayfa Kimlik Doğrulamayı Kullanma

Yukarıdaki yöntemler özel içeriğinizin ve dokümanlarınızın Google arama sonuçlarında görünmesini engelleyecektir. Ancak, bağlantıya sahip olan herhangi bir kullanıcı içeriğinize ulaşabilir ve dosyalarınıza doğrudan erişebilir. Güvenlik için, rol erişim izninin yanı sıra kullanıcı adı ve parola ile doğru kimlik doğrulaması ayarlamanız önemle tavsiye edilir.

Sayfa Kimlik Doğrulamayı Kullanma

Örneğin, personelin kişisel profillerini ve anonim kullanıcılar tarafından erişilmemesi gereken hassas belgeleri içeren sayfalar bir kimlik doğrulama kapısının arkasına itilmelidir. Bu nedenle, kullanıcılar bir şekilde sayfaları bulmayı başardıklarında bile, içeriği kontrol etmeden önce kimlik bilgileri istenir.

WordPress Şifre Koruması

Bunu WordPress ile yapmak için bir yayının görünürlüğünü şifre korumalı. Bu şekilde, o sayfadaki içeriği görüntülemek için gereken bir şifreyi seçebilirsiniz. Bu, her gönderi / sayfa bazında oldukça kolaydır. Daha kapsamlı site gizliliği için, bu WordPress üyelik eklentilerinden birini web sitenize eklemeyi deneyin.

Lütfen şifre korumalı veya gizli sayfaların arama motorlarından ve ziyaretçilerin içeriğine iliştirilmiş belgeleri, videoları ve resimleri korumaları gerekmediğini unutmayın. WordPress dosya yüklemelerinizin gerçek anlamda korunması için, Doğrudan Erişimi Önleme Altın gibi birinci sınıf bir hizmet şiddetle tavsiye edilir.

Sonuç

Google’ın birinci sayfasında yer alan yarışta, işletme sahipleri arama motorlarının neler görebileceğini dikkate almayabilir. İster botları belirli bir dosyadan engelliyor olun, ister özel bir giriş sayfasını gizleyin, ister özel kullanıcı dizinlerini koruyan bir şifre olsun… arama motorları söz konusu olduğunda dizin oluşturmayı dikkate almanız gereken birçok sayfa var.

İçeriğin arama sonuçlarından hariç tutulmasıyla ilgili sorunuz mu var? Veya belirli dosyaların dizine eklenmesini engellemek mi? Aşağıya bir yorum bırakın!

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map