cegah

. Mencegah Google dan search engine lain melakukan pengindexan terhadap situs anda.
2. Mencegah scanning terhadap halaman tertentu.
3. Menghapus Snippet (Potongan-potongan)
4. Menghapus halaman-halaman yang sudah di-Cache Menghapus gambar dari pencarian gambar Google
Penjelasan:
1.Mencegah Google dan search engine lain melakukan pengindexan terhadap situs anda.
Untuk mencegah Google dan search engine lain melakukan pengindexan terhadap situs anda, copy-pastekan script berikut pada text editor anda dan simpan dengan nama robots.txt
Code:
User-Agent: *
Disallow: /
Inilah protokol standar yang diperiksa oleh hampir semua mesin pengindeks web untuk mengecualikan suatu server atau direktori web dari pengindeksan. info lebih lanjut bisa kamu dapatkan di:http://www.robotstxt.org/wc/norobots.html
2.Mencegah scanning terhadap halaman tertentu.
Kalau anda tidak menginginkan semua robot melakukan indexing terhadap website anda, maka anda dapat menyimpan meta tag dibawah ini kedalam program HTML anda:
Code:

Kalau anda tidak menginginkan robots Google’s meng-index website anda, sehingga anda mau memakai robots lain, pakailah tag dibawah ini:
Code:

Informasi tambahan mengenai standard meta tag element tersedia disini:
http://www.robotstxt.org/wc/exclusion.html#meta
3.Menghapus Snippet (Potongan-potongan)
Snippet adalah text yang diambil dari halaman website anda dimana semua query di bold. Dari hasil proses ini, pemakai bisa melihat isi dari pencarian (search) yang nongol di webpage anda, sebelum meng-click hasil. Biasanya pemakai akan meng-click didalam hasil pencarian (search result) kalau hasil itu mempunyai snippet.
Kalau anda tidak mau Google mengeluarkan snippet dihalaman anda, pakailah tag dibawah ini:
Code:

Ingat: menghapus snippet juga akan menghapus cache memori halaman.
4.Menghapus halaman-halaman yang sudah di-Cache
Google menyimpan teks dari kebanyakan dokumen-dokumen yang dirangkaknya ke dalam cache. Dengan begini, versi halaman web yand diarsip, atau di-”cache”, dapat diperlihatkan kepada pengunjung-pengunjung situs anda apabila halaman yang sebelumnya tidak tersedia lagi (disebabkan oleh kegagalan sementara dari halaman di jaringan server). Halaman yang di-cache terlihat kepada pengunjung-pengunjung persis seperti waktu Google merangkaknya. Halaman yang di-cache ini juga mencantum pesan (di bagian atas halaman) untuk menunjukkan bahwa halaman ini adalah versi yand di-cache.
Bila anda ingin menghindarkan semua robot dari mengarsip isi situs anda, gunakan meta tag NOARCHIVE. Tempatkan tag ini di bagian > dari halaman-halaman anda sebagai berikut:
Code:

Bila anda ingin memperbolehkan robot-robot pendaftar lain untuk mengarsip isi halaman anda, menghindarkan robot-robot Google saja untuk menyimpan halaman itu, gunakan tag berikut:
Code:

Perhatian: tag ini hanya menghapus kaitan yand di-”cache” di dalam halaman berikut. Google akan terus mengindeks halaman ini dan menampilkan sebagian kecil.
5. Menghapus gambar dari pencarian gambar Google
Tempatkan file robots.txt di direktory root. Misalkan file imagemu beralamatkan http://situsku.com/images/gambarku.jpg maka kamu harus menempatkan file robots.txt di lokasi http://situsku.com/robots.txt tempatkan text berikut pada file robots.txt :
Code:
User-Agent: Googlebot-Image
Disallow: /images/dogs.jpg
Untuk menghapus semua gambar di dalam situs anda dari indeks google, tempatkan text berikut:
User-Agent: Googlebot-Image
Disallow: /

Thanks for reading & sharing Sidikalang Sidiangkat