Розробка, підтримка, SEO, просування, соцмережі та реклама сайтів ☣
Кабінет клієнта
Зареєструватись Забули пароль?

Пишемо robots.txt

Створюю і просуваю комерційні сайти та інтернет-магазини з 2008 року. 21-04-2013, 23:54 2 955 0
Пишемо robots.txt

Пошукові сервера завжди перед індексацією вашого ресурсу шукають в кореневому каталозі вашого домену файл з ім'ям

"robots.txt"   (http://www.mydomain.com/robots.txt).

 

Цей файл повідомляє роботам (павукам-індексаторам), які файли вони можуть індексувати, а які ні.

Robots.txt повинен створюватися в текстовому форматі Unix.

Перейдемо одразу до прикладів:

 

Директива дозволяє всім роботам індексувати всі ресурси сайту:

 

User-agent: *
Disallow:

Ця директива забороняє всім роботам індексацію:

 

User-agent: * 
Disallow: / 

 

Забороняє всім роботам заходити в каталоги "cgi-bin" і "images":

 

User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /images/ 

 

  Дана директива забороняє роботу Roverdog індексувати всі файли сервера:

 

User-agent: Roverdog 
Disallow: / 

 

 Забороняє роботу googlebot індексувати файл cheese.htm:

 

User-agent: googlebot 
Disallow: cheese.htm

 

Запамятай!

 Немає такої директиви Allow, є тільки Disallow. Цей приклад невірний:

User-agent: Spot

Disallow: / john /

Allow: / jane /

 

Правильно буде так:

 

User-agent: Spot 
Disallow: /john/ 
Disallow:

 

 Завжди після того, як Ви закачали файл robots.txt на сервер, перевіряйте його. Досить у браузері набрати простий запит:

 

 http://www.mydomain.com/robots.txt

 

 Незважаючи на те, що стандарт байдуже ставиться до регістру букв в robots.txt, в іменах каталогів і файлів регістр таки важливий.

Найкраще наслідувати приклади і в верхньому регістрі писати перші літери тільки в словах User і Disallow.

 

______________________________

 

 Значення для robots можна задати і в мета-тегах:

Наприклад:

 

<META NAME=ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME=ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

 

Індексувати все = INDEX, FOLLOW

Не індексувати нічого = NOINDEX, NOFLLOW

 

 

Корисно!

Завжди можна переглянути, як написаний файл robots.txt на інших сайтах, наприклад -

http://edition.cnn.com/robots.txt

 

 
 


Коментарі

⤹ Залишити свій коментар ⤸

  • оновити, якщо не видно коду
Останнє на сайті
  • seo

    Нова пачка для індексування сайтів

    coments/129 vievs/ 0
  • Блог

    Український двигунчик CMS для сайту

    coments/388 vievs/ 0
  • Блог

    Що таке сучасний хостинг?

    coments/472 vievs/ 0
Останнє в магазині
Картинка в meta з додаткового поля Картинка в meta з додаткового поля / Платні модулі DLE
Коментарі
Популярне на сайті

Для усіх любителів Анекдотів українською існує чудовий сайт з безліччю приколів, смішних історій та відео: Анекдоти

Тарифні плани

Потужний старт Стандартний запуск сайту від $400
  • - ♜ -
  • В стартовий тарифний план входить:

  • Розробка та налаштування сайту
  • Семантичне ядро
  • Оптимізація швидкості
  • Наповнення до SEO 5 сторінок
  • Ліцензія двигунчика DLE
Просунутий SEO оптимізований сайт від $700
  • - ♚ -
  • В SEO тарифний план входить:

  • Створення та налаштування сайту
  • Семантичне ядро
  • Оптимізація швидкості
  • Наповнення до SEO 10 сторінок
  • Ліцензія двигунчика DLE
  • 5 силок + перелінковка
Імперський винущувач конкурентів від $999
  • - ♛ -
  • В імперський тарифний план входить:

  • Розробка сайту
  • Наповнення до SEO 20 сторінок
  • Повна оптимізація
  • Ліцензія двигунчика DLE
  • МОЄ НАТХНЕННЯ та ДОСВІД!
/* soc-knopki */