robots.txt для DLE
Створюю і просуваю комерційні сайти та інтернет-магазини з 2008 року. 22-04-2013, 00:12 3 892 0
Стандартний файл robots.txt вміщує всі необхідні дерективи для хорошого індексування роботами, але ми намагатимось довести його під свої потреби, а саме для ДЛЕ 9.7
Про загальні дерективи robots.txt
Розглянемо стандартний файл robots.txt версії ДЛЕ 9.7:
User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm
Спробуємо трішки удосконалити:
Disallow: /*print Disallow: /backup/ Disallow: /engine/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /catalog/ Disallow: /language/ Disallow: /*do=search Disallow: /*group=* Disallow: /addnews.html Disallow: /search.html Disallow: /rules.html Disallow: /2011/ Disallow: /2011/*/*/ Disallow: /2012/ Disallow: /2012/*/*/ Disallow: /2013/ Disallow: /2013/*/*/ Disallow: /2014/ Disallow: /2014/*/*/ Disallow: /2015/ Disallow: /2015/*/*/
Разом у нас вийде:
User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /backup/ Disallow: /engine/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /catalog/ Disallow: /language/ Disallow: /*do=search Disallow: /*group=* Disallow: /addnews.html Disallow: /search.html Disallow: /rules.html Disallow: /2011/ Disallow: /2011/*/*/ Disallow: /2012/ Disallow: /2012/*/*/ Disallow: /2013/ Disallow: /2013/*/*/ Disallow: /2014/ Disallow: /2014/*/*/ Disallow: /2015/ Disallow: /2015/*/*/
______________________________
Оптимізуємо для усіх роботів:
User-agent: Yandex Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /backup/ Disallow: /engine/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /catalog/ Disallow: /language/ Disallow: /*do=search Disallow: /*group=* Disallow: /addnews.html Disallow: /search.html Disallow: /rules.html Disallow: /2011/ Disallow: /2011/*/*/ Disallow: /2012/ Disallow: /2012/*/*/ Disallow: /2013/ Disallow: /2013/*/*/ Disallow: /2014/ Disallow: /2014/*/*/ Disallow: /2015/ Disallow: /2015/*/*/ Host: www.rullan.in.ua Sitemap: https://rullan.in.ua/sitemap.xml User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /backup/ Disallow: /engine/ Disallow: /favorites/ Disallow: /lastnews/ Disallow: /catalog/ Disallow: /language/ Disallow: /*do=search Disallow: /*group=* Disallow: /addnews.html Disallow: /search.html Disallow: /rules.html Disallow: /2011/ Disallow: /2011/*/*/ Disallow: /2012/ Disallow: /2012/*/*/ Disallow: /2013/ Disallow: /2013/*/*/ Disallow: /2014/ Disallow: /2014/*/*/ Disallow: /2015/ Disallow: /2015/*/*/ Sitemap: https://rullan.in.ua/sitemap.xml
Увага! Не забудь замінити rullan.in.ua на свій домен
