Офис НП AMWAY в Ярославле
Купить продукцию Амвей в Ярославле, офис Amway
На карте Купить AMWAY: офис в ЯрославлеКонсультации, презентации, мастер–классы, знакомство с продукцией, заказ и выдача купленного товара:
Адрес: улица Валентины Терешковой, дом 1 (Вход со двора)
Телефон: +7 (920) 112-00-91
Email: matyxho@mail.ru
Сайт: https://www.amway.ru/user/lebedem
Визитка: http://yar.meweb.ru
Иерархия статей
Статьи » SEO » Robots.txt: важность использования и последствия отсутствия
Сниппет
Давай вспомним с тобой важность этого файла, а так же рассмотрим некоторые возможные варианты последствий, которые могут наступить в результате неправильного использования robots.txt
Robots.txt: важность использования и последствия отсутствия
Опубликовал  Pisatel Pisatel Добавлено  21-02-2013 12:59 21 Февраль 2013 12:59:32 3703  Прочтений 3703 Прочтений
 printer
  Что ж, эту тему обмусоливали сотни раз, однако все равно немного освещу ее, дабы, так сказать, освежить память. Для чего же все-таки нужен этот robots.txt?

  Я не буду здесь описывать форматы данного файла- всю необходимую подробную информацию ты можешь найти в faq поисковых систем. Я лишь хочу подчеркнуть значимость и необходимость присутствия этого файла на твоем проекте.

Наверняка многие еще помнят скандалы с Мегафон ( тогда в выдачу попали смс и ммс пользователей, которые они отправляли через бесплатный сервис Мегафона) или скандал, когда данные пользователей и сведения о их заказах в интернет- магазинах стали достоянием общественности. Или скандал с документами сайта госзаказов. Или скандал с данными миграционной службы... Можно перечислять почти до бесконечности. А ведь причиной тому было именно отсутствие или неграмотное заполнение файла robots.txt!

Отсутствие файла robots.txt



Отсутствие или пустота( нулевая длинна) данного файла автоматически дает роботу команду "разрешено индексировать все, что не запрещено". Чувствуете, чем пахнет? абсолютно любая страница твоего горячо любимого сайта, даже тщательно оберегаемая от чужих глаз, может попасть в выдачу. "Нет! Это невозможно! Страницы с конфеденциальными данными генерируются со случайными адресами и имеют ограниченное время жизни!" - можешь воскликнуть ты. Однако, даже в этом случае ты не защищен от индексации. Согласен, роботу не перебрать все возможные адреса, которые могут быть сгенерированы случайным( а точнее- псевдослучайным) образом. Подобный метод псевдозащиты называется "security by obscurity" ( безопасность через неизвесность), и метод этот- порочен, как показывает практика. Почему? Ну возьми, например, счетчики статистики, которые установлены на твоем сайте- они видят и записывают все, и эта информация легко может оказаться в свободном доступе... Так же не забывай про рефереры. Как пример- совсем свежий скандал на xwab.ru( ныне- xwab.org), когда пароли пользователей, которые пользовались автологином, любезно предоставлялись на всеобщее обозрение через статистику лайвинтернет.

Спасение утопающих- дело рук самих утопающих



Полагаю, что примерно так думают разработчики поисковых систем, и они, в общем, правы: предоставив нам в руки набор инструментов robots.txt, они весьма упростили вебмастерам жизнь и лишь наша- твоя и моя! - вина в том, что мы не умеем или не хотим грамотно пользоваться этими инструментами.

Запрещено все, что не разрешено



Именно по такому грамотному алгоритму мы заставим работать поискового паука, если верно заполним файл robots.txt. Учись на ошибках других, мониторь, анализируй, делай выводы- заставь голову работать не только на прием пищи! В конце хочу привести в пример мой роботс, который Яндекс считает вполне приличным:

Код: ROBOTS
Host: www.meweb.ru #Основной домен, зеркало



User-agent: Yandex #все указания- для робота Яндекс

Disallow: /administration #запрещено индексировать все, что имеет начало /administration

Disallow: /locale/ #запрещено индексировать все файлы в папке и саму папку

Disallow: /themes/ #запрещено индексировать все файлы в папке и саму папку

Disallow: /print #запрещено индексировать все, что имеет начало /print

Disallow: /register.php #файл запрещен к индексации

Disallow: /register #запрещено все, что имеет начало /register

Disallow: /lostpassword #запрещено к индексации все, что имеет начало /lostpassword

Disallow: /login.php #файл запрещен к индексации

Disallow: /login #запрещено все, что имеет начало /login

Sitemap: http://www.meweb.ru/sitemap.xml #адрес карты сайта



User-agent: Googlebot #для робота гугл, ниже- все аналогично

Disallow: /administration

Disallow: /locale/

Disallow: /themes/

Disallow: /print

Disallow: /register.php

Disallow: /register

Disallow: /lostpassword

Disallow: /login.php

Disallow: /login

Sitemap: http://www.meweb.ru/sitemap.xml



User-agent: * #для всех остальных роботов

Disallow: /administration

Disallow: /locale/

Disallow: /themes/

Disallow: /print

Disallow: /register.php

Disallow: /register

Disallow: /lostpassword

Disallow: /login.php

Disallow: /login

Sitemap: http://www.meweb.ru/sitemap.xml




Вот и все на сегодня. Счастья тебе и удачи, уважаемый вебмастер!
Понравилась статья?
Метки для данной статьи
Похожие статьи
Поделиться:   
Последние активные темы форума
  Темы Просмотров Ответов Последние сообщения
folder Вопрос по переделке bb-кода
PHP, MySQL
18982 5 Pisatel
26. мая 2017
folder Вопросы по Ajax форме обратной связи
CMS PHP Fusion
52346 48 Ditrin
19. февраля 2017
folder BBCode YouTube Video Colorbox mod
CMS PHP Fusion
13280 2 Pisatel
10. декабря 2016
folder Как лучше создать собственную страницу?
CMS PHP Fusion
15513 17 Pisatel
11. мая 2016
folder Небольшие вопросы по скриптам магазина и катало...
PHP, MySQL
113682 80 Pisatel
11. января 2016
folder BBCode Code mod
CMS PHP Fusion
12018 0 Pisatel
31. августа 2015
folder Ajax Like Dislike Article Panel
CMS PHP Fusion
19084 16 Pisatel
07. июля 2015
folder Хлебные крошки / BreadCrumbs SEO Panel
CMS PHP Fusion
22003 17 Pisatel
04. июля 2015
folder Abbr Description BBCode
CMS PHP Fusion
6631 0 Pisatel
15. июня 2015
folder Плагин Email рассылки Mail To All by Pisatel
CMS PHP Fusion
31455 32 Pisatel
26. апреля 2015
folder Подозрительный трафик и прочие страшилки
Всякая хрень
10376 2 Ditrin
23. апреля 2015
folder Мод Newsletter - рассылка писем пользователям с...
CMS PHP Fusion
16081 13 Pisatel
10. апреля 2015
folder Мод отправки писем PHPMailer для PHP-Fusion
CMS PHP Fusion
102369 113 Ditrin
06. апреля 2015
folder Появление неизвестного файла subscriptions.php
CMS PHP Fusion
7842 2 Pisatel
06. апреля 2015
folder Autoban on IP
CMS PHP Fusion
21331 13 Pisatel
03. апреля 2015