ДОСТИГНУТО:

01.11.2016-300 страниц в индексе Google;
19.01.2017-300 страниц в индексе Яндекса;
03.02.2017-40 ТИЦ;
05.02.2017- сайт принят в DMOZ каталог;

Урок №10.Robots.txt и 301 редирект

.

robot6aНа очереди 10 урок нашего курса,по созданию сайтов с ноля . У нас с вами уже есть готовый рабочий сайт, который в ближайшее время мы начнем заполнять всей необходимой информацией: статьями, видио- уроками, изображениями и так далее. Пока же необходимо произвести дополнительные настройки, для того чтобы сделать наш сайт, более эффективным.
В данном уроке пропишем ping сервера ,для быстрой индексации сайта, создадим файлы robots.txt и 301 редирект. Все это является необходимыми этапами, при созданий сайта для людей ( СДЛ ). Если же речь идет о говно сайте(ГС)или сателлите, то данные действия являются не обязательными.
Но мы то с вами делаем CДЛ не так ли? Поехали...
Ping сервера
Ping сервера используют для того чтобы ускорить индексацию сайта поисковыми роботами. Ping сервера оповещают поисковики, о новых материалах опубликованных на вашем сайте. По умолчанию в WordPress,уже прописан 1 сервер, но этого очень мало и поэтому мы добавим еще небольшой список.
Для этого проходим в админ панель, параметры, написание.Здесь в самом низу находим такое поле:
bezyimyannyiyr
Прописываем пинг- сервера, каждый с новой строчки и сохраняем полученные данные.
Вот список серверов, которые я использую, для большинства своих сайтов. Такого количества более чем достаточно, для быстрой индексации вашего блога.
Список Pihg серверов


http://rpc.pingomatic.com/
http://1470.net/api/ping
http://blogsearch.google.ru/ping/RPC2
http://www.newsisfree.com/RPCCloud
http://ping.blogs.yandex.ru/RPC2
http://rpc.weblogs.com/RPC2
http://rpc.wpkeys.com
http://www.blogdigger.com/RPC2
http://ping.blo.gs


С пинг серверами закончили. Все поисковики Yandex,Google,Rambler и другие будут извещены о новых статьях на вашем сайте.
Robots.txt
Robots.txt— очень важный и необходимый каждому сайту файл, который позволяет закрыть от индексации, различные разделы вашего сайта. Это позволяет избавится от дублирования контента и некоторых файлов. Я закрываю от индексаций: категорий, комментарий, архивы и другие страницы, не несущие пользы моему сайту.
Для того чтобы сделать файл Robots.txt, создайте в стандартном блокноте Windows, текстовый документ. Скопируйте и вставьте в него опубликованный ниже стандартный текст. Предварительно изменив адрес сайта и путь к карте сайта, на свой.
Файл Robots.txt


User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: прописываем адрес сайта. В моем случае: floraifaunarf.ru

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: прописываем путь к xml карте сайта с протоколом http://(в моем случае http://floraifaunarf.ru/sitemap.xml


Как видно первая часть данного файла запрещает индексацию отдельных страниц только Яндексу, а вторая всем остальным поисковикам. Вы можете самостоятельно исключить ненужные вам страницы, используя атрибут исключения Disallow: /(то что нужно исключить)!
Сохраняйте данный текстовый документ под именем robots.txt на своем компьютере. Далее при помощи программы FileZilla, заливаем данный файл в корень нашего сайта. Для проверки, правильно ли все сделано вбиваем в браузернои строке следующий запрос:
ваш сайт.ru/robots.txt
Если все сделано правильно то мы увидим созданный нами файл. Если этого не произошло, то вы где то допустили ошибку.
301Редирект
Данный документ позволяет дать понять браузеру что:ваш сайт.ru и wwww.ваш сайт.ru— это одно и тоже. Происходит как бы склейка доменов и переадресация с одного на другой и наоборот.
Для создания данного документа, нам потребуется файл .htaccess, который расположен в корне нашего сайта. Если вы его не находите, то необходимо прописать корню сайта права доступа «777» . Перед редактированием файла стоит определится какой адрес будет основным с wwww или без. Я лично использую второй вариант.
Открываем файл .htaccess для редактирования. Там уже расположены некоторые записи. Спускаемся в самый низ и добавляем следующий код:


RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.ваш сайт\.ru$ [NC]
RewriteRule ^(.*)$ http://ваш сайт.ru/$1 [R=301,L]


Отлично. Проверяется правильность 301 редиректа,простым вбиванием двух адресов домена, один с www, другой без. Если в обоих случаях будет выводится ваш сайт, то можно быть уверенным что все сделано правильно.
На этом наш длинный и подробный урок подходит к концу. Сегодня мы ускорили индексацию нашего сайта, прописав большое количество ping серверов; закрыли от индексации поисковиков ненужные нам страницы нашего ресурса, при помощи файла robots.txt; сделали склейку нашего сайта с www и без- создав 301 редирект в файле .htaccess.
Надеюсь все было расписано очень подробно и понятно . Стараюсь раскрыть все полностью,со скриншотами.  Если возникают какие то недопонимания или же вопросы, задавайте их в комментариях, отвечу каждому по мере своих знаний.
Теперь наш сайт после проделанной за эти дни работы, является полноценным рабочим проектом. Вот примерный план ближайших уроков.

  • Добавление сайта в поисковые системы (Яша, Гугл, Рамблер ,Майл, Яхоу и др.);
  • Добавление счетчиков статистики на сайт (Лайвинтернет, Яндекс Метрика и т.д.);
  • Создание страниц сайта (об авторе , о сайте и прочее);
  • Создание первой статьи (записи, рубрики, метки);

Будет еще интересней!
Это только уроки по созданию сайта, далее будет еще SEO продвижение ,получение первых пузомерок и монетизация нашего блога. Поэтому не пропустите и желательно подпишитесь на обновление блога.
Весна пришла. Поздравляю всех с масленицои и долгожданной оттепелью.
Будем работать и зарабатывать в интернете еще больше!
До скорой встрече в следующей статье.
БЕРЕГИТЕ СЕБЯ!




лайк

Эти красотки хотят чтобы ты их жестко лайкнул и даже несколько раз твитнул!

1 комментарий Урок №10.Robots.txt и 301 редирект

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *