Пост опубликован:

2016-11-22

вSEO-продвижение

Файл robots.txt и настройка ссылок ЧПУ. Видеоурок

Всем привет! Рад снова Вас приветствовать на своем блоге «Советы веб-мастера» и сегодня я решил написать более подробно о файле robots.txt и о правильных настройках ссылок ЧПУ (человеко-понятных урлах). Я уже писал статью о настройках ЧПУ, а также статью о настройке файла robots.txt для WordPress, но сегодня я хочу Вам представить свой видеоурок, в котором все показано наглядно и Вам не составит большого, настроить все правильно.

Данный видеоурок входит в бесплатный курс «Как сделать сайт легко и просто», для тех кто еще не ознакомился с моим курсом, как раз будет возможность посмотреть о чем речь и понять, что даже если курс и бесплатный, то это не значит, что там бесполезная информация.

Сам файл нужен для того, чтобы показать поисковым роботам, что можно индексировать, а что нет. Это нужно для того, чтобы поисковые роботы не индексировали страницы с дублирующимся контентом, а также страницы админки и так далее, для поисковиков это называется мусором и если роботы индексируют все подряд, то такие сайты имеют меньше шансов подняться в поисковой выдаче, так что поисковикам надо показывать для индексации, только полезные страницы, а не все подряд, для этого и используется файл robots.txt.

P.S. Внимание!!! На данный момент алгоритмы поисковых систем поменялись и файл тоже теперь совсем другой, поэтому скачайте, а затем разархивируйте правильный файл по ссылке ниже и замените название своего домена.

Настройка ссылок ЧПУ делается для более удобной индексации, красоты самих ссылок и для того чтобы ссылки выглядели в глазах поисковых систем привлекательно и понятно, также правильные ссылки понятны и для человека. Здесь все просто, есть несколько видов названия ссылок, выбираете подходящий и делаете так, как Вам удобно, один из примеров я покажу в видеоуроке. На самом деле все гораздо проще, чем кажется, главное знать как это делается. Иногда мелочи не дают нашим блогам подняться в выдаче и получить хороший трафик с поисковых систем.

Много расписывать не буду, я уже писал об этом, так что Вы можете прочитать обе статьи, ссылке есть в начале статьи, а все прочитанное закрепляем видеоуроком о том как сделать правильные названия ссылок и настроить файл robots.txt.

Надеюсь что информация изложенная в видеоуроке, поможет Вам разобраться с настройками и принесет огромную пользу Вам и Вашим блогам. Если будут вопросы, Вы всегда можете задать их в комментариях к данной статье. И как всегда жду Ваших отзывов о данном видео. Не забывайте о конкурсе комментаторов, простые условия и денежные призы.

К данной статье оставлено:
74 ком.
  1. Евгения

    Ответить
    9 мая 2012 в 12:58

    Спасибо за информативную статью и видеоурок. Поучительно и очень ценно для блоггеров:-)

    • Евгений Вергус

      Ответить
      9 мая 2012 в 13:00

      Евгения, всегда пожалуйста, ведь мой блог сделан именно для того, чтобы помогать блоггерам. 🙂

  2. Сергей

    Ответить
    9 мая 2012 в 16:20

    А файл robots.txt одинаков для всех сайтов, ну не считая того,что заменили в самом низу?

    С уважением, СергеЙ.

    • Евгений Вергус

      Ответить
      9 мая 2012 в 16:30

      Их много, но который предлагаю я, он идеально подходит для вордпресс и я сам использую именно его.

  3. Надежда Ковальская

    Очень хороший человекопонятный урок! Пожамкала кнопки социальные 🙂 Евгений, ты просто человечище, что БЕСКОРЫСТНО и БЕСПЛАТНО делишься такой полезной информацией!

    • Евгений Вергус

      Ответить
      9 мая 2012 в 20:16

      За кнопочки спасибо!

      Да, многим делюсь бескорыстно, читателям хорошо и мне тоже 🙂

  4. Антон

    Ответить
    10 мая 2012 в 7:43

    Роботс сам писал или где-то готовый брал?

    • Евгений Вергус

      Ответить
      10 мая 2012 в 9:24

      Нет, это уже готовый, работает отлично. Хотя и написать не сложно уже, раньше бы я об этом даже и не думал бы, сейчас можно, но и этот работает отлично.

      • Антон

        Ответить
        10 мая 2012 в 9:55

        Я помню брал готовый, но там не было запрета на индексацию ссылок с комментов — пришлось дописывать

        • Евгений Вергус

          Ответить
          10 мая 2012 в 10:03

          Ну, насколько я знаю, в WordPress ссылки с комментов и так закрыты или нет?

        • Антон

          Ответить
          10 мая 2012 в 10:15

          Нет, ну нофолоу то есть конечно, а вот директива replytocom, которая появляется при ответе на комментарий просто создает дубли страниц, прописываясь в конце урл

  5. Оксана

    Спасибо! Замечательный урок!

    • Евгений Вергус

      Ответить
      10 мая 2012 в 14:02

      Пожалуйста.

  6. Татьяна

    Ответить
    10 мая 2012 в 12:20

    Женя я только начала смотреть урок и сразу вопрос. Еще в школе Старт Ап говорили, что файл robots.txt настраивается один раз и больше к нему возвращаться не стоит. А вот не так давно вышел обновленный файл и все его изменяли. Я не знаю, чем он отличался от предыдущего, но по рекомендации обновила. Выходит забывать про этот файл не стоит?

    • Евгений Вергус

      Ответить
      10 мая 2012 в 14:04

      Татьяна, я ничего не менял, знаю что у многих были с новым проблемы, у меня и этот работает отлично, поэтому его и рекомендую.

  7. Татьяна

    Ответить
    10 мая 2012 в 12:38

    Спасибо Женя. Для новичков очень нужный и доступно изложенный урок! Посмотрела на всякий случай, чтоб освежить память)))

    • Евгений Вергус

      Ответить
      10 мая 2012 в 14:05

      Всегда пожалуйста 🙂

  8. Руслан

    Ответить
    10 мая 2012 в 22:09

    Я роботс тоже готовый взял. А плагином другим пользуюсь, впрочем тоже доволен. Этот урок из твоего курса, как я понимаю?))))

  9. viktor

    Спасибо все очень доступно и понятно.Хотелось бы узнать как вставить код партнерки на сайт что подсчитывались все переходы по ней.

    • Евгений Вергус

      Ответить
      10 мая 2012 в 22:39

      О партнерских программах у меня есть курс sovetywebmastera.ru/kak-z…rskih-programmah

      А на сайт свою ссылку вставить очень просто, взять ее и разместить там где надо или в банере или в статье или в картинке, а за переходами можно следить в кабинете партнера.

  10. Владимир

    Ответить
    12 мая 2012 в 10:57

    Очень хороший урок!поставил плагин и robots.txt.

    • Евгений Вергус

      Ответить
      12 мая 2012 в 13:19

      Владимир, спасибо.

  11. Anatoly

    Женя спасибо.

    Вопрос о «?» оказывается очень немаловажен.Уже исправил.

    Удачи.

    • Евгений Вергус

      Ответить
      12 мая 2012 в 16:52

      Да, именно из-за этой дерективы у многих бывают проблемы, так что все надо делать как положено и все будет работать идеально.

  12. Татьяна

    Евгений!!!Еще раз посмотрела это видео. я все установила, думаю , что правильно. Но у меня вот такой вопрос. Возможно, что он не по теме. я называю рубрику, с названием которой пишу запись. и совсем недавно случайно написала в поисковике яндекса вопрос по теме и, попала на свой сайт. Но когда я названия рубрик перекопировав стала вставлять в поисковик, то некоторые мои темы, например «О редисе» , «Черный рак яблонь» сразу находят мой сайт. А скопировав другие темы и разместив их в поисковике, я не нахожу упоминания о сайте???

    Почему???

    • Евгений Вергус

      Ответить
      13 мая 2012 в 9:27

      Татьяна, я не совсем понял вопрос. Что у Вас рубрик стольже, сколько и статей?

  13. Татьяна

    Нет. У меня записей столько же сколько и рубрик. Просто название записей, если их скопировать — тему и вставить в поисковик Яндекса или Гугла, то некоторые темы там отражаются. К примеру О редисе. Скопировав ее и вставив в строку, попадаешь на данные темы . и среди авторов находится и мой сайт. а другие названия записей, скопируешь, вставишь в поисковик и они не показывают мой сайт. Каким образом названия записей попадают в поисковик Гугла, Яндекса и Мира???

    • Евгений Вергус

      Ответить
      13 мая 2012 в 15:47

      Названия попадают в поисковые системы после их индексации и даже если страница проиндексирована, это не значит что она будет в выдаче и тем более это не значит что она будет показываться на первых страницах поиска, если бы все было так просто, то мы уже все были бы очень богаты, о том как правильно все настроить и продвигать свой сайт, можно узнать из моих платных курсов. Я Вам уже об этом говорил или же можно еще долго читать статьи и разбираться что к чему, это довольно сложный процесс, который требует подробного изучения.

  14. Татьяна

    Спасибо!!!!

    • Евгений Вергус

      Ответить
      13 мая 2012 в 16:13

      Да, не за что.

  15. Инна

    Ответить
    14 мая 2012 в 9:36

    Классно! А я думала почему у меня ссылки неправильные.Исправила теперь.Спасибо.И хотела попросить,чтобы не искать в просторах интернета, пригодится не только мне: Как исправить чтобы на главной были статьи? Установить Метки,или облако меток? Что такое тэги и как это сделать7

    • Евгений Вергус

      Ответить
      14 мая 2012 в 22:09

      Инна, для того чтобы сделать на главной странице анонсы статей, надо зайти в настройки, затем в чтение и выбрать в самом верху «Ваши последние записи», после чего сохранить.

      А метки, облако меток выводится виджетом, но это уже не актуально и я не советую это делать.

  16. Victoria

    Извините, Евгений, может, немного не в тему вопрос: а файл robots.txt, по-моему, изменился с тех пор, как мы первый раз его ставили на продвинутом курсе? У Вас ссылка на архив нового или старого файла? Я просто не помню где слышала эту информацию.

    И ещё насколько важно иметь именно новый robots файл?

    Спасибо заранее!

    • Евгений Вергус

      Ответить
      14 мая 2012 в 22:28

      Файл старый, именно он у меня и работает, да и вообще менять данный файл не рекомендуется, лучше поставить и забыть, а с новым у многих были проблемы, я это точно знаю.

  17. Евгения

    Ответить
    23 мая 2012 в 16:05

    Отличное сообщение по теме. Удачного продвижения Вашему сайту!

  18. Татьяна Белокурская

    Я как раз изучаю 7 урок по этой теме.Застряла,застряла,ползу как черепаха, а хочется быстрее.Спасибо, Женя.

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 10:59

      Татьяна, не стоит торопиться, надо делать все по порядку и все получится.

  19. Татьяна Белокурская

    Женя, спасибо за предложение.Я опять нашла в чем ошибки были.Опять все работает , открывается пост по ссылке.У меня закрыто от поисковиков.Я хочу сделать что-то , а потом индексироваться.Когда сочту ,что готова, приглашу посмотреть.

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 14:00

      Хорошо!

  20. Татьяна Белокурская

    Пошла учиться дальше. Если не устанавливать Cur-To- Lat то придется в ручную делать ссылки ?

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 14:01

      Не надо вручную, надо поставить плагин и все. 🙂

  21. Татьяна Белокурская

    Ошибка, вручную.

  22. Татьяна Белокурская

    Поставила, получилось. Теперь одолеваю robots.txt.

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 14:09

      Отлично и с роботом получится 🙂 Все просто!

  23. Татьяна Белокурская

    Просто для тех, кто уже все это прошел и знает.Спасибо,Женя.

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 14:14

      Конечно! Но я стараюсь объяснять максимально подробно!

  24. Татьяна Белокурская

    Получается и хорошо.В прошлом не преподаватель?

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 14:28

      Нет, просто стараюсь делать так, как было бы понятно любому человеку, без особых знаний разных терминов и так далее 🙂

  25. Татьяна Белокурская

    Никак не могу уйти с сайта, тут так много есть чего посмотреть…

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 15:04

      Я зачем уходить, оставайтесь здесь! 🙂 Здесь весь мой путь практически, так что много интересного.

  26. Татьяна Белокурская

    А robots кто мне сделает ?

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 16:41

      Так там в статье есть ссылка на статью о фйле, а там можно и скачать его, а потом заменить пару строк, в общем там все написано.

  27. Татьяна Белокурская

    Женя, я спросила кто сделает, если я не уйду с сайта, а не как делать.Я уже изучила седьмой урок.Я сделала этот роботс.

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 17:06

      Ну здесь уже придется часть прав делегировать фрилансерам, а то на моем сайте можно долго просидеть 🙂 ))))))))))))

  28. Татьяна Белокурская

    Я разорюсь на фрилансеров еще не начав зарабатывать.Где взять мордочку грустную,мне не до улыбок будет.Вопрос: «Почему обязательно почта Гугла?» Меня Яндекс пока устраивает.С чем связана эта обязаловка?

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 17:31

      Да нет никакой обязаловки, это рекомендация и все, можно и Яндексом пользоваться.

  29. Татьяна Белокурская

    Уже легче.Благодарю,Вас,сэр.

    • Евгений Вергус

      Ответить
      7 сентября 2012 в 17:38

      Да не за что 🙂

  30. Галина

    Здравствуйте, Евгений! Поздравляю Вас с наступающим Новым годом. Желаю вам успехов во всех сферах вашей жизни! Удачи!!!

    У меня сайт молодой, с августа, сейчас я обучаюсь на продвинутых курсах Твой старт. Когда я стала писать статьи каждый день, то посещаемость увеличилась до 100 посетителей в день. А сейчас сайт падает просто на глазах, что делать я не понимаю?

    С Уважением, Галина.

    • Евгений

      Ответить
      28 декабря 2012 в 21:51

      Галина, что значит падает на глазах? Пишите статьи, это самое важное. Спасибо за поздравления!!!

  31. Галина

    Спасибо, за статьи:robot.txt и внутрення переленковка, они мне помогли.

    • Евгений

      Ответить
      28 декабря 2012 в 21:52

      Всегда пожалуйста, рад что статьи принесли Вам пользу.

  32. Юрий.

    Ответить
    3 февраля 2013 в 14:32

    Много инфо перевернул в интернете, и понял что файл robot.txt который ты даешь людям,один из лучших.

    • Евгений Вергус

      Ответить
      3 февраля 2013 в 14:38

      Да, он и у меня стоит, работает отлично!

  33. Ришат

    Я делаю сайт по вашему курсу, но вот тему сделал сам на программе Artisteer 4, а файл robot.txt пришлось добавить некоторые строчки.

    • Евгений Вергус

      Ответить
      24 марта 2014 в 8:10

      В моем курсе нет ничего об Artisteer, я показываю так, как показываю.

  34. Миша

    Ответить
    5 апреля 2014 в 20:49

    Евгений, у меня в Яндекс.вебмастер при анализе robot.txt моего сайта выдает синтаксическую ошибку в строке 33:/sitemap.xml.gz

    Что это значит?

    Индексируется ли мой сайт из-за ошибки или нет?

    • Евгений Вергус

      Ответить
      6 апреля 2014 в 12:37

      Это ошибка связанная с картой сайта, может ты допустил ошибку при создании карты или вообще не сделал ее. Но сайт и так будет индексироваться.

  35. Миша

    Ответить
    5 апреля 2014 в 21:21

    Я проверил ссылки всех статей через поисковик Яндекса, Яндекс в поиске выдает только главную страницу beshenyeprodaji.ru, остальные ссылки нигде не встречаются. Что делать?

    • Евгений Вергус

      Ответить
      6 апреля 2014 в 12:39

      Торопиться не надо, это главное. Подробности можно посмотреть в вебмастере и уже дальше потом анализировать. Может просто страницы еще не прошли индексацию.

  36. Миша

    Ответить
    6 апреля 2014 в 19:14

    Яндекс.вебмастер пишет, что индексирование страниц запрещено в вашем файле robots.txt и нужно убрать запрещающие правила. Как это сделать?

    • Евгений Вергус

      Ответить
      8 апреля 2014 в 12:25

      Миша, надо сделать так, как сказано в статье и все будет отлично. Не надо ни чего править в файле. У меня такой же файл. Файл закрывает ненужные страницы, но это так и должно быть, это же вордпресс и тут есть много ненужного.

  37. ОЛЕГ

    Здравствуйте Евгений! В вашем видео файл robots.txt содержит много строк а в том который я скачал по вашей ссылке всего штук 12-13.какой файл правильный?

    • Евгений Вергус

      Ответить
      16 июня 2015 в 22:59

      Тот который скачали, тот и правильный. На данный момент файл изменился и отличается от предыдущего, просто в видео показан старый.

Оставить свой комментарий
Нажмите, чтобы отменить ответ.

Владелец сайта запрещает копировать контент и использовать адреса e-mail, находящиеся на сайте, для нелицензионных массовых рассылок (СПАМа) и занесения их в различные базы данных. Нарушители будут привлекаться к ответственности в соответствии со ст.272 УК РФ «Неправомерный доступ к компьютерной информации».

Автор: