Всем привет! Рад снова Вас приветствовать на своем блоге «Советы веб-мастера» и сегодня я решил написать более подробно о файле robots.txt и о правильных настройках ссылок ЧПУ (человеко-понятных урлах). Я уже писал статью о настройках ЧПУ, а также статью о настройке файла robots.txt для WordPress, но сегодня я хочу Вам представить свой видеоурок, в котором все показано наглядно и Вам не составит большого, настроить все правильно.
Данный видеоурок входит в бесплатный курс «Как сделать сайт легко и просто», для тех кто еще не ознакомился с моим курсом, как раз будет возможность посмотреть о чем речь и понять, что даже если курс и бесплатный, то это не значит, что там бесполезная информация.
Сам файл нужен для того, чтобы показать поисковым роботам, что можно индексировать, а что нет. Это нужно для того, чтобы поисковые роботы не индексировали страницы с дублирующимся контентом, а также страницы админки и так далее, для поисковиков это называется мусором и если роботы индексируют все подряд, то такие сайты имеют меньше шансов подняться в поисковой выдаче, так что поисковикам надо показывать для индексации, только полезные страницы, а не все подряд, для этого и используется файл robots.txt.
P.S. Внимание!!! На данный момент алгоритмы поисковых систем поменялись и файл тоже теперь совсем другой, поэтому скачайте, а затем разархивируйте правильный файл по ссылке ниже и замените название своего домена.
Настройка ссылок ЧПУ делается для более удобной индексации, красоты самих ссылок и для того чтобы ссылки выглядели в глазах поисковых систем привлекательно и понятно, также правильные ссылки понятны и для человека. Здесь все просто, есть несколько видов названия ссылок, выбираете подходящий и делаете так, как Вам удобно, один из примеров я покажу в видеоуроке. На самом деле все гораздо проще, чем кажется, главное знать как это делается. Иногда мелочи не дают нашим блогам подняться в выдаче и получить хороший трафик с поисковых систем.
Много расписывать не буду, я уже писал об этом, так что Вы можете прочитать обе статьи, ссылке есть в начале статьи, а все прочитанное закрепляем видеоуроком о том как сделать правильные названия ссылок и настроить файл robots.txt.
Надеюсь что информация изложенная в видеоуроке, поможет Вам разобраться с настройками и принесет огромную пользу Вам и Вашим блогам. Если будут вопросы, Вы всегда можете задать их в комментариях к данной статье. И как всегда жду Ваших отзывов о данном видео. Не забывайте о конкурсе комментаторов, простые условия и денежные призы.
74 ком.
-
Евгения
Ответить9 мая 2012 в 12:58Спасибо за информативную статью и видеоурок. Поучительно и очень ценно для блоггеров:-)
-
Евгений Вергус
Ответить9 мая 2012 в 13:00Евгения, всегда пожалуйста, ведь мой блог сделан именно для того, чтобы помогать блоггерам. 🙂
-
-
Сергей
Ответить9 мая 2012 в 16:20А файл robots.txt одинаков для всех сайтов, ну не считая того,что заменили в самом низу?
С уважением, СергеЙ.
-
Евгений Вергус
Ответить9 мая 2012 в 16:30Их много, но который предлагаю я, он идеально подходит для вордпресс и я сам использую именно его.
-
-
Надежда Ковальская
Очень хороший человекопонятный урок! Пожамкала кнопки социальные 🙂 Евгений, ты просто человечище, что БЕСКОРЫСТНО и БЕСПЛАТНО делишься такой полезной информацией!
-
Евгений Вергус
Ответить9 мая 2012 в 20:16За кнопочки спасибо!
Да, многим делюсь бескорыстно, читателям хорошо и мне тоже 🙂
-
-
Антон
Ответить10 мая 2012 в 7:43Роботс сам писал или где-то готовый брал?
-
Евгений Вергус
Ответить10 мая 2012 в 9:24Нет, это уже готовый, работает отлично. Хотя и написать не сложно уже, раньше бы я об этом даже и не думал бы, сейчас можно, но и этот работает отлично.
-
Антон
Ответить10 мая 2012 в 9:55Я помню брал готовый, но там не было запрета на индексацию ссылок с комментов — пришлось дописывать
-
Евгений Вергус
Ответить10 мая 2012 в 10:03Ну, насколько я знаю, в WordPress ссылки с комментов и так закрыты или нет?
-
Антон
Ответить10 мая 2012 в 10:15Нет, ну нофолоу то есть конечно, а вот директива replytocom, которая появляется при ответе на комментарий просто создает дубли страниц, прописываясь в конце урл
-
-
-
-
Оксана
Спасибо! Замечательный урок!
-
Евгений Вергус
Ответить10 мая 2012 в 14:02Пожалуйста.
-
-
Татьяна
Ответить10 мая 2012 в 12:20Женя я только начала смотреть урок и сразу вопрос. Еще в школе Старт Ап говорили, что файл robots.txt настраивается один раз и больше к нему возвращаться не стоит. А вот не так давно вышел обновленный файл и все его изменяли. Я не знаю, чем он отличался от предыдущего, но по рекомендации обновила. Выходит забывать про этот файл не стоит?
-
Евгений Вергус
Ответить10 мая 2012 в 14:04Татьяна, я ничего не менял, знаю что у многих были с новым проблемы, у меня и этот работает отлично, поэтому его и рекомендую.
-
-
Татьяна
Ответить10 мая 2012 в 12:38Спасибо Женя. Для новичков очень нужный и доступно изложенный урок! Посмотрела на всякий случай, чтоб освежить память)))
-
Евгений Вергус
Ответить10 мая 2012 в 14:05Всегда пожалуйста 🙂
-
-
Руслан
Ответить10 мая 2012 в 22:09Я роботс тоже готовый взял. А плагином другим пользуюсь, впрочем тоже доволен. Этот урок из твоего курса, как я понимаю?))))
-
viktor
Спасибо все очень доступно и понятно.Хотелось бы узнать как вставить код партнерки на сайт что подсчитывались все переходы по ней.
-
Евгений Вергус
Ответить10 мая 2012 в 22:39О партнерских программах у меня есть курс sovetywebmastera.ru/kak-z…rskih-programmah
А на сайт свою ссылку вставить очень просто, взять ее и разместить там где надо или в банере или в статье или в картинке, а за переходами можно следить в кабинете партнера.
-
-
Владимир
Ответить12 мая 2012 в 10:57Очень хороший урок!поставил плагин и robots.txt.
-
Евгений Вергус
Ответить12 мая 2012 в 13:19Владимир, спасибо.
-
-
Anatoly
Женя спасибо.
Вопрос о «?» оказывается очень немаловажен.Уже исправил.
Удачи.
-
Евгений Вергус
Ответить12 мая 2012 в 16:52Да, именно из-за этой дерективы у многих бывают проблемы, так что все надо делать как положено и все будет работать идеально.
-
-
Татьяна
Евгений!!!Еще раз посмотрела это видео. я все установила, думаю , что правильно. Но у меня вот такой вопрос. Возможно, что он не по теме. я называю рубрику, с названием которой пишу запись. и совсем недавно случайно написала в поисковике яндекса вопрос по теме и, попала на свой сайт. Но когда я названия рубрик перекопировав стала вставлять в поисковик, то некоторые мои темы, например «О редисе» , «Черный рак яблонь» сразу находят мой сайт. А скопировав другие темы и разместив их в поисковике, я не нахожу упоминания о сайте???
Почему???
-
Евгений Вергус
Ответить13 мая 2012 в 9:27Татьяна, я не совсем понял вопрос. Что у Вас рубрик стольже, сколько и статей?
-
-
Татьяна
Нет. У меня записей столько же сколько и рубрик. Просто название записей, если их скопировать — тему и вставить в поисковик Яндекса или Гугла, то некоторые темы там отражаются. К примеру О редисе. Скопировав ее и вставив в строку, попадаешь на данные темы . и среди авторов находится и мой сайт. а другие названия записей, скопируешь, вставишь в поисковик и они не показывают мой сайт. Каким образом названия записей попадают в поисковик Гугла, Яндекса и Мира???
-
Евгений Вергус
Ответить13 мая 2012 в 15:47Названия попадают в поисковые системы после их индексации и даже если страница проиндексирована, это не значит что она будет в выдаче и тем более это не значит что она будет показываться на первых страницах поиска, если бы все было так просто, то мы уже все были бы очень богаты, о том как правильно все настроить и продвигать свой сайт, можно узнать из моих платных курсов. Я Вам уже об этом говорил или же можно еще долго читать статьи и разбираться что к чему, это довольно сложный процесс, который требует подробного изучения.
-
-
Татьяна
Спасибо!!!!
-
Евгений Вергус
Ответить13 мая 2012 в 16:13Да, не за что.
-
-
Инна
Ответить14 мая 2012 в 9:36Классно! А я думала почему у меня ссылки неправильные.Исправила теперь.Спасибо.И хотела попросить,чтобы не искать в просторах интернета, пригодится не только мне: Как исправить чтобы на главной были статьи? Установить Метки,или облако меток? Что такое тэги и как это сделать7
-
Евгений Вергус
Ответить14 мая 2012 в 22:09Инна, для того чтобы сделать на главной странице анонсы статей, надо зайти в настройки, затем в чтение и выбрать в самом верху «Ваши последние записи», после чего сохранить.
А метки, облако меток выводится виджетом, но это уже не актуально и я не советую это делать.
-
-
Victoria
Извините, Евгений, может, немного не в тему вопрос: а файл robots.txt, по-моему, изменился с тех пор, как мы первый раз его ставили на продвинутом курсе? У Вас ссылка на архив нового или старого файла? Я просто не помню где слышала эту информацию.
И ещё насколько важно иметь именно новый robots файл?
Спасибо заранее!
-
Евгений Вергус
Ответить14 мая 2012 в 22:28Файл старый, именно он у меня и работает, да и вообще менять данный файл не рекомендуется, лучше поставить и забыть, а с новым у многих были проблемы, я это точно знаю.
-
-
Евгения
Ответить23 мая 2012 в 16:05Отличное сообщение по теме. Удачного продвижения Вашему сайту!
-
Татьяна Белокурская
Я как раз изучаю 7 урок по этой теме.Застряла,застряла,ползу как черепаха, а хочется быстрее.Спасибо, Женя.
-
Евгений Вергус
Ответить7 сентября 2012 в 10:59Татьяна, не стоит торопиться, надо делать все по порядку и все получится.
-
-
Татьяна Белокурская
Женя, спасибо за предложение.Я опять нашла в чем ошибки были.Опять все работает , открывается пост по ссылке.У меня закрыто от поисковиков.Я хочу сделать что-то , а потом индексироваться.Когда сочту ,что готова, приглашу посмотреть.
-
Евгений Вергус
Ответить7 сентября 2012 в 14:00Хорошо!
-
-
Татьяна Белокурская
Пошла учиться дальше. Если не устанавливать Cur-To- Lat то придется в ручную делать ссылки ?
-
Евгений Вергус
Ответить7 сентября 2012 в 14:01Не надо вручную, надо поставить плагин и все. 🙂
-
-
Татьяна Белокурская
Ошибка, вручную.
-
Татьяна Белокурская
Поставила, получилось. Теперь одолеваю robots.txt.
-
Евгений Вергус
Ответить7 сентября 2012 в 14:09Отлично и с роботом получится 🙂 Все просто!
-
-
Татьяна Белокурская
Просто для тех, кто уже все это прошел и знает.Спасибо,Женя.
-
Евгений Вергус
Ответить7 сентября 2012 в 14:14Конечно! Но я стараюсь объяснять максимально подробно!
-
-
Татьяна Белокурская
Получается и хорошо.В прошлом не преподаватель?
-
Евгений Вергус
Ответить7 сентября 2012 в 14:28Нет, просто стараюсь делать так, как было бы понятно любому человеку, без особых знаний разных терминов и так далее 🙂
-
-
Татьяна Белокурская
Никак не могу уйти с сайта, тут так много есть чего посмотреть…
-
Евгений Вергус
Ответить7 сентября 2012 в 15:04Я зачем уходить, оставайтесь здесь! 🙂 Здесь весь мой путь практически, так что много интересного.
-
-
Татьяна Белокурская
А robots кто мне сделает ?
-
Евгений Вергус
Ответить7 сентября 2012 в 16:41Так там в статье есть ссылка на статью о фйле, а там можно и скачать его, а потом заменить пару строк, в общем там все написано.
-
-
Татьяна Белокурская
Женя, я спросила кто сделает, если я не уйду с сайта, а не как делать.Я уже изучила седьмой урок.Я сделала этот роботс.
-
Евгений Вергус
Ответить7 сентября 2012 в 17:06Ну здесь уже придется часть прав делегировать фрилансерам, а то на моем сайте можно долго просидеть 🙂 ))))))))))))
-
-
Татьяна Белокурская
Я разорюсь на фрилансеров еще не начав зарабатывать.Где взять мордочку грустную,мне не до улыбок будет.Вопрос: «Почему обязательно почта Гугла?» Меня Яндекс пока устраивает.С чем связана эта обязаловка?
-
Евгений Вергус
Ответить7 сентября 2012 в 17:31Да нет никакой обязаловки, это рекомендация и все, можно и Яндексом пользоваться.
-
-
Татьяна Белокурская
Уже легче.Благодарю,Вас,сэр.
-
Евгений Вергус
Ответить7 сентября 2012 в 17:38Да не за что 🙂
-
-
Галина
Здравствуйте, Евгений! Поздравляю Вас с наступающим Новым годом. Желаю вам успехов во всех сферах вашей жизни! Удачи!!!
У меня сайт молодой, с августа, сейчас я обучаюсь на продвинутых курсах Твой старт. Когда я стала писать статьи каждый день, то посещаемость увеличилась до 100 посетителей в день. А сейчас сайт падает просто на глазах, что делать я не понимаю?
С Уважением, Галина.
-
Евгений
Ответить28 декабря 2012 в 21:51Галина, что значит падает на глазах? Пишите статьи, это самое важное. Спасибо за поздравления!!!
-
-
Галина
Спасибо, за статьи:robot.txt и внутрення переленковка, они мне помогли.
-
Евгений
Ответить28 декабря 2012 в 21:52Всегда пожалуйста, рад что статьи принесли Вам пользу.
-
-
Юрий.
Ответить3 февраля 2013 в 14:32Много инфо перевернул в интернете, и понял что файл robot.txt который ты даешь людям,один из лучших.
-
Евгений Вергус
Ответить3 февраля 2013 в 14:38Да, он и у меня стоит, работает отлично!
-
-
Ришат
Я делаю сайт по вашему курсу, но вот тему сделал сам на программе Artisteer 4, а файл robot.txt пришлось добавить некоторые строчки.
-
Евгений Вергус
Ответить24 марта 2014 в 8:10В моем курсе нет ничего об Artisteer, я показываю так, как показываю.
-
-
Миша
Ответить5 апреля 2014 в 20:49Евгений, у меня в Яндекс.вебмастер при анализе robot.txt моего сайта выдает синтаксическую ошибку в строке 33:/sitemap.xml.gz
Что это значит?
Индексируется ли мой сайт из-за ошибки или нет?
-
Евгений Вергус
Ответить6 апреля 2014 в 12:37Это ошибка связанная с картой сайта, может ты допустил ошибку при создании карты или вообще не сделал ее. Но сайт и так будет индексироваться.
-
-
Миша
Ответить5 апреля 2014 в 21:21Я проверил ссылки всех статей через поисковик Яндекса, Яндекс в поиске выдает только главную страницу beshenyeprodaji.ru, остальные ссылки нигде не встречаются. Что делать?
-
Евгений Вергус
Ответить6 апреля 2014 в 12:39Торопиться не надо, это главное. Подробности можно посмотреть в вебмастере и уже дальше потом анализировать. Может просто страницы еще не прошли индексацию.
-
-
Миша
Ответить6 апреля 2014 в 19:14Яндекс.вебмастер пишет, что индексирование страниц запрещено в вашем файле robots.txt и нужно убрать запрещающие правила. Как это сделать?
-
Евгений Вергус
Ответить8 апреля 2014 в 12:25Миша, надо сделать так, как сказано в статье и все будет отлично. Не надо ни чего править в файле. У меня такой же файл. Файл закрывает ненужные страницы, но это так и должно быть, это же вордпресс и тут есть много ненужного.
-
-
ОЛЕГ
Здравствуйте Евгений! В вашем видео файл robots.txt содержит много строк а в том который я скачал по вашей ссылке всего штук 12-13.какой файл правильный?
-
Евгений Вергус
Ответить16 июня 2015 в 22:59Тот который скачали, тот и правильный. На данный момент файл изменился и отличается от предыдущего, просто в видео показан старый.
-
Владелец сайта запрещает копировать контент и использовать адреса e-mail, находящиеся на сайте, для нелицензионных массовых рассылок (СПАМа) и занесения их в различные базы данных. Нарушители будут привлекаться к ответственности в соответствии со ст.272 УК РФ «Неправомерный доступ к компьютерной информации».
