Доброго времени суток!

Сегодня мы обдумаем тему "правильная индексация сайта роботами Google, Яндекса и всеми остальными жителями этого чудного зоопарка". Речь пойдет не о способах быстро засунуть сайт в индекс, или о том, как ботов заставить сразу проиндексировать весь сайт. Разговор будет всего лишь о том, как запретить роботам- поисковикам индексировать определенные страницы сайта или, даже, целые папки. А следовательно, уменьшить время на полную индексацию полезного контента сайта. Выполняется это при помощи маленького, но весьма значительного файла под именем robots.txt. Существуют мнения, что сайт, не содержащий robots.txt вообще не индексируется, либо индексируется неправильно и не полностью.

Файл robots.txt, для правильного его прочтения и принятия к сведению роботами поисковиков Google, MSN, Яндекс и т.д., должен находиться строго в корневой директории сайта. То есть если у вас сайт *.ru, то файл должен находиться в папке www или httpdocs, либо в папке, которая звучит одноименно Вашему домену. Именно туда смотрят роботы при начале индексации сайта. Впрочем, не только при первом заходе с целью индексации, а и во все последующие. Нахождение файла в другом месте- неверно и не приводит к его нахождению, и как итог, к его правильной интерпретации роботами. Назван файл должно быть robots (маленькие латинские буквы), расширение txt и никак иначе. Заглавные буквы в имени недопустимы. Создается файл стандартным "Блокнотом" Windows. Пустой файл, в котором нет ни одной команды, равноценен его отсутствию.

Как я уже озвучил ранее, файл запрещает индексацию страниц. Следовательно, то, что не запрещено, то разрешено. Уж простите за тафтологию. Содержимое файла представляет собой список роботов и рекомендации им же. Сначала идет имя робота, на следующей строке- команды для исполнения. Рассмотрим это на примерах.

User-Agent: * Disallow:

Эти две строки предписывают всем ботам( команда User-Agent: *) индексировать все страницы (команда Disallow: ) сайта. Обратите внимание, что перед оператором запрета Disallow всегда указано имя робота, для которого создано это правило. Если Вы задаете правило для всех роботов, то ставите знак "*" вместо имени. Рассмотрим примеры, когда Вы хотите, чтобы роботы не индексировали, например, целую папку "data". Пишем строку с указанием робота, а потом строку с запретом индексации папки.

User-Agent: * Disallow: /data/

Таким же образом создается запрет на индексацию отдельных файлов. При этом остальные файлы в той же папке спокойно при этом индексируются. Пример:

User-Agent: * Disallow: /data/index.php

Очень важно понимать при этом, что для каждой папки нужно делать новую строку. Перечисление папок в одной строке недопустимо. Рассмотрим запрет папок "data" и "image".

Правильный пример запрета индексации:

User-Agent: * Disallow: /data/ Disallow: /image/

Неправильный пример запрета индексации:

User-Agent: * Disallow: /data/ /image/

В некоторых случаях бывает необходимо создать правило на запрет индексации некоторых папок только для одного или нескольким роботам- индексаторам. Делается это следующим образом. Сначала создается правило для отдельного робота, а потом для всех остальных Пример запрета индексации папки "data" для Яндекса и Google, а всем остальным - можно индексировать все содержимое сайта.

User-Agent: Yandex Disallow: /data/ User-Agent: Googlebot Disallow: /data/ User-Agent: * Disallow:

Можно сделать и короче. Просто перечислив сначала отдельными строками роботов, а потом одну строку запрета индексации. Пример:

User-Agent: Yandex User-Agent: Googlebot Disallow: /data/ User-Agent: * Disallow:

Но, на мой взгляд, удобнее прописать правила для каждого робота. Ибо Вы потом при таком подробном списке не запутаетесь, что Вы какому роботу запретили и оперативно можете менять правила для каждого отдельно взятого робота. Плюс будут наглядно видны все правила и структура файла robots.txt, что позволит Вам помнить все правила создания данного файла. А правильный robots.txt- залог правильной и быстрой индексации сайта. Успехов Вам в построении своего robots.txt.

Доброго времени суток.

Так как же заработать в интернете свои 50-1000$ в месяц на своем сайте или блоге и не заработать при этом душевное расстройство и язву желудка? Это вопрос, который будоражит ум любого веб- строителя, который надумал создать в сети свой какой- либо ресурс. Ибо, всего процентов 10% от всего количества сайтов в сети созданы для прославления себя любимого или своего любимого домашнего питомца. Остальные 90%- это ресурсы, созданные с целью заработка в сети. Будь то заработок с помощью Google Adsense, либо партнерка, либо банальная продажа ссылок со своего сайта.

На самом деле, все виды заработка можно разделить на четыре направления.

• Клики по рекламе;

• продажа ссылок;
• посредничество при продаже чего-либо;
• продажа своего собственного товара.

Я не беру за направление заработка всяческие хитрые конторы, которые предлагают "заработать 100$ в месяц", кликая по их рекламным ссылкам или читая их рекламные письма. Не заработаете Вы там ничего, а если и заработаете, то не 100$, а максимум 0,5-2$$ за месяц и слепоту с гастритом до кучи. И этого заработка не хватит на оплату услуг окулиста и хирурга, к которым Вам неизбежно придется обратиться, потому как сидение на одном месте и безостановочное высматривание новых ссылок для клика и чудо-капч для проверки того, что кликаете Вы, а не робот, приведет к тому, что Ваше здоровье будет становиться хуже обратно пропорционально заработку. Выше заработок - хуже здоровье. Во загнул. Сам в шоке :) Тем не менее, это именно так.

Так же я не беру в расчет всякие файлообменники, которые наперебой предлагают девизы в духе: "Только у нас 10-15$$ за 1000 закачек файла! Быстро, удобно, вывод заработанного оперативно и т.д. и т.п.". Вспомню Станиславского. "Не верю!". Почитайте правила такой конторы и найдите пункт о контенте, нарушающем авторские права. А именно такие файлы являются самыми популярными для скачивания. Что за размещение оного полагается? Правильный ответ Вам пришел в голову. Бан обыкновенный, 1 штука и Ваш счет уже никогда не откликнется звоном монет. Впрочем, у файлообменников есть и более экзотические причины для отказа Вам в выплате. Например, плохое соотношение трафика российского и зарубежного, малое количество приобретенных Vip- аккаунтов и т.д. Еще не разубедились в безнадежности заработка на файлах? Тогда контрольный выстрел. Статистика веб-мастеров придумана самими же админами. Ибо им интересно, чтобы "свежие работники" видели заоблачные цифры и усиленно работали тяпками на благо конторы.

Рассмотрим более подробно направления.

Заострю внимание на том, что кликать на рекламе должны не Вы, а посетители Вашего ресурса. Начнете кликать сами - получите бан от конторы, которая предоставляет рекламу. Наиболее известные и популярные : Google Adsense, Бегун, Яндекс Директ. К третьему попасть довольно сложно. Модерация оставляет желать лучшего. Сайт частенько не принимают по непонятным причинам. Google Adsense - наиболее популярен. Смысл работы прост до безумия. Топаете до регистрации, рассказываете о себе и своих ресурсах, получаете после сих священнодействий на мыло ссылку на активацию, переходите, скармливаете логин и пароль, указанный при регистрации и входите в святая святых - свой аккаунт. В аккаунте настраиваете вид рекламных блоков и размещаете на своем сайте в удобном месте. Данные рекламные блоки называют еще контекстными потому, что контора анализирует содержимое страниц и выдает ревалентные рекламные объявления. Все просто и удобно. На мой взгляд данный вид заработка не может являться основным. Скорее всего, это больше похоже на дополнительный доход. Хотя, если Ваш сайт довольно привлекательной тематики для богатых рекламодателей, то клики по рекламе могут достигать 1-3$ за переход и как итог можно посвятить все свои старания нахождению таких жирных кеев и писать статьи на соответствующую тематику.

Ни для кого не является секретом, что положение сайта в серче поисковика зависит от количества ссылок, которые показывают "пальцем" на этот ресурс. В роли "пальцев" - ссылки. Так вот, чем больше ссылок ведут в рай...тьфу, на сайт, тем выше он в серче. Как итог, ссылки с сайтов стали товаром. Рецепт осуществления продаж ссылок прост. Делаем сайт. Ждем, когда его проиндексируют поисковики. После индексации "украшаем" ресурс блоками разных Хитрых контор, которые являются посредниками между покупателями и продавцами ссылок. Получаем деньги и радуемся жизни.

Кто есть адверт? Адверт - это веб- мастер, а именно таковым Вы можете себя назвать, если соорудили презентабельный сайт по определенной тематике, который приводит посетителей своего ресурса/сайта/Lasto blog'а на определенный сайт. Для чего? Например, для покупки фильмов, каких-либо товаров, книг и т.д. и т.п. Адверт получает с этих продаж определенный процент. Что, собственно и является конечной целью адверта. Получить звонкие монеты и радоваться жизни. Партнерок в наше время развелось много и в самых разных нишах. Вам лишь остается выбрать подходящую для содержания Вашего сайта и использовать промо- материалы партнерки. Сссылки, баннеры, флэш- ролики. Почему стоит определится с нишей. Все просто. Глупо ставить ссылки на магазин по продаже таблеток виагры с сайта, посвященному играм. Никто и не посмотрит на такие ссылки. Ибо посетители к Вам приходят с целью найти/купить игру, а Вы ему пытаетесь продать фармакологические препараты. Согласитесь, странно выглядит. Не поверите, но я такое встречал. И при этом адверт удивлялся, почему серферы приходят, а статистика у партнерки нулевая. Давайте будем более разумными.

Не менее увлекательная ниша заработка. Сядьте и подумайте, что лично Вы можете предложить другому человеку. Вы хороший художник, программист, публицист, рерайтер, дружите с обработкой видео? Тут целиком полет фантазии и возможностей. Придумайте тот продукт, который Вы можете создавать качественно и быстро. Продукт, который будет востребован и необходим посетителям сети. Продукт, который удобно продавать при помощи интернета. Все в Ваших руках :)

P.S. : за время написания поста не пострадал ни один спонсор, никто не замучен расспросами. Пару раз потерян коннект с инетом (привет провайдеру), решены два рабочих вопроса. Прожито два часа жизни.

Доброго времени суток!

И снова коснемся важного вопроса, который напрямую касается любого вебмастера. Хостинг. Каким ему быть : платным или бесплатным? Я уже рассказывал о преимуществах и недостатках бесплатного хостинга. Теперь более подробно рассмотрим платный. Чем он лучше бесплатного? Какова оптимальная стоимость в месяц? Каковы критерии того, что можно назвать словосочетанием "Правильный хостинг"?

Забегая вперед скажу, что мой блог на движке под названием Lasto Blog, автором которого является небезызвестный мастер Lasto потребляет в виде расходов на себя всего 60 рублей в месяц. Это с учетом стоимости регистрации и дальнейшего продления домена второго уровня, на котором сей скрипт находится.

О чем я? Ах, да, платный хостинг.

1. Владельцем адреса в сети, по которому находится сайт являетесь Вы. Можете продать свой домен, подарить соседу, обменять на машину, ежели он вдруг кому-то позарез понадобится. Знаю реальную историю про домен wmz.ru, который был зарегистрирован под нужды Великолуского Машиностроительного Завода (wmz же?)и чуть позже данный домен попал в круг интересов компании WebMoney. Объяснять, почему, думаю не стоит. Просто наберите в поисковике "Wmz". Так вот. Было предложено выкупить домен за 500$ сразу. Но, увы, данные переговоры, видимо не довели до продажи. Хотя факт продажи вполне имел место случиться.

2. Ваш контент только Ваш и не попадает к кому-то ещё после нажатия кнопки "опубликовать пост". Не удалит Ваш сайт никто просто так. Чтобы удалить чужой сайт на платном хостинге, надо написать не одну жалобу в абузный отдел хостера и указать довольно весомые факты того, что ресурс нарушил правила. И не превратит "добрый хостер" Ваше творение в своей ресурс. Вы вольны использовать дисковое пространство так, как Вам угодно, а не так, как угодно Вашему хостеру.

3. Саппорт будет вежлив, терпелив и оперативен. Хостер заинтересован в том, чтобы Вы никуда не уходили и являлись его постоянным клиентом. Вы будете заранее предупреждены о возможных перебоях и технических работах. На некоторых хостингах за Вас даже будут бэкапить базу данных и заботливо проставлять дату бэкапа в названии архива.

4. У Вас будут достаточно мягкие ограничения в использовании ресурсов железа сервера, на котором будет размещаться Ваш ресурс. Даже если Вы разок переборщите, то будете предупреждены о том, что желательно не повторять данных экспериментов. Но сразу Вас никто не вырубит, в отличии от бесплатного хостинга. Там сразу обрубают доступ к базе данных на несколько часов. А иногда и сразу обрубают целиком сайт. Чтобы неповадно было.

5. Задумчивость сайта будет крайне редким явлением. Ибо хостер будет заботиться о ресурсах, владельцы которых несут ему деньги. Будет вовремя обновлять ПО и железо своих серверов. На одном IP не будут находиться тысячи сайтов, как это бывает на бесплатном хостинге. В любое время Вы можете изменить объем дискового пространства для сайта или количество баз данных.

Я ещё не убедил Вас в том, что платный хостинг - это удобно и недорого? Нет? Тогда дополню пост простой истиной. "60 рублей в месяц - это смешная сумма, которую нужно потратить в месяц на правильный хостинг + домен."

1. У хостера Вы сами выбираете, какие услуги и в каком объеме приобретать. То есть надо Вам, например, чтобы работал только php и было место под сайт - значит только это Вы и оплачиваете. Не оплачивая при этом некую статистику, базы данных, почтовые аккаунты, поддержку субдоменов и т.д и т.п.

2. Цена за гигабайты для сайта не должна быть заоблачной. Примерно в районе 1$ плюс/минус 10 центов за 3 Гб в месяц.

3. Множество способов оплаты услуг хостера. Для меня, например, это довольно важный момент. В моем провинциальном городке весьма проблематично найти какие-либо карты оплаты. Очень лениво осуществлять почтовые/банковские переводы. Поэтому очень удобно оказалось оплачивать услуги хостера через терминалы оплаты наличными. Деньги поступают мгновенно. Кроме того, существуют приятные бонусы при пополнении на определенные суммы. Будь то дополнительные средства на счет или домен бесплатно.

4. Отличная система биллинга. Средства за услуги списываются с моего счета ежедневно, исключительно по факту использования выбранных услуг, а не разово за весь срок, будь то месяц или, даже, год. То есть, остановив какую-либо из услуг, я уже не буду ее оплачивать.

5. Подключение/отключение услуг в реальном времени. Хостинг должен быть полностью автоматизирован: выбранные вами функции должны включаться и выключаться моментально. Не должен пользователь хостинга ждать чуда от саппорта.

6. Должна быть возможность устанавливать самые популярные веб-приложения — CMS, форумы, блоги — нажатием одной кнопки в контрольной панели. Удобство спорное, потому что не все пользуются самым популярным ПО. Кто-то предпочитает простоту движка, но ручную настройку и ручное наполнение контентом. Дело вкуса. Хотя представленная возможность радует отношением к себе любимому.

7. Отзывчивый саппорт. Ответ на вопрос максимально быстр. Используется внутренняя система тикетов + аська.

8. Хостинг должен иметь максимальную совместимость со многими распространенными CMS, движками форумов и блогов. Это один из важных пунктов сайтостроения.

9. Стабильность и надежность. Многие хостеры не имеют собственных серверов, а берут их в аренду у более крупных провайдеров. Ужасно, правда. Хостер сам в шоке от того, что у него все упало, а Вы ещё его тираните вопросами "Какого... мой домен не отвечает".

10. Наличие Официальных лицензий и сертификатов. И немаловажно - элементарное наличие оффиса с контактными телефонами и адресом.

Если Вам ещё не надоело всё это читать и Вы дошли до сих строк, то у Вас возник логичный вопрос : "У кого это все есть?". Отвечаю : - Правильный Хостер. Пробуйте и не пожалеете. Успехов в сайтостроении.

P.S. : за время написания поста был совершен набег в столовую с целью пообедать. Написано несколько сообщений в аське. Услышана пара анекдотов и затрачено два часа времени.

Доброго времени суток!

Сегодня хочу зацепить такую немаловажную тему для любого обитателя сети как хостинг. Где же размещать свой сайт/просто страницу/WordPress/Lasto blog/форум? На платном или бесплатном хостинге? В чем преимущества и недостатки бесплатного хостинга и платного? Кому будет принадлежать контент в случае размещения на бесплатном хостинге? Что будет принадлежать автору сайта? Давайте разберемся с нагромождением знаков вопросов в конце каждого предложения. Опус длинный и полон фактов, так что советую запастись терпением и кофе или чаем для тонуса мыслей. Автор иногда склонен...Нет, не к суициду методом харакири. Всего лишь к лирическим отступлениям. К этому надо привыкнуть :) За сим, приступим к изучению вопроса поста "Платный или Бесплатный хостинг? Часть первая - бесплатный".

1. Преимущество данного хостинга одно и, в принципе, единственное. Он бесплатный. Вам даже домен выдадут, правда третьего уровня вида "что-то там.название хостера.ru/com/name", но зато опять же- бесплатно. И даже можете найти несколько более-менее толковых, на которых php будет работать и база Sql будет предоставлена (иногда даже не одна).

Хостеров, предоставляющих такую услугу - огромное количество. Наберите в поисковике - "бесплатный хостинг с поддержкой php и Sql", ибо без php и Sql сейчас никак (хотя, есть исключения: движок сайта Nano CMS не требует баз Sql). И нажмите "поиск, или search". Зависит от того, какой поисковик юзаете и где обитаете на бренном шарике по имени Земля. Количество страниц по результатам поиска удивило? Кстати, западные хостеры, предоставляют более интересные технические решения. Даже предоставят панель управления для Вашего бесплатного хостинга. Ежели у вас нет желания читать дальше данный опус и почитать про недостатки, то с восгласами "Ура! Бесплатно! Хочу" можете смело регистрироваться по первым пяти ссылкам. Методом проб и ошибок выясните, какой из них лучше. Остальным же любопытным я расскажу о недостатках бесплатного хостинга.

1. Забудьте о том, что написанные Вами тексты на сайте принадлежат Вам и не будут опубликованы ещё где-то. В корне неверная мысль. Всё, что опубликовано на бесплатном хостинге - может быть размещено ещё где-то и будет иметь больший вес для поисковиков, чем размещенное Вами. Ибо разместят на домене второго уровня, которые искалки ставят выше в серче, чем домены третьего уровня. Не так давно я наткнулся на гневную статью одного блогера, который возмущался от того, что его уникальный контент блога "всплыл" на другом домене и его блог был занесен в раздел "плагиат". Соответственно, посетители с поисковиков после этого события исчезли вовсе. И ведь доказывать что-либо практически бесполезно.

2. Ваш домен, вместе со всем содержимым хостер может преспокойно грохнуть, мотивировав каким-либо пунктом соглашения на предоставление услуг бесплатного хостинга. А перед тем как грохнуть, заботливо скопирует все содержимое в какую-нибудь папочку "Досталось даром". И ничего Вы с этим не сможете поделать. Получите отписку "Содержимое Вашего сайта не удовлетворяет пунктам х.х, y.y и подпункту х.х.y. C уважением, администрация хостера Х.". Бывает круче. Вы создали сайт, раскрутили его, привлекли посетителей, задумались о монетизации сайта. И тут наступает Армагеддон. В один прекрасный день ваши пароли доступа к админке сайта вдруг перестали работать. Или зайдя на свой сайт, Вы, посредством редиректа 301, были перенаправлены и оказались вообще в другом месте всемирной паутины. Сказка? Нет! Проза жизни. Такое я наблюдал своими глазами. И на вопрос "Куда делся мой сайт?" Вы получите отписку, озвученную выше.

3. Скорость работы Вашего ресурса, особенно, если будет использована база Sql будет поражать своей задумчивостью. Обеспечение скорости работы и устойчивости от падений ресурсов на бесплатном хостинге не входит в список приоритетных задач хостера. Чихать ему на то, что Ваш сайт открывается в течении 10-15 секунд. Таких же бедняг, как Вы, не в смысле бедности, а в смысле нахождения на дисковом пространстве халявного сервера - тысячи, или даже десятки тысяч. Какой смысл хостеру улучшать железо сервера ,который не приносит доходов? Правильный ответ возник в голове - "Никакого."

4. Саппорт будет сквозь пальцы смотреть на Ваши беды, возникающие от невозможности запустить какой-либо скрипт или настроить какой-либо движок. Ваше письмо либо проигнорируют, либо напишут ответ, не содержащий вразумительного решиния. На бесплатном хостинге Вас, к примеру, даже не предупредят о том, что завтра в 14.00 Ваш сайт будет недоступен, ибо технари хостера будут выключать данный сервак, чтобы пропылесосить его, или осуществить обновление ПО сервера.

5. Ваши ресурсы на уровне железа будут жестко ограничены. Будь то дисковое пространство или размер базы данных. Если у Вас возникает необходимость запустить ресурсоемкое приложение, то можете забыть про эту возможность на бесплатном хостинге. Ваши ограничения по использованию оперативной памяти и процессора сервера бесплатного хостинга будут прописаны очень жестко, окончательно и бесповоротно. Ибо нефиг. Хотите бесплатно - довольствуйтесь малым.

6. Зачем же хостеру держать у себя такие бесплатные ресурсы и даже, кое-как их поддерживать? Все просто до банальности. Во-первых, подвести Вас к мысли о том, что неплохо бы прикупить платный хостинг и, скорее всего, Вы приобретете данную услугу именно у него. Хостеры по разному поддерживают бесплатный сектор своих услуг. Некоторые это делают довольно на хорошем уровне. И многие пользователи потом переходят в платный сектор того-же хостера. Во-вторых, реклама хостера на страницах Вашего ресурса будет мешать Вам и посетителям, а хостеру приносит некий доход. Скажете, что это смешно? От вашего десятка посетителей хостеру ни горячо ни холодно. Вы забываете о том, таких ресурсов, как Ваш, у хостера тысячи. И ручейки копеек с бесплатных ресурсов образуют вполне приличный ручей из рублей. В-третьих, на Вашем ресурсе 100% будут ссылки на основной сайт хостера. А это ,как не крути, увеличение ссылочный массы (количества ссылок) для сайта хостера. Чем больше ссылок, тем выше сайт хостера в серче поисковиков.

Я Вас разочаровал в бесплатном хостинге? Тогда немного подслащу пилюлю. При всех своих недостатках бесплатный хостинг отлично подходит для одного. Для экспериментов и обкатки своего ресурса. Если Вы не готовы сразу тратиться на домен второго уровня и платный хостинг, а именно это и есть минимальный набор для вебмастера, который решил создать свой ресурс в сети, то можете попробовать запустить его на бесплатном хостинге. Ежели все получится и будет успешно функционировать, то не пожалейте средств для платных услуг. Затраты на правильный хостинг + домен обходятся примерно 60 рублей в месяц. Дорого? Не может быть. Это стоимость литра пива без закуски к нему. Раз в месяц можно и отказаться от такого удовольствия. Зато у Вас будет полноценный ресурс, который будет полностью удовлетворять Ваши нужды.

P.S. : за время написания поста не пострадал ни один зверь, не был замучен ни один хостер. Было потрачено три часа времени и выпито две кружки кофе. Обдумываю я то, что пишу и к тонусу, в виде кофе, привык :)