ПоисковыеСистемы и Каталоги

Поисковые системы. Ярким представителем поисковых систем является международная AltaVista.

Поисковые системы состоят из трех основных частей:

1. Spider (он же Crawler, он же Bot, он же Robot) - программа, которая посещает web-страницы,считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Spider возвращается через определенныепериоды времени (например, каждый месяц) и индекисрует страницу снова.

2. Все, что находит и считывает Spider, попадает в индексы поисковой системы. Индексысистемы представляют собой гигантское вместилище информации,где хранятся копии текстовой составляющей всех посещенных и проиндексированных Spider-ом страниц.

3. Третья часть - это программа, которая в соответствии с запросом пользователя перебирает индексы поисковой системы впоисках информации, интересующей пользователя, и выдает ему на гора в порядке убывания релевантности найденые документы.

Каждая поиковая система имеет своего собственного спайдера, со своими собственными"повадками". Каждая система индексирует страницы своим особым способом и приоритеты при поиске по индексам тоже отличны. Поэтому, произведязапрос по определенным ключевым словам или выражениям, мы будем иметь разные результаты для каждой из поисковых систем.

Каталоги или директории. Типичным представителем каталогов является международная Yahoo!.

Регистрация в каталогах полностью зависит от людей - модераторов данной системы. Каталогобычно имеет тематическую разбивку на подкаталоги, те в свою очередь могут подразделяться на более мелкие поддиректории и т.д. Так как регистрацияпроизводится человеком, а не программой, то поиск по каталогам дает более релевантные результаты, нежели по поисковым системам.

Для регистрации в каталоге необходимо послать заявку с указанием, в какой раздел нужнопоместить страницу, послать краткое описание сайта и список ключевых слов для поиска страницы в каталоге. Через некоторое время заявка будет рассмотренамодератором:

- могут вообще отказать в регистрации;

- страницу могут поместить в другой раздел, который, по мнению модераторов каталога, более подходит для сайта;

- могут быть изменены описание и/или ключевые слова;

- повезет, и регистрация будет произведена именно так, как хотели.

Некоторые каталоги позволяют регистрироваться очень быстро: достаточно лишь заполнитьпредлагаемую on-line-форму и отослать результаты. Система автоматически зарегистрирует ресурс.

Комбинированные системы (гибриды). Некоторые поисковые системы, такие, например, как Exiteили Infoseek имеют при себе и каталог. Соответственно, индексы для самой поисковой системы добываются Spiderом, а каталог пополняется модераторами системы.

Для грамотной раскрутки ресурса, для того чтобы через каталоги и поисковики к ресурсуобращалось как можно больше людей, которым информация, расположенная на ресурсе, требуется, необходимо грамотно зарегистрироваться в этих системах.Очень важно, чтобы при поиске, раскручиваемый ресурс выдавался в самом начале списка найденных, так как в этом случае на него зайдет большее количествопосетителей.

Успешная регистрация в каталогах. Сам процесс регистрации в каталогах достаточно прост, а вот добиться желаемого достаточно трудно.

1. Прежде всего регистрируемый сайт должен быть действительно стоящим, чтобы модератор каталогане отказал в регистрации.

2. Нужно добиться того, чтобы регистрируемая страница была включена именно в тот разделкаталога, который наиболее для нее подходит по вашему мнению, а не по мнению модератора.

3. Пользователь ищет информацию в каталогах двумя способами:

- просто переходя по ирархической системе подкаталогов;

- используя внутреннюю поисковую систему. Эта система производит поиск исключительно по краткому описанию иключевым для сайта словам, которые были отосланы при регистрации (описание и ключевые слова могут быть откорректированы модератором каталога). Надотщательно составить описание и подоберать ключевые слова, для этого нужно поставить себя на место пользователя и подумать, как он будет строить запросдля поиска, какие ключевые слова или выражения будет использовать.

4. Если это возможно, надо зарегистрировать не только заглавную страницу, но и некоторыедругие основные страницы, можно менять ключевые слова и описание для каждой зарегистрированной страницы, в этом случае найти одну из регистрируемых страницсможет большееколичество пользователей.

5. Нужно включить одно или несколько ключевых слов в заголовок вашей страницы.

Yahoo!

Yahoo! по праву считается "королем" каталогов, поэтому стоит рассмотреть егопоподробнее.

Зарегистрироваться в Yahoo!, как правило, означает внести значительную лепту в траффик сайта. Некоторые on-line’новые магазины утверждают, что70% их клиентов пришли к ним именно через Yahoo!. К сожалению, попасть в этот каталог не так просто. Может повезти, и в течение одного-двух дней послеотправки заявки сайт включат в соответствующий раздел каталога, а возможна ситуация, когда регистрацию надо будет посылать десять и более раз, арезультата не будет.

При регистрации в поле "описание сайта" следует поместить не более 15 слов. Yahoo!утверждает, что описание может содержать до 25 слов, но в этом случае есть шанс, что составленное описание укоротят, и есть опасность, что вырежут что-товажное.

Страницы внутри каталога идут в алфавитном порядке, так что если имя страницы"111-Promotion", то она будет недалеко от начала списка в директории. Вышеупомянутое утверждение верно, если пользователь переходит из каталогоа вкаталог сам. В случае, если он пользуется внутренней поисковой системой, страницы будут выдаваться в порядке убывания релевантности, а не в алфавитномпорядке.

Что понимается под успешной индексацией в поисковых системах? Для успешной индексации впоисковых системах необходимо учесть множество факторов и приложить немало усилий.

Под успешной регистрацией в поисковой системе понимается следующее:

1. Все страницы должны быть проиндексированы.

2. Как правило, поисковые системы находят сотни соответствующих запросу страниц, но отображают их на экране порциями по10 - 20. В первую очередь отображаются наиболее релевантные, по мнению системы, страницы. Задача регистрирующего - добиться того, чтобы страницы стояли впервых рядах результатов поиска по ключевым словам, имеющим отношение к вашей странице. Если же страница попадет в список под номером, скажем, 398, товероятность того, что до нее доберется пользователь, крайне низка, а следовательно траффик сайта не увеличиться, то есть реклама через регистрацию впоисковиках в этом случае будет имень улевую отдачу.

3. Каждый пользователь ищет страницы, используя различные ключевые слова и выражения и ихсинонимы. Желательно, чтобы независимо от построения запроса рекламируемая страница попадала в первые ряды результатов поиска, а спектр слов исловосочетаний, по которым можно найти эту страницу, был достаточно широк.

4. При выдаче результатов поиска пользователю система выводит заглавие и краткое описаниестраницы в определенном виде. Необходимо добиться, чтобы выводимая информация выглядела эффектно, адекватно давала представление о странице и привлекалавнимание пользователя.

Каждая поисковая система ищет, индексирует и выдает результаты по своим определенным правилам,причем эти правила с течением времени изменяются. По этой причине невозможно быть в первой десятке во всех поисковых системах, и даже если первоочередностьстраницы реализуется в отдельно взятой поисковой системе, это не значит, что она долго продержиться в первых рядах.

Несмотря на все эти сложности, существуют общие принципы, следуя которым можно добиться того,чтобы страницы занимали хорошие позиции при поиске в основных поисковых системах.

Понятно, что страница не может быть первой во всех системах одновременно. У каждой из системсвой алгоритм расчета релевантности страницы и "угодить" всем не получится, хотя основные правила у систем схожи. Часто единственным решением здесь может быть создание несколькихвходных страниц, каждая из которых будет оптимизирована как под конкретную поисковую систему, так и под конкретное ключевое слово или словосочетание.

Настройка страниц для поисковых систем.

Нужно тщательно подобрать ключевые слова (keywords).

Следует знать, какие слова и/или словосочетания будет использовать пользователь для поискаинформации, релевантной тематике сайта. Нужно использовать не только общие, и поэтому изобилующие в индексах слова, но и специфические. Так, если сайтпосвящен компьютерным играм, помимо широко распространенного словосочетания "компьютерные игры", хорошо будет использовать, например,"пошаговая стратегия", "авиасимуляторы", названия конкретных игр и т.д.

Даже если все страницы посвящены одной и той же теме, изменять ключевые слова и описания вмета-тегах от страницы к странице. В этом случае вероятность того, что хотя бы одна из страниц будет найдена, возрастает.

Каким образом поисковые системы определяют релевантность страниц? Для успешной регистрации следуетзнать основную схему определения релевантности. При запросе по определенному слову или словосочетанию поисковая система находит в своих индексах всеweb-страницы, которые их содержат. Таких страниц может быть десятки тысяч и поэтому следующей задачей системы является отображение их пользователю в порядкеубывания релевантности. При вычислении коэффициента релевантности система учитывает следующее:

1. Количество ключевых слов. То есть сколько раз встречаются указанные ключевые слова вдокументе. Чем их больше, тем более релевантным является документ.

Иногда желание добиться успеха на этом поприще толкает некоторых использовать неприглядные приемы искусственногоувеличения релевантности своей страницы - спамить поисковые системы. В основном, спам заключается в использовании неоправданно большого кол-ваключевых слов на странице. Часто для того, чтобы подобные дополнительные слова не портили посетителям впечатление от страницы, их пишут текстом, совпадающимпо цвету с фоном страницы, или мелким шрифтом, и т.д., такие приемы - это не на реклама, а антиреклама,по существу, ибо пользователь не только никогда не вернется на эту страницу, но у него еще и останется негатив от ее посещения.

Разумеется, администрация поисковиков не одобряет подобные действия. Системы поискапризваны находить и отображать документы в соответствии с тем, что содержит текст, предназначенный для посетителей, а не по "обогащенной смеси"ключевых слов. Западные системы уже имеют ряд автоматических средств слежения за подобным спамом, российские скоро планируют их ввести, поэтому такиеискусственные рейтинги делать не имеет смысла, и не следует злоупотреблять количеством ключевых слов на странице.

2. Месторасположение ключевых слов.

Для поисковой системы одно и то же слово может иметь различный "вес" в зависимостиот того, где оно встречается в HTML -документе.

a) Наибольший вес имеют слова в заголовке страницы (заголовок - это то, что указанно междупарным тегом <title></title>). Поэтому следует поместить ключевые слова в заголовок документа, однако не стоит делать заголовок бессмысленным ислишком длинным, перегружая его ключевыми словами. Не следует также забывать, что помимо поисковых систем заголовок будет изучен пользователями (он будетвиден в результатах поиска, помимо этого, если кто-либо захочет поместить такую страницу в свой bookmark, то там будет фигурировать как раз заголовок).

b) Большой вес и у выделенных в основном тексте ключевых слов (выделение тегами <H1-H6>,<B>, <STRONG>).

с) Поисковые системы придают больший вес словам, расположенным в начале страницы, нежелитем, что расположены в конце. Следует сделать так, чтобы ключевые слова встречались в первом параграфе страниц. Таблицыи java-апплеты отодвигаюттекст, следующий за ними, еще ниже, тем самым, уменьшая его значимость для поисковых систем.

d) В HTML-документах есть целый ряд служебных полей. Некоторые поисковые системы индексируют ихсодержание и учитывают при поиске и определении релевантности. К ним можно отнести мета-теги, поле ALT, комментарии к странице. Желательно также помещатьключевые слова в эти поля.

3. Густота ключевых слов.

При определении степени релевантности страниц заданным ключевым словам большинство поисковыхсистем учитывают не только количество ключевых слов, а еще и отношение количества ключевых слов ко всем остальным словам. Таким образом, страница,содержащая только два слова "зимняя рыбалка", будет идти впереди страницы, содержащей помимо сочетания слов "зимняя рыбалка" еще идругие слова.

После регистрации следует протестировать ключевые слова.

Большинство поисковых систем учитывают мета-теги. На примере, приведенном ниже, можновидеть два мета-тега, которые предназначены специально для поисковых систем: description и keywords.

<HEAD>

<TITLE>Мир стратегических компьютерных игр</TITLE>

<META name="description" content="На наших страницах Вы узнаете все о

стратегических играх. Вашему вниманию - обзоры новых игр, хит-парад стратегий,

советы по прохождению сложных уровней и многое другое...">

<META name="keywords" content="игры, компьютерные игры, стратегии,

стратегические игры, solutions, игрушки, новые, новинки, прохождение, games,

пошаговые, real-time, diablo, war craft, fallout" >

</HEAD>

Тег "keyword". Сюда необходимо помещают ключевые слова. Этот тег позволяет повысить релевантность страницы. Помимо этого можно использоватьслова, которые релевантны тематике сайта, но по каким-либо соображениям не включены в сам текст страницы. Можноиспользовать не только ключевые слова, но и словосочетания. Пользователь обычно производит поиск не по одному слову, а именно по словосочетанию. Так что припрочих равных условиях при запросе "поисковые системы" страница, содержащая в "keywords" сочетание "поисковые системы",будет показана выше, чем страница, содержащая два слова отдельно: "поисковые" и "системы".

Количество разрешенных ключевых слов для этого тега колеблется от системы к системе (длинав среднем составляет 200 символов). Не следует использовать одни и те же слова в этом теге более семи раз (поисковая система их просто проигнорирует).Рекомендуемое количество - три, причем лучше не помещать их одно за другим, а перемежать с другими ключевыми словами. Если используются английскиеслова, то их чаще всего помещают во множественном числе - "cats" вместо "cat". Пользователь,производя поиск по слову "cat", всегда найдет страницу, содержащую слово "cats", а вот наоборот позволит найти далеко не каждая система.

Тег "description". При выдаче результатов поиска поисковые системы помимозаголовка показывают первые 100 - 200 символов текста с найденой страницы в качестве аннотации. Но первые слова на странице могут не подходить в качествеаннотации (например, в начале может стоять текст опции выбора кодировок и т.д.). Используя тег "description", можно указывать любое другоеописание (желательно уложиться в 200 символов), которое будет привлекательно для пользователя. Помимо всего прочего, включая в это описание ключевые слова,можно еще больше увеличить их процентное соотношение (густоту) на странице и, соответственно, улучшить ее релевантность. Этот тег также незаменим на странице,целиком состоящей из графических элементов, на которых просто нечего индексировать (без текста вообще).

Тег "robots". Стоит упомянуть еще об одном важном теге - "robots". Если владелец по каким-либо причинам не желает, чтобыстраница была проиндексирована, помещают туда данный тег: <META name="robots" content="noindex">. К сожалению, не каждыйспайдер понимает данный тег, и более надежным методом является помещение файла robots.txt в корневую директорию сервера со списком страниц, индексации которыхне желают.

Все вышеперечисленное верно для спайдеров, если на страницу наткнутся случайно, втом случае, если на web-сайт будут вести ссылки с других страниц. Но зачастую это происходит не скоро, поэтому следует проиндексировать web-сайт в как можнобольшем количестве поисковых систем самостоятельно. Индексирование можно проводить с помощью специальных бесплатных серверов-регистраторов: Submit It!,Add Me!, WWW Broadcaster, Sputnik ADDER, @Submit! - зарубежные, Система TAU – российская, но все же лучше регистрироваться повторно в ручную на наиболееважных серверах.

Сколько страниц надо регистрировать? В принципе, если с главнойстраницы по ссылкам можно попасть на любую из страниц web-сайта, можно зарегистрировать только главную страницу. Робот поисковой системы рано илипоздно обойдет весь сайт, но следует иметь в виду следующее:

- при регистрации поисковые системы обычно оперативно помещают в индексы указаннуюстраницу и ставят весь остальной сайт в очередь на индексацию. И разница по времени между индексацией указанной страницы и всего остального сайта можетсоставить несколько недель;

- некоторые поисковые системы не индексируют автоматически внутренние страницы сервераглубже четвертого уровня (т.е. когда для попадания на страницу надо совершить четыре перехода);

- организация навигации с помощью frames, imagemaps, java-скриптов может помешать роботу пройти вглубь web-сайта дляиндексации внутренних страниц.

Принимая во внимание вышеперечисленное, желательно регистрировать не только начальную страницусайта, но и ряд внутренних ключевых страниц. Конечно, во всем надо знать меру: не стоит регистрировать отдельно каждую страницу, если у их несколько десятков.

Через некоторое время после регистрации можно проверить, проиндекированы ли страницы сайта всистеме, в каком виде выдается результат и т.д. и если требуется изменить или подкорректировать регистрацию.

Многие поисковые системы позволяют проверять наличие страниц в индексах. Например, в AltaVistaпри следующих запросах получаем:

url:insurance.com - все проиндексированные страницы в этом домене;

url:insurance.com/firms/ - все проиндексированные страницы в этой директории;

url:insurance.com/firms/alco.htm - эту страницу, если она находится в индексах.

Желательно раз в месяц наведываться в стратегически важные поисковые системы и снова проверять,есть ли раскучиваемые страницы в индексах. Иногда случаются странные вещи, и страницы могут исчезнуть из индексов.

По ряду причин страницы могут вообще не попасть в индексы:

- например, AltaVista позволяет индексировать не более чем 600 страниц на один домен. Какследствие, страницы, расположенные в таком, например, обширном домене как geocities.com, имеют большой шанс быть вообще не проиндексированными;

- специализированные поисковые системы, например, Апорт, индексируют страницы только некоторых доменов (.ru,.su, .ua)

- содержание страницы может быть расценено системой как спам поисковой машины, и соответственно она не будет помещена в индекс.