Поисковые системы - что это такое?

Как работает ПС?

Пользователь вводит в поисковую строку интересующий его запрос. ПС анализирует свою базу и выдает ему на нескольких страницах сайты, которые максимально точно отвечают на поставленный вопрос (релевантные). Самые точные результаты, максимально полно отвечающие на поисковый запрос (далее ПЗ), будут находиться на первых строках (1-й странице) поисковой выдачи.

Из чего состоит поисковая система

• Краулеры (пауки, роботы, боты, агенты) —  программы, которые обходят интернет-пространство и сканируют веб-страницы по найденным ссылкам. Роботов у каждой поисковой системы несколько. Например, есть агенты, работающие с сайтами, картинками, видео и быстроробот, который моментально собирает свежую информацию для индексации. У каждого из краулеров есть список URL, который увеличивается, если бот находит новый URL. Паук проверяет тип, кодировку и язык документа, затем отправляет информацию в индекс.
• Индекс (база) — это архив копий веб-страниц в упорядоченном виде. Он состоит из URL скачанных документов, даты их посещения роботом, ответа сервера, html-кода страниц.
• Поисковый алгоритм (механизм, который позволяет формировать выдачу). По-другому он называется поисковым сервером — это метод обработки запроса пользователя и выдачи по нему релевантных результатов. Когда в ПС поступает популярный поисковый запрос (далее ПЗ) — результаты поиска могут забираться из кэша. Если же пользователь водит уникальный ПЗ — алгоритм формирует индивидуальный ответ на него в виде поисковой выдачи (далее ПВ).

Мы в упрощенном виде рассмотрели состав и работу ПС. На самом деле они сложнее, так как включают в себя методы борьбы с накрутками, спамом, выдачу по колдунщикам и много других полезных механизмов и сервисов.

Немного истории или как все начиналось

На заре развития интернета доступ к поиску имели только ученые. Первым методом для его реализации было создание специализированных каталогов. Первым и самым популярным стал Yahoo.com (1994 год). Количество сайтов в нем увеличивалось постепенно, но он не охватывало весь объем интернет-ресурсов.Еще один известный каталог — DMOZ, который прекратил свое существование в 2017 году. В настоящее время поиск по каталогам уже не актуален, хотя Yahoo еще существует.

Первой ПС, которая работала во всем интернете, в 1994 году была WebCrawler, через год появились AltaVista и Lycos.

А в 1997 году Сергей Брин и Ларри Пейдж придумали ПС Google для работы с информацией в Стэндфордском университете. В этом же году официально была анонсирована российская ПС Yandex (по факту она появилась раньше, чем Google).

Популярные поисковые системы в настоящее время

Яндекс — российская ПС. Разработчики постоянно обновляют строгие алгоритмы формирования поисковой выдачи. ПС предлагает различные разные сервисы помимо поиска информации: систему контекстной рекламы, заказа такси, доставки, услуги, почту и многое другое).

Google — международная ПС, которая официально работает с 1998 года. Также предоставляет дополнительные сервисы, они немного меньше подходят под российские реалии, но также пользуются огромной популярностью.

Mail.ru — помимо поиска работает новостной портал, электронная почта, сайт знакомств и еще более 20 проектов.

Rambler — на заре интернета был одним из лидеров среди поисковиков, но теперь использует выдачу Яндекса. Проект в настоящее время больше похож на новостную базу.

Bing — выпущен в 2009 году, первый конкурент Google, но вряд ли он обойдет этого мирового гиганта.

Yahoo — наблюдается постоянное снижение числа запросов к этой ПС, но она пользуется популярностью в США.

Nigma — экспериментальный проект, в котором важное значение отдано искусственному интеллекту. Использует собственный индекс и базы самых популярных ПС.

Ask.com — полулегальный сервис, изначально выполнял функции ответов на все вопросы, сейчас не развивается.

ПС — доли российского рынка и их популярность в 2021 году

• Google — 57 % (за счет поиска на смартфонах).
• Yandex — 41% (предпочитают пользователи ПК).
• Mail, Bing и другие — 2%

Как можно заметить, Яндекс и Google — это наиболее популярные ПС в России, и именно под их механизмы продвигаются веб-проекты.

Что такое SEO-продвижение

По статистике пользователи просматривают поисковую выдачу не глубже 3-й страницы, а большинство останавливается на первой (ТОП-10, первые 10 позиций). Цель SEO-продвижения — оптимизировать сайт так, чтобы он занимал топовые позиции на первой странице ПС в ПВ по ключевым запросам.

Условия попадания в ПВ

Зона видимости поисковика или органическая выдача — для многих сайтов цель недостижимая. Если вы не видите свой веб-ресурс в ТОП-10, это не значит, что его нет в индексе. Сайт может выдаваться, к примеру, на 200-й странице, потому что ПС считает его не совсем релевантным запросу пользователя. 

SEO-продвижение — это тема для отдельной статьи, а в рамках этого материала мы рассмотрим показатели, по которым поисковик будет ранжировать ваш сайт выше, чем проекты конкурентов.

Факторы ранжирования

• Страницы сайта находятся в индексе ПС.
• На веб-ресурс не наложены штрафные санкции (фильтры).
• Каждая страница соответствует одному или нескольким ПЗ (оптимизирована под них).
• Нет переспама.
• Контент грамотный, интересный для читателя и структурированный.
• Правильно прописаны мета-теги.
• Посетители проводят на сайте достаточное количество времени — хорошие поведенческие факторы.
• На веб-ресурс ссылаются другие авторитетные веб-ресурсы.

Если сайт хорошо позиционируется в органической выдаче ПС Яндекс, это не дает гарантию хороших позиций в Google. Алгоритмы у поисковиков имеют похожие механизмы, но у каждого — свои особенности.

Таблица 1. Различия алгоритмов Яндекс и Google

Региональность

Это важный показатель, по которому различается ПВ в двух поисковиках. Если вы в Яндексе введете гео-зависимый поисковый запрос, то получите выдачу сайтов исключительно вашего региона, слегка разбавленную другими веб-ресурсами. При вводе такого же запроса в Google поисковая выдача будет состоять из сайтов разных регионов с добавлением нескольких веб-ресурсов из вашего края.

Колдунщики

Это механизмы, улучшающие поисковую выдачу, когда к ней подмешиваются данные из видео-сервисов, карт, каталогов и т.д.

Алгоритм "Однорукий бандит" в Яндексе

Название он получил в честь игрового автомата. который случайным образом перемешивал несколько картинок.

ПС изучает поведение пользователей и корректирует ПВ периодически по принципу уместности. Поэтому ее постоянно "трясет", и сайты меняются местами.

Может ли робот работать без помощи человека или Кто такие асессоры

Раньше вывести сайт в ТОП-10 было очень просто: SEO-оптимизаторы добавляли релевантные теги и размещали наполненный ключевыми словами текст на странице. Сейчас для ранжирования по поисковой фразе ПС оценивают сотни различных показателей.

При этом у каждого поисковика есть асессоры — люди, которые регулярно просматривают ПВ. Раньше они занимались оценкой релевантности выдачи, сейчас это модераторы, тестировщики, узкопрофильные оценщики. И количество сервисов на основе машинного обучения увеличилось.

Задача асессоров — выбирать сайты, которые наиболее точно отвечают на ПЗ. Каждый человек снабжается чек-листом, по которому он оценивает страницу согласно нескольким критериям. У Яндекс и Google эти чек-листы разные.

Асессоры помогают делать ПВ чистой и полезной, но не влияют на нее напрямую. На основе заполненных чек-листов поисковые алгоритмы самостоятельно принимают решение соответствии сайта поисковой фразе. В Яндексе оценки асессоров больше влияют на ПВ, чем в Google.

Фильтры ПС

Раньше фильтр считался "болезнью" сайта, которая требовала быстрого лечения. Массовая покупка ссылок влекла за собой наложение фильтра "Пингвин". И лекарство было одно — удаление приобретенных ссылок.

В настоящее время фильтры становятся похожими на хронические болезни. Они мешают продвижению ресурса, отравляют его. Симптомы "заболеваний стертые, и быстро выявить фильтр довольно сложно. Для лечения "пациента" уже нет волшебных таблеток в виде снятия ссылок. Приходится полностью пересматривать маркетинговую стратегию. Поэтому задача SEO-оптимизатора — работа над продвижением сайта, которая не повлечет за собой наложения фильтров, потому что избавляться от них довольно сложно.

Какие бывают фильтры

• Ручные (влияние асессоров).
• Алгоритмические (нарушения выявляет поисковый механизм).
• Пессимизация (понижение позиций) за манипуляцию выдачей и несоответствие требованиям ПС.

Фильтры могут накладываться за текстовый спам, покупку ссылок, накрутку поведенческих факторов, создание веб-ресурсов не для людей, черное SEO, техническое несоответствие (нет мобильной версии или она некачественная, медленная скорость загрузки, отсутствие полезного контента, проблемы с функционалом, юзабилити, дублирующий контент).

Несколько известных фильтров ПС

• Некачественный контент: Панда (Google), Баден-Баден (Яндекс).
• Покупка ссылок: Пингвин (Google), Минусинск (Яндекс).
• Некачественные сайты: Panda (Google), АГС (Яндекс).
• Манипуляции с поведенческими факторами: фильтр в Яндекс.
• Новые сайты плохо индексируются и долго не появляются в ТОПе: Песочница (Google).
• - 5, - 30, - 950 - внезапное падение сайта на указанное число позиций (Google). Веб-ресурсы наказываются за следующие нарушения: некачественные сайты, ссылочный спам на внешних ресурсах, много редиректов.
• Дополнительные результаты — сайты ранжируются не в основной выдаче, а в дополнительной (Google).
• Социтирование — сомнительные ссылки или страницы появляются в большом количестве за короткий промежуток времени (Google).
• Too many links/ pages — чрезмерно много ссылок или страниц (Google).
• Битые ссылки — если на сайте много ссылок ведут на несуществующие страницы (обе ПС).
• Аффилиаты — одинаковые или очень похожие сайты "склеиваются", и в выдаче остается только один из них (Яндекс)
• Непот-фильтр — борется с продажей/ покупкой ссылок (Яндекс). Вес с них не передается.
• Adult-контент — полностью выключается трафик по запросам, не связанным со взрослой тематикой на сайтах с adult-контентом (Яндекс).

Основные фильтры поисковых систем — это не отдельные программные модули, а части одного поискового алгоритма. Они работают для того, чтобы улучшать ПВ.

Заключение

Яндекс и Google — две лидирующие поисковые системы, которые постоянно совершенствуют механизмы поиска и изобретают новые удобные сервисы. А вот у альтернативных ПС невеселые судьбы. Одни быстро умирают, другие остаются на долгие годы, но им доверяют менее 1% пользователей. Поэтому продвигать сайты в них нецелесообразно.

Специалисты компании Webclick постоянно изучают алгоритмы поисковых систем, используют разрешенные методы продвижения для того, чтобы сайты наших клиентов уверенно занимали лидирующие позиции в поисковой выдаче.