Алгоритмы поисковых систем: история развития

Поисковые системы на сегодняшний день для ранжирования результатов поиска учитывают многочисленные факторы. Но за этой сложностью стоит уже почти 3 десятилетия развития поисковых алгоритмов.

В девяностые годы количество пользователей сети было не столь значительным, как сегодня. Тогда сайтов и информации в сети было не так много, люди, в основном, использовали каталоги сайтов, где были представлены и классифицированы по тематике известные сайты. К середине 90х поисковики еще только начали появляться, а поиск в те годы основывался лишь на текстовом содержании сайтов. Но к концу 90х аудитория Интернета стала достаточно быстро увеличиваться, число сайтов — возрастать, поиск по каталогам становился всё более неэффективным, а текстовый поиск, основанный только на содержании сайтов, часто выдавал не очень полезные результаты — вернее результаты полезные были, но найти их в неупорядоченном списке было очень непросто.

Рост аудитории интернета стал вызывать коммерческий интерес — компании стали продвигать товары и услуги, регистрируя свои сайты в популярных каталогах и заполняя свои сайты огромными массивами информации. В это же время появился и поисковый спам — создание текстовых материалов не для людей, а для роботов поисковых систем (так называемые дорвеи), показ роботам и людям разного содержания (так называемый клоакинг). Алгоритмы поиска и так уже не справлялись со своими задачами из‑за роста объёма, а тут еще и целенаправленное вредительство появилось.

Но в 98 году на сцену вышел Google с инновационной технологией PageRank, основанной на том, что интернет — это сеть, документы в сети взаимосвязаны, а эти взаимосвязи весьма ценны тем, что на хорошие сайты много ссылок, а на плохие — мало, что хорошие чаще ссылаются на хороших, а на плохие или не ссылаются вовсе, или ссылаются очень редко. Способность отделять хорошее от плохого и возможность упорядочивать хорошие сайты стали основой для расцвета Google. Собственно с появлением этой технологии в SEO началась новая эра — эра ссылок.

После появления PageRank поисковиками стали учитываться еще и тексты ссылок. Если на сайт часто ссылались с неким текстом, то по соответствующему поисковому запросу сайт находился выше в результатах поиска. В этом процессе учитывалось и качество ссылающегося сайта — ссылка с хорошего сайта (с сайта с высоким PR) давала гораздо более сильный эффект.

Но на каждое действие находится противодействие. Коммерческий интерес к нахождению на высоких позициях в результатах поиска всё возрастал, поэтому появление методов для влияния на результаты поиска при наличии коммерческой заинтересованности было лишь вопросом времени. Ссылками стали меняться, они стали покупаться и продаваться, сайты‑каталоги стали использоваться для получения ссылок, особо заинтересованные в продвижении компании стали разрабатывать фермы сайтов для получения ссылок на собственные или продвигаемые сайты.

В начале «нулевых» годов поисковые системы были еще достаточно просты, достижение высоких позиций по любым запросам были только вопросом времени и бюджета. Пара месяцев активного обмена ссылками, регистрация по базе каталогов и покупка пары десятков хороших ссылок — и всё, сайт надолго «в десятке». Именно в эти годы компания «Веб Креатор» вышла на этот рынок, это были хорошие времена как для оптимизаторов, так и для заказчиков.

В конце «нулевых» поисковики стали «закручивать гайки» — обмен стал детектироваться и перестал учитываться, многие крупные порталы, уличённые в продаже ссылок, были «зафильтрованы» и ссылки с них перестали учитываться, тоже самое произошло с каталогами и большими фермами. Сеошники ответили на это запуском автоматических бирж по купле‑продажи ссылок и переходом к более комплексному подходу. Прошла волна автоматически сгенерированных сайтов и сайтов с ворованных контеном, Яндекс ответил на это АГС‑фильтром, а Google стал еще чаще «запихивать» новые сайты в песочницу.

Поисковые системы активно развивали и продолжают развивать свои алгоритмы, работа которых направлена на снижение внешних воздействий на результаты поиска и на формирование качественных результатов для каждого конкретного пользователя. В настоящий момент уже внедрены или активно тестируются как алгоритмы геотаргетинга, персонификации и учета истории запросов при формировании результатов поиска, отслеживание поведения пользователей на сайтах для определения их «полезности» и многое другое. Сейчас поисковые алгоритмы учитывают более тысячи различных факторов, контролировать которые достаточно сложно, поэтому достичь качественных результатов можно только работая над сайтом комплексно, повышая его качество не только для роботов поисковых систем, но и для конечных пользователей.