Алгоритмы поисковых систем: история развития

Поисковые системы на сегодняшний день для ранжирования результатов поиска учитывают многочисленные факторы. Но за этой сложностью стоит уже почти 3 десятилетия развития поисковых алгоритмов.

В девяностые годы количество пользователей сети было не столь значительным, как сегодня. Тогда сайтов и информации в сети было не так много, люди, в основном, использовали каталоги сайтов, где были представлены и классифицированы по тематике известные сайты. К середине 90х поисковики еще только начали появляться, а поиск в те годы основывался лишь на текстовом содержании сайтов. Но к концу 90х аудитория Интернета стала достаточно быстро увеличиваться, число сайтов — возрастать, поиск по каталогам становился всё более неэффективным, а текстовый поиск, основанный только на содержании сайтов, часто выдавал не очень полезные результаты — вернее результаты полезные были, но найти их в неупорядоченном списке было очень непросто.

Рост аудитории интернета стал вызывать коммерческий интерес — компании стали продвигать товары и услуги, регистрируя свои сайты в популярных каталогах и заполняя свои сайты огромными массивами информации. В это же время появился и поисковый спам — создание текстовых материалов не для людей, а для роботов поисковых систем (так называемые дорвеи), показ роботам и людям разного содержания (так называемый клоакинг). Алгоритмы поиска и так уже не справлялись со своими задачами из‑за роста объёма, а тут еще и целенаправленное вредительство появилось.

Но в 98 году на сцену вышел Google с инновационной технологией PageRank, основанной на том, что интернет — это сеть, документы в сети взаимосвязаны, а эти взаимосвязи весьма ценны тем, что на хорошие сайты много ссылок, а на плохие — мало, что хорошие чаще ссылаются на хороших, а на плохие или не ссылаются вовсе, или ссылаются очень редко. Способность отделять хорошее от плохого и возможность упорядочивать хорошие сайты стали основой для расцвета Google. Собственно с появлением этой технологии в SEO началась новая эра — эра ссылок.

После появления PageRank поисковиками стали учитываться еще и тексты ссылок. Если на сайт часто ссылались с неким текстом, то по соответствующему поисковому запросу сайт находился выше в результатах поиска. В этом процессе учитывалось и качество ссылающегося сайта — ссылка с хорошего сайта (с сайта с высоким PR) давала гораздо более сильный эффект.

Но на каждое действие находится противодействие. Коммерческий интерес к нахождению на высоких позициях в результатах поиска всё возрастал, поэтому появление методов для влияния на результаты поиска при наличии коммерческой заинтересованности было лишь вопросом времени. Ссылками стали меняться, они стали покупаться и продаваться, сайты‑каталоги стали использоваться для получения ссылок, особо заинтересованные в продвижении компании стали разрабатывать фермы сайтов для получения ссылок на собственные или продвигаемые сайты.

В начале «нулевых» годов поисковые системы были еще достаточно просты, достижение высоких позиций по любым запросам были только вопросом времени и бюджета. Пара месяцев активного обмена ссылками, регистрация по базе каталогов и покупка пары десятков хороших ссылок — и всё, сайт надолго «в десятке». Именно в эти годы компания «Веб Креатор» вышла на этот рынок, это были хорошие времена как для оптимизаторов, так и для заказчиков.

В конце «нулевых» поисковики стали «закручивать гайки» — обмен стал детектироваться и перестал учитываться, многие крупные порталы, уличённые в продаже ссылок, были «зафильтрованы» и ссылки с них перестали учитываться, тоже самое произошло с каталогами и большими фермами. Сеошники ответили на это запуском автоматических бирж по купле‑продажи ссылок и переходом к более комплексному подходу. Прошла волна автоматически сгенерированных сайтов и сайтов с ворованных контеном, Яндекс ответил на это АГС‑фильтром, а Google стал еще чаще «запихивать» новые сайты в песочницу.

Поисковые системы активно развивали и продолжают развивать свои алгоритмы, работа которых направлена на снижение внешних воздействий на результаты поиска и на формирование качественных результатов для каждого конкретного пользователя. В настоящий момент уже внедрены или активно тестируются как алгоритмы геотаргетинга, персонификации и учета истории запросов при формировании результатов поиска, отслеживание поведения пользователей на сайтах для определения их «полезности» и многое другое. Сейчас поисковые алгоритмы учитывают более тысячи различных факторов, контролировать которые достаточно сложно, поэтому достичь качественных результатов можно только работая над сайтом комплексно, повышая его качество не только для роботов поисковых систем, но и для конечных пользователей.

SEOинтернет-маркетинг
Статья опубликована в 2014 году

Тематические статьи

Google Sandbox или «песочница» Гугла

Эффект песочницы — это фильтр, понижающий позиции в выдаче, который накладывается на новые сайты или сайты, которые резко изменились.

SEO
интернет-маркетинг
Статья опубликована в 2014 году

Поисковое продвижение сайта (SEO) — цели, задачи и методы достижения результатов

Каждый коммерческий сайт должен выполнять вполне конкретные задачи: привлекать новых клиентов и способствовать росту продаж. На сегодняшний день основной источник новых клиентов из интернета — это поисковые системы.

Большинство пользователей интернета начинают поиск информации об интересующих их товарах или услугах с поискового запроса в Яндексе или Google. Но получение посетителей из поисковых систем — задача непростая. Для того чтобы сайт отвечал требованиям поисковой системы, необходимо провести целый комплекс мероприятий по оптимизации внутренней структуры и содержания сайта, работать над usability, а также обеспечить высокую цитируемость ресурса внешними источниками.

SEO
интернет-маркетинг
Статья опубликована в 2019 году

Алгоритмы поисковых систем: поведенческие факторы

Откуда поисковые системы знают о происходящем на вашем сайте? И зачем им это вообще знать?

SEO
интернет-маркетинг
Статья опубликована в 2014 году

Алгоритмы поисковых систем: внешние ссылки и ранжирование

Внешние ссылки — один из существенных факторов в ранжировании сайтов поисковыми системами. Однако, поисковыми алгоритмами учитываются далеко не любые ссылки и не все ссылки полезны.

SEO
интернет-маркетинг
Статья опубликована в 2014 году

Алгоритмы поисковых систем: Матрикснет Яндекса

Яндекс с 2009 года использует при ранжировании сайтов систему машинного обучения, которая называется Матрикснет. Это позволяет поисковой системе учитывать очень много факторов при ранжировании сайтов.

SEO
машинное обучение
интернет-маркетинг
Статья опубликована в 2014 году

Алгоритмы поисковых систем: семантическая микроразметка

Семантическая микроразметка — это использование в HTML‑верстке дополнительных тегов, классов и иных атрибутов, которые либо дают поисковым системам дополнительную информацию о содержании страницы, либо упрощают классификацию содержания и формируют мета‑данные для содержания. Наиболее популярными на сегодняшний день являются форматы Schema.org, Open Graph и микроформаты.

интернет-маркетинг
SEO
HTML
фронтенд
веб-разработка
Статья опубликована в 2014 году

О гарантиях в сфере услуг, связанных с разработкой и продвижением сайтов

Гарантии в IT‑услугах встречаются не так уж и редко: это и SLA в поддержке, и гарантии трафика или позиций в продвижении, и гарантии качества в разработке. Но тем не менее, понимаются эти гарантии не всегда правильно.

управление проектами
SEO
интернет-маркетинг
Статья опубликована в 2014 году