Компания Яндекс появилась в 1997 году. До тех пор, пока количество сайтов в интернете было невелико, только наличие ключевой фразы приводило страницу на первые места топа. Чем больше ключевое слово встречалось в тексте, тем выше была страница в поиске.
Когда число интернет ресурсов многократно возросло, такие критерии перестали удовлетворят рамкам поиска.
Постепенно появились дополнительные возможности учитывать ссылки на страницы, регион поступления запроса, поведенческие моменты. Количество факторов ранжирования увеличивалось с каждым годом.
Появление методов машинного обучения
Под поисковым алгоритмом понимается математическая формула, определяющая место сайта в поисковой выдаче.
Первую формулу ранжирования представил Матрикснет — метод машинного обучения, способный создавать различные комбинации факторов.
Основной результат введения метода машинного обучения – предварительный отбор страниц, содержащий ключевые слова, наиболее полно совпадающих по сути с запросом. Семантический поиск стал опираться на совпадение поискового запроса и ключей веб-страницы.
Чтобы ограничить наиболее рьяных владельцев сайтов, бросившихся наполнять свои страницы списками ключей, в Яндексе вводится и антиспамный алгоритм, ограничивающий количество вхождений ключевых слов на страницах.
С 2009 года Яндекс вводит в действие и обновляет более двух десятков различных алгоритмов.
Основные алгоритмы, оказавшие особое влияние на формирование топовых перечней страниц
- Игнорирование веса ссылок с сайтов, занимающихся линко-торговлей: Непот фильтр — 2005 год.
- Ранжирование по запросам, 2007 год.
- Алгоритм Родео — 07.08.2007 – запросы по одному слову выдаются главными страницами.
- Ссылки с главных страниц ресурсов перестают учитываться при ранжировании. Большую ценность приобрели ссылки со внутренних страниц.
- Потер веса страниц со ссылками с главных страниц.
- С 2008 года Яндекс начинает вести поиск и по иностранным ресурсам, поэтому в выдаче появляются иноязычные документы.
- С алгоритмом Магадан 2008 выдача появляется и по информационным запросам, а также по аббревиатурам и транслитеризации.
Было еще несколько существенных изменений в коммерческих запросах. Например, к текстам предъявляется требование уникальности, не так важен возраст сайта, как его наполнение, накручивание ТИЦ привело к обнулению показателей. С сентября 2008 года увеличилась выдача внутренних страниц по среднечастотным запросам (Находка). С 2009 года алгоритм Арзамас (Анадырь) дал возможность привязывать страницы к региональной выдаче, чуть позже запросы стали делить на гео-зависимые и гео-независимые.
Появление нейросети
Алгоритмы машинного обучения в Яндексе используются с 2009 года. До 2021 года многие алгоритмы затрагивали либо ссылочную массу, либо текстовый контент. Первым был внедрен алгоритм Снежинск, затем с 2016 года начали появляться Палех, Королев, Yati.
Что касается Гугл, то нейросети там появились в 2013 году, word2vec, а в 2019 был внедрен действующий и сегодня BERT.
Для обучения YATI используют несколько фичей: оценки толокеров, асессоров, обучение на клик. Дополнительно собираются точные запросы и их синонимы, рассматриваются выборочные фрагменты, стримы.
Но это не означает, что традиционная оптимизация текстов не является актуальной. Никто не отменял базовые принципы ранжирования, но первоочередное внимание уделяется соответствию запроса и документа и полному раскрытию темы. Мощная нейросеть с огромным потенциалом (трансформер) быстро справляется с различными языковыми конструкциями, анализируя их.
Последние алгоритмы 2021
Yati отличается от предыдущих Палеха и Королева большим объемом стримов, распознаванием контента страницы. Понимание машинами текста достигло уровня, сравнимого с человеческими способностями. Робот легко может сравнивать короткие тексты до 10 предложений, разбирать большие материалы на отдельные фрагменты.
Оптимизированный под YATI сайт – это ресурс с разнообразным контентом, с большим количеством раскрытых низкочастотных и среднечастотных запросов. Чем полнее раскрыта тема, чем точнее дается ответ пользователю на его запрос, тем лояльнее поисковые системы будут относиться к страницам.
Некоторые сеошники скептически относятся к различного род алгоритмам, считая, что большая половина топовых мест так или иначе отходит к сервисам Яндекса. Однако, если проверить SERP по высокочастотным запросам различных тематик, можно отметить, что 95% трафика приходится на коммерческие сайты, владельцы которых вкладывают много сил в оптимизацию ресурсов под современные алгоритмы.