Горячее обновление:
Serpstat запустил собственный ссылочный индекс с новой архитектурой

Индекс обратных ссылок — это огромная и «живая» база обратных ссылок. Теперь модуль беклинков полностью на React и на нашем собственном индексе. Он стал быстрее, точнее, актуальнее, больше, новее. Весь процесс построения собственного индекса занял у нас примерно год, и наконец мы открываем публичный доступ к его результатам.

Благодаря наработкам наших разработчиков теперь мы индексируем ссылки самостоятельно, регулярно обновляем данные, в базе всегда доступны только свежие данные, она чиста от мусора, а метрика Serpstat Domain Rank показывает более точный результат.

На данный момент у нас есть 952 миллиарда ссылок по 168 миллионам доменов. Каждый день Serpstatbot добавляет 2 миллиарда новых ссылок (короче, скоро будет больше триллиона!) и обходит 2,5 миллиона доменов в день.

В качестве примера результатов анализа данных в нашем индексе, которые можно использовать для решения своих задач, делимся выборкой спамных доменов. Мы их определили по большому количеству внешних ссылок на страницу, спамному контенту, ссылкам на вредоносные сайты и спамному анкор-листу. Можете смело загружать этот список в инструмент отклонения ссылок в Google.

Теперь поговорим о технической стороне, а именно о том, как можно построить собственный ссылочный индекс. Допустим, у вас есть сайт, который можно представить в виде вот такой схемы:

Стрелки на схеме обозначают, что со страницы есть ссылка на другую страницу. Например, страница «Category 1» ссылается на страницы «Page 1», «Page 2» и главную страницу «Main page». Со страницы «Main page» есть ссылка на страницу «Category 1», потому на схеме стрелка между ними двунаправленная.

Такая схема является наглядным визуальным представлением, но хранить ссылочные связи между страницами в виде визуальной схемы нет смысла. Эту же информацию можно представить в более компактном виде, из которого можно будет схему в любой момент восстановить.

Давайте преобразуем схему в таблицу, где в строках и столбцах укажем все страницы нашего сайта, а на пересечении строки и столбца будем ставить 1, если со страницы в строке есть ссылка на страницу в столбце, и 0, если такой ссылки нет.

Получится вот так:

Проверим получившуюся таблицу на соответствие схеме на примере той же страницы Category 1. По таблице эта страница ссылается на «Main page», «Page 1» и «Page 2». На схеме все так. В итоге мы получили бинарную таблицу сопряженности, описывающую структуру нашего сайта. По такой таблице удобно, например, считать Page rank. Пример расчета для нашей схемы тут.

Предположим, что мы хотим хранить структуру нашего сайта на жестком диске. Преимущество такой таблицы перед визуальным представлением в том, что она занимает гораздо меньше места при хранении. Более того, можно не хранить нули, а хранить только единицы. Это даст дополнительный выигрыш по памяти, потому что пустое место память не занимает :)

В результате наша таблица станет такой:

Для одного сайта все пока выглядит хорошо. Но давайте представим, что есть еще 10 других сайтов по 5 страниц каждый. Страницы могут ссылаться как на другие страницы своего сайта, так и на страницы других сайтов. Итого в нашей миниатюрной модели интернета 50 страниц, а значит 50 столбцов и 50 строк в таблице сопряженности.

Ссылок между страницами одного сайта обычно гораздо больше, чем ссылок со страниц одного сайта на страницы другого. Наша таблица сопряженности в одних местах будет плотно заполнена единицами, но большая ее часть будет пустая. Мы могли бы свернуть таблицу по строкам до вида списков страниц, на которую ссылается данная.

На примере нашей таблицы получилось бы так:

Main page→ Category 1, Category 2, Page 2
Category 1→ Main page, Page 1, Page 2
Category 2→ Main page
Page 1→ Main page, Page 2
Page 2→ Main page, Page 1

Мы бы получили так называемый прямой индекс. Но давайте, глядя на это представление, попробуем ответить на волнующий многих SEO-специалистов вопрос: какие страницы ссылаются на страницу Page 2? Нам придется пройти по всем спискам и посмотреть нет ли среди них страницы Page 2. Это легко сделать, когда таких списков пять. Но в интернете миллиарды страниц и проход по такому количеству списков превращается в очень времязатратную задачу.

Чтобы гораздо быстрее получить ответ на так волнующий нас вопрос, мы можем свернуть таблицу сопряженности по столбцам. В результате получим списки страниц, которые ссылаются на страницу:

Main page ←Category 1, Category 2, Page 1, Page 2
Category 1 ←Main page
Category 2 ←Main page
Page 1 ←Category 1, Page 2
Page 2 ←Main page, Category 1, Page 1

Теперь для поиска ответа нам достаточно найти среди всех списков только нужный нам список для страницы Page 2, и не нужно проходить по содержимому каждого списка. Так мы с вами получили обратный индекс. Именно в такой форме Serpstat хранит данные о ссылках на ваш сайт. Это сильно упрощенная модель, но основные принципы в ней верны.

Вернемся снова к миллиардам. Если вы захотите добавить в нашу схему новую страницу и поставить на нее ссылки с уже существующих, то это легко будет сделать. Так же легко вы можете создавать страницы на своих сайтах и связывать их ссылками с другим страницами. Теперь умножьте это действие на количество сайтов в интернете и увидите глобальные масштабы всех изменений.

Чтобы поддерживать индекс в актуальном состоянии в такой динамичной среде, пришлось хорошенько разгонять наших ботов, обходящих интернет и строящих индекс. При обходе сайтов наш бот Serpstatbot/1.0 (advanced backlink tracking bot; abuse@serpstatbot.com) соблюдает правила в robots.txt и другие основные правила. Больше подробностей здесь.

На объемах в миллиарды страниц не может быть легких задач. К сожалению, мы не можем объединить все данные из двух индексов в один. Это сложная и ресурсозатратная задача с многими неизвестными. Потому мы сразу предупредим вас о некоторых ограничениях, которые будут в новом индексе:

Релиз нового индекса — большая страница в истории Serpstat. Мы воодушевлены теми возможностями, которые открывает перед нами новая архитектура и ее техническая реализация.

У нас много планов по доработкам как самого индекса, так и интерфейса. Потому у нас большая просьба — дайте обратную связь по нашему новому индексу. Можем лично пообщаться, если у вас есть какие-либо замечания. Это может повлиять на наши приоритеты в разработке и ускорить выпуск того функционала, который вам нужен при анализе ссылок.

А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.