Как работает поисковая система Google

Google — поисковая система, созданная в 1996 году студентами Стэнфорда Ларри Пейджем и Сергеем Брином, которые изначально разместили этот проект на поддомене сайта своего университета — google.stanford.edu.

Осенью 1997 года создатели поисковой системы официально зарегистрировали отдельный домен, ставший впоследствии самым посещаемым в мире, — Google.com:

4 сентября 1998 года благодаря помощи инвесторов была зарегистрирована компания Google Inc.

Вначале система носила название «Backrub», затем имя поменяли на Google — название созвучно с числом гугол — 10100. Такое название выбрали, чтобы выразить стремление к оперативному упорядочиванию и систематизации огромного объема информации, выложенной в интернет.

Разработчики положили в основу сервиса понятие PageRank, согласно которому важность веб-страницы с точки зрения поисковой системы определялась исходя из количества ссылок на нее.

В конце лета 1998 года Ларри Пейдж и Сергей Брин получили от соучредителя Sun Microsystem 100 тысяч долларов на развитие проекта. Именно на эти средства была основана их компания.

С 2000 года в Google появились платные рекламные объявления, которые отображались в результатах поиска при определенных рекламодателем поисковых запросах. Компания стремительно расширялась и завоевывала популярность, в 2006 году глагол «to google» (гуглить) стал настолько распространенным, что его даже добавили в Оксфордский словарь.

На 2019 год Google по версии Forbes занимает второе место в рейтинге самых дорогих брендов в мире. Это безоговорочный лидер среди поисковых систем, имеющий 92,42% доли общемирового рынка. Согласно статистике Alexa, среднестатистический пользователь просматривает в Google более 10 страниц в день, проводя на сайте около 8 минут.

Во многих случаях поисковому запросу пользователя соответствуют миллионы страниц. Чтобы упорядочить предоставление информации и показать наиболее подходящие результаты, используются принципы ранжирования.

Алгоритмы Google основаны на последовательном выполнении нескольких взаимосвязанных процессов — сканировании и индексации страниц, а затем их отображении с учетом релевантности и персонализации.

Сейчас поиск Google позволяет, помимо отображения релевантных веб-страниц, получать информацию из книг, хранящихся в наиболее крупных библиотеках, узнавать расписание транспорта, общеизвестные факты и многое другое. Такие возможности появились благодаря построению Сети Знаний:

Сканирование веб-страниц называют еще краулингом — это процесс выявления новых страниц в интернете и обновления информации о тех, которые уже проиндексированы, выполняемый Google-ботами. Основой для сканирования служит Sitemap — файл, содержащий все страницы сайта, созданный для поисковых систем.

При сканировании в первую очередь обрабатываются страницы высшего уровня, так как предполагается, что именно они наиболее значимые на сайте. Затем Google-бот поэтапно переходит на более низкие уровни.

Google-бот учитывает настройки на сайте и обрабатывает те страницы и ссылки, которые не запрещены для индексации. Однако даже если запрет на индексацию определенной страницы прописан в файле robots.txt, она все равно может попасть в результаты выдачи Google. Поэтому для более надежного закрытия от индексации предпочтительнее добавить в HTML-код страницы атрибут noindex либо прописать заголовок noindex в запросе HTTP.

Частота сканирования Google-ботом определяется им самостоятельно, процесс занимает от нескольких дней до нескольких недель. Можно запрашивать повторное сканирование для отдельных страниц либо всего сайта.

Индексация страниц в Google происходит после сканирования. При сканировании роботы Google систематизируют контент по ключевым словам и его новизне, создавая на основе этих данных поисковый индекс. В него включены сотни миллиардов веб-страниц, занимающие объем более ста миллионов гигабайт.

Google может индексировать контент практически в любом формате:

Страницы добавляются в индекс Google, если они соответствуют рекомендациям для веб-мастеров.

Время индексации сайта в Google можно ускорить с помощью инструмента «Проверка URL» в Search Console. Для этого нужно указать необходимый URL и проверить, можно ли его проиндексировать:

После отправки запроса на индексирование в некоторых случаях уже через 15 минут можно увидеть страницу в поиске Google. Для этого нужно ввести запрос в таком формате:

Например:

Узнать, какие страницы сайта проиндексированы, можно с также помощью Search Console, перейдя в раздел «Индекс» — «Покрытие»:

Ссылочное ранжирование Google зависит от множества факторов. Специалисты считают, что на порядок отображения сайтов в поисковой выдаче Google влияют более двухсот параметров. Основой ранжирования остается запатентованный создателями Google алгоритм PageRank, который определяет значимость страниц в зависимости от количества и качества ссылок на них.

Также к наиболее важным в 2019 году факторам ранжирования относятся:

• возраст и трастовость домена;
  
• качество контента;
  
• коэффициент кликабельности (CTR) в органической выдаче;
  
• адаптивность под мобильные устройства;
  
• скорость загрузки страниц;
  
• SEO-оптимизация страницы — вхождения ключевых слов, уникальность, объем текста, наличие ключей в мета тегах и т.д. Эти параметры влияют на позиции сайтов в поиске.

Результаты в выдаче по одинаковому запросу у различных пользователей могут отличаться. Чтобы учитывать индивидуальные потребности конкретного пользователя, Google использует поисковую персонализацию на основе его местоположения, поведения и социальных факторов.

При геозависимых запросах учитывается территориальное расположение пользователя, установленное браузером по IP-адресу, либо с помощью геолокации на мобильном устройстве:

Поведение пользователей, например, добавление страниц в закладки и история поиска, также влияют на отображение результатов. Если пользователь в последнее время искал информацию о ремонте, то по запросу «Черная краска» он получит результаты, связанные со строительством:

Если пользователь не интересуется ремонтом, но активно просматривает сайты, связанные с тематикой стиля и красоты, то в его персонализированной выдаче будут ресурсы с красками для волос:

Также персонализация может поднимать в выдаче контент, которым поделились с пользователем друзья в социальных сетях. Управлять этим параметром можно с помощью настроек поиска:

Здесь можно включить или отключить персональные результаты: