Search Engine Land: Как Google использует динамическое тестирование для построения Сети знаний
Обозреватель издания Эрик Эндж (Eric Enge) исследовал 250 поисковых запросов, чтобы посмотреть, как будут меняться результаты, возвращаемые Google.
Методология
В рамках этого исследования, Эрик Эндж взял 250 запросов, которые ранее использовались в других тестах Search Engine Land. 125 из них не возвращали окно ответа Сети знаний, 125 – возвращали. Кроме того, из 125 запросов первой группы, журналист выбрал только те, которые возвращали результаты в виде пошаговых инструкций.
Все запросы были протестированы повторно. При этом проверялись следующие моменты:
- Возвращает ли запрос пошаговые инструкции?
- Возвращает ли он окно Сети знаний помимо пошаговой инструкции?
- Если да, возвращает ли он один и тот же интернет-ресурс в качестве источника, как и во время проведения первого тестирования?
Для тех вариантов запросов, которые в первом тестировании возвращали окно Сети знаний, если та же ситуация наблюдалась во время повторного тестирования, Эндж отмечал, был ли новый результат представлен в виде пошаговых инструкций или другого вида окна Сети знаний.
Все поиски были произведены с использованием голосовых запросов на смартфоне. С этой целью Эрик Эндж использовал приложение Google на iPhone 4.
Полученные результаты
На диаграмме ниже показано, как изменились результаты для 125 протестированных запросов, которые первоначально возвращали окна Сети знаний в виде пошаговых инструкций:
Эрик Эндж выявил, что 75% тестируемых запросов всё ещё показывали результаты в виде пошаговых инструкций (step by step results). Остальные изменились. Кроме того, сайты, которые раньше отвечали на запросы, также изменились:
- Из 94 запросов, которые всё ещё возвращали пошаговые инструкции в результатах поиска, 15 (16%) теперь показывали результаты из других интернет-ресурсов.
- Из 16 запросов, которые в повторном тестировании возвращали панель Сети знаний, 10 (62,5%) показывали результаты другого сайта.
Для 125 протестированных запросов, которые первоначально не возвращали окно Сети знаний в результатах, теперь:
По всем 250 протестированным запросам были выявлены следующие изменения:
- Количество запросов, которые возвращали пошаговые инструкции в результатах, уменьшилось на 20 единиц.
- Количество запросов, которые возвращали окна Сети знаний в результатах, увеличилось на 3 единицы (23 новых окна без пошаговых инструкций).
В рамках этого исследования, изображения были учтены как результаты без окна Сети знаний.
Итоги
На основании полученных данных, Эрик Эндж предположил, что Google в динамическом режиме тестирует разные источники и конкретные способы ответа на вопросы пользователей и смотрит, как они работают, опираясь на статистику пользовательских данных.
Если ему нравятся результаты, он их закрепляет; если не нравятся – пробует новый возможный ответ. Когда у него нет удовлетворительного ответа, он возвращается к поисковым результатам.
Алгоритмы Google не могут определить идеальный ответ, поэтому он подсчитывает, что является наиболее подходящим из возможных ответов. Затем он тестирует его в поиске.
Если наиболее подходящий из возможных вариантов не работает, Google может попробовать следующий наиболее подходящий возможный вариант, и так далее. Он также может проводить параллельное тестирование, показывая разные ответы из разных источников данных, чтобы ускорить этот процесс.
По мнению Эрика Энджа, Google верит в концепцию окон Сети знаний всех видов, и делает всё, чтобы предоставить пользователям хорошие ответы на их вопросы.