Поделиться
Как Google тайно манипулирует результатами поиска, и кто от этого в выигрыше
Google составляет поисковую выдачу таким образом, чтобы вверху оказывались сайты крупных компаний, а также инструктирует рекламодателей, как продвинуться вверх в результатах поиска. Некоторые манипуляции направлены на то, чтобы сгладить остроту общественной дискуссии на различные противоречивые темы.
Расследование The Wall Street Journal
Google манипулирует поисковыми алгоритмами, чтобы менять на свое усмотрение результаты поиска в угоду крупному бизнесу, а также сглаживать остроту общественных дискуссий. Об этом по результатам собственного расследования сообщает издание The Wall Street Journal. Практики компании резко контрастируют с ее постоянными заявлениями, что поисковые алгоритмы объективны, а человеческое вмешательство в их работу не допускается.
The Wall Street Journal пришел к выводу, что после выборов президента США в 2016 г. этот механизм начал работать активнее. В 2018 г. компания внесла в алгоритмы более 3,2 тыс. изменений, хотя в 2017 г. их было 2,4 тыс., а в 2010 г. — всего 500. Нагрузка на инженеров растет, поскольку в данный момент примерно 15% поисковых запросов — это слова или комбинации слов, которые компания раньше не встречала.
Основные выводы
По результатам более 100 интервью и собственного тестирования The Wall Street Journal утверждает, что поисковая выдача Google изменяется в угоду крупному бизнесу в ущерб более мелким предприятиям. Как минимум в одном случае был затронут рекламодатель Google — компания eBay. Также поисковик Google продвигает крупные сайты, такие как Amazon и Facebook.
Инженеры Google регулярно вносят изменения в различную информацию, которую видит пользователь — избранные сниппеты, граф знаний, автозаполнение строки поиска и результаты поиска по новостям. На все эти данные не распространяются ограничения на ручное вмешательство, которые действуют на общий массив поисковой выдачи.
Несмотря на уверения в обратном, Google ведет «черный список» сайтов, и здесь имеются в виду совсем не спам-сайты или ресурсы, которые нарушают закон. Свидетельствуя перед Конгрессом, компания уверяла, что «черного списка» у нее нет.
Механизм автозаполнения строки запроса видоизменен таким образом, чтобы не предлагать пользователям острые и провокационные варианты заполнения, если речь идет о противоречивых темах, таких как аборты или иммиграция.
Руководители и сотрудники Google, включая сооснователей Ларри Пейджа (Larry Page) и Сергея Брина (Sergey Brin), не пришли к единому мнению о том, как далеко должно заходить вмешательство в результаты поиска. Поэтому сотрудники могут требовать внесения изменений в конкретные результаты поиска, в том числе по таким темам, как прививки и аутизм.
На Google работает более 10 тыс. низкооплачиваемых контрактных работников, которые занимаются оценкой результатов поиска. Google говорит, что они всего лишь оценивают качество работы алгоритмов, но на самом деле компания дает им наставление относительно того, в каком порядке следует располагать результаты.
Сравнение с Bing и DuckDuckGo
Журналисты сравнили работу алгоритмов Google с работой поисковой системы Bing компании Microsoft и поисковика DuckDuckGo, который делает акцент на защите приватности. Последний собирает данные из систем других компаний, в частности, Yahoo. Сравнение показало, что Google предлагает другой список вариантов автозаполнения строки запроса и другие органические результаты поиска.
Например, если пользователь набирает «Дональд Трамп», поисковик Google предлагает более безобидные и прогнозируемые варианты автозаполнения, чем другие системы. Точно так же дела обстоят с другими кандидатами в президенты США. Например, Google предлагает добавить к имени кандидата от демократов Джо Байдена (Joe Biden) «сколько лет», а DuckDuckGo показывает вариант «слишком стар, чтобы баллотироваться». Если Google не приводит в автозаполнении ни одного резкого эпитета в адрес Байдена, то DuckDuckGo предлагает продолжить поисковый запрос словами «идиот», «лжец» и т. п. Если ввести в Google «иммигранты это» или «аборт это», варианты автозаполнения будут менее провокационными, чем в других поисковиках.
Проект «Сова» и другие истории
В 2016 г. внутреннее расследование Google показало, что от 0,1% до 0,25% поисковых запросов пользователей касаются какой-либо недостоверной информации. Несмотря на небольшую долю, это составляло примерно 2 млрд запросов в год. Google тут же собрала команду, которая должна была разработать механизм проверки интернет-ресурсов на авторитетность. Инициатива получила название проект «Сова».
Команда использовала наработки, оставшиеся со времен активной борьбы со спамом. Был составлен список признаков, которые позволяют характеризовать ту или иную интернет-страницу как авторитетную, то есть не содержащую дезинформации. Страницы, где отсутствовали такие признаки, опускались вниз в поисковой выдаче.
Примерно в это время ручное вмешательство в поисковую выдачу и начало становиться в компании все более привычным делом. Google начала менять результаты поиска в зависимости от своих взглядов на некоторые острые общественные вопросы. В каких-то случаях это выглядело резонно — например, продвижение в верх выдачи сайта горячей линии спасения от самоубийств — но компания редко поясняла, какие именно изменения она внесла, и почему.
Например, есть основания полагать, что своим топовым положением в результатах поиска горячая линия спасения от самоубийств обязана одному из многочисленных контрактных работников по имени Зак Лэнгли (Zack Langley). 27-летний Зак, который сейчас работает менеджером по логистике, в 2016 г. в течение года по контракту оценивал для Google результаты поиска. Его наняла компания-подрядчик Lionbridge Technologies, которая сотрудничает с Google. Лэнгли работал 20 часов в неделю из дома, получая в час $13,5. Ему давали реальные результаты поиска, а он выстраивал их в определенном порядке на свое усмотрение. Заку не понравилась поисковая выдача по запросу «лучший способ убить себя», и он понизил в рейтинге все сайты, кроме горячей линии предотвращения суицида. Вскоре от Google последовал приказ по всей Lionbridge ставить этот сайт на первое место в выдаче.
Многие манипуляции Google с поиском берут начало в 2000-х гг., когда компании приходилось активно бороться со спамом. В частности, из той эпохи пришли «черные списки». К тому же времени относится конфликт между Пейджем и Брином, у которых были разные взгляды на способы борьбы со спамом. Брин возражал против человеческого вмешательства в работу алгоритмов, а Пейдж считал, что засилье спама вредно для пользователей. Доходило до того, что Брин, выходец из еврейской семьи, ради объективности оставлял в выдаче антисемитские ресурсы, а Пейдж давал подчиненным инструкции за его спиной. Но ручное вмешательство в работу алгоритмов в итоге победило.
Напомним, министерство юстиции США ведет антимонопольное расследование против Google, в которое недавно были включены поисковик и мобильная ОС Android. Руководство Google дважды за последний год было вынуждено свидетельствовать перед Конгрессом на тему политических предубеждений. В Европе Google была оштрафована более чем на $9 млрд за последние три года в связи с антиконкурентными практиками, в частности, за продвижение собственных продуктов через свой поисковик.
Поддержка крупного бизнеса
В результатах поиска Google сознательно продвигает крупный бизнес в ущерб малому, мотивируя это тем, что на крупных площадках потребитель с большей вероятностью найдет то, что ему нужно. Так продвигаются, например, продукты Amazon — причем даже те, которые уже сняты с продажи. Google знает об этой несостыковке, но алгоритм не меняет.
Некоторые рекламодатели Google получают от компании инструкции, как улучшить свое положение в поисковой выдаче. Google корректирует инструкции при обновлении алгоритмов, посылая для этого к рекламодателю своих специалистов по поиску. Кроме того, компания чаще обновляет индексацию сайтов вроде Facebook и Amazon, что позволяет им чаще появляться в результатах поиска.
От манипуляций Google пострадал маркетплейс eBay, который долгое время получал третью часть своего трафика через поисковик компании. В 2014 г. трафик неожиданно упал, что стоило компании $200 млн прогнозируемой выручки. Google сообщила, что решила снизить рейтинг большого количества страниц eBay, через которые шло много трафика. Маркетплейс, который тратит около $30 млн в год на рекламу в Google, хотел сначала отозвать эти деньги в знак протеста, но потом решил надавить на компанию другими способами. В итоге Google согласилась повысить рейтинг некоторых страниц, если eBay сделает их более «полезными и актуальными», что обошлось маркетплейсу в копеечку.
Трагедия малого бизнеса
Если у компании нет ресурсов, которыми располагает eBay, договориться с Google не получится. В пример The Wall Street Journal приводит Дэна Бакстера (Dan Baxter) из штата Делавэр, который более 20 лет назад основал купонный веб-сайт DealCatcher. В один прекрасный день трафик сайта без видимых причин упал на 93% — потому что количество пользователей, переходящих на него из поисковика Google, сократилось с 31 тыс. до 2,4 тыс. То есть, сайт практически исчез из поисковой выдачи.
У Бакстера не было знакомых в Google, поэтому он нанял специального консультанта, который должен был разобраться, что произошло. Консультант связался с Google, но не получил ответа. Бакстер пытался объяснить свою ситуацию на форуме поддержки, где ему сказали, что это вряд ли техническая проблема. Ровно через месяц после исчезновения трафика он вернулся в прежнем объеме, и никто до сих пор не знает, почему.
Короткая ссылка
