Reddit закрылся от поисковиков и ИИ-ботов
В течение последних нескольких недель администрация Reddit внесла изменения в файл robot.txt, регулирующий доступ ботов к разделам сайта. Это привело к тому, что контент сообществ и комментарии пользователей стали неправильно отображаться в большинстве поисковых систем.
Согласно сообщению, только система Google корректно отображает результаты поиска последних постов на Reddit. В других поисковых системах, таких как Bing или DuckDuckGo, запросы обрабатываются некорректно, либо не находят нужные страницы, либо отображают их частично. Вероятно, отсутствие проблем с Google связано с ранее достигнутыми договоренностями, согласно которым Google платит Reddit $60 млн в год за использование контента площадки для обучения своих ИИ-алгоритмов.
Представитель Reddit опроверг информацию о том, что сделка с Google повлияла на разрешение разработчиков использовать контент платформы для обучения нейросетей. Он подчеркнул, что это не связано с партнерством с Google. Reddit вел переговоры с несколькими поисковыми системами, но не смог достичь соглашения со всеми, поскольку некоторые не могут или не хотят давать гарантий относительно использования контента Reddit, включая его использование для обучения искусственного интеллекта.
Для такого крупного сайта, как Reddit, блокировка веб-ботов крупных поисковых систем является смелым шагом, но вполне ожидаемым. Администрация сайта активно защищает публикуемый пользователями контент, стремясь открыть новые источники дохода и привлечь инвесторов. Разработчики повысили стоимость использования API Reddit сторонними разработчиками и пригрозили Google блокировкой поисковика, если компания не прекратит бесплатно использовать контент платформы для обучения своих нейросетей.
