Учёные «разнесли» нейросеть Google Gemini в реальном тестировании
Для этого нейросетям был предложен для изучения текст объемом 520 страниц, после чего они должны были пересказать его своими словами. Результаты оказались неудовлетворительными.
В рамках эксперимента ученые проверили "внимательность" нейросетей, предложив им серию утверждений, на которые нужно было ответить "правда" или "ложь". Точность ответов Gemini 1.5 Pro составила всего 46,7%, а Gemini 1.5 Flash справилась с задачей лишь в 20% случаев. По мнению исследователей, в среднем точность обеих нейросетей не превысила случайного уровня.
Кроме того, ученые из Калифорнийского университета оценили способность Gemini 1.5 Flash обрабатывать визуальную информацию. Для этого нейросети были предоставлены 25 изображений, и после каждого из них задавались вопросы. Однако доля правильных ответов не превысила 50%. Когда количество изображений увеличилось, точность ответов упала до 30%.
Несмотря на то, что в научном сообществе возникли вопросы к методологии исследования, оно поставило под сомнение заявленные возможности генеративного искусственного интеллекта.
