Учёные «разнесли» нейросеть Google Gemini в реальном тестировании

Учёные «разнесли» нейросеть Google Gemini в реальном тестировании

14
Исследовательская группа из США провела тестирование больших языковых моделей Google Gemini 1.5 Pro и 1.5 Flash, проверяя их способность точно отвечать на вопросы после прочтения предоставленного текста.

Для этого нейросетям был предложен для изучения текст объемом 520 страниц, после чего они должны были пересказать его своими словами. Результаты оказались неудовлетворительными.

В рамках эксперимента ученые проверили "внимательность" нейросетей, предложив им серию утверждений, на которые нужно было ответить "правда" или "ложь". Точность ответов Gemini 1.5 Pro составила всего 46,7%, а Gemini 1.5 Flash справилась с задачей лишь в 20% случаев. По мнению исследователей, в среднем точность обеих нейросетей не превысила случайного уровня.

Кроме того, ученые из Калифорнийского университета оценили способность Gemini 1.5 Flash обрабатывать визуальную информацию. Для этого нейросети были предоставлены 25 изображений, и после каждого из них задавались вопросы. Однако доля правильных ответов не превысила 50%. Когда количество изображений увеличилось, точность ответов упала до 30%.

Несмотря на то, что в научном сообществе возникли вопросы к методологии исследования, оно поставило под сомнение заявленные возможности генеративного искусственного интеллекта.

Поделиться: