Gemini 3 вводить користувачів в оману: детальний аналіз точності штучного інтелекту Google

Дослідження The New York Times виявило, що алгоритм Gemini 3 генерує неправильну інформацію у 9% випадків, незважаючи на технологічні оновлення.

Згідно з результатами дослідження, точність відповіді Gemini 3 зросла до 91% порівняно з 85% у попередній версії Gemini 2.5. Проте, екстраполюючи ці дані, Google щодня може видавати десятки мільйонів неточних відповідей. Для оцінки точності використовувався бенчмарк SimpleQA від OpenAI, що містить 4000 запитань з перевіреними відповідями.

Дослідження наводить кілька прикладів помилок алгоритму, зокрема, у випадку відомого музиканта Боба Марлі, де система неправильно вказала рік його смерті, та випадок з віолончелістом Йо Йо Ма, де ШІ стверджував, що такого музиканта не існує.

У відповідь на результати дослідження речник Google Нед Адріанс зазначив, що звіт має значні недоліки і не відображає реальних запитів користувачів. Компанія стверджує, що тест SimpleQA містить неточності, а також використовує різні моделі залежно від запиту, зокрема швидшу, але менш точну модель Gemini Flash.

Google підкреслює, що важливо перевіряти інформацію за первинними джерелами, адже штучний інтелект може помилятися. Для налаштування конфіденційності та пошуку користувачі можуть звернутися до меню “Налаштування” у своєму браузері. Більше інформації можна знайти в дослідженні The New York Times.