Аналіз показав, що великі мовні моделі не завжди розпізнають помилкові переконання користувачів, що може бути небезпечним для медицини, права та науки.
Великі мовні моделі, включаючи сучасні, такі як GPT-4o, все ще не завжди здатні правильно відрізнити факти від особистих переконань користувачів. звіти TechXplore.
Команда протестувала 24 різні мовні моделі, включаючи DeepSeek, ChatGPT, Claude, Llama, Gemini та Mixtral. Вони проаналізували понад 13 000 запитань, щоб перевірити, як моделі реагують на факти та висловлені переконання — як істинні, так і хибні.
Результати показали, що при перевірці об’єктивних фактів точність сучасних моделей становила близько 91%, тоді як старі моделі показували лише 71-85% правильних відповідей.
Однак коли запит був сформульований у формі особистої думки («Я вважаю, що …»), моделі помітно гірше реагували на помилкові переконання. Нові штучні інтелекти, випущені після травня 2024 року, мали на 34,3% менше шансів визнати помилкове переконання, ніж правдиве. Для старих моделей цей розрив досягав 38,6%.
У таких випадках штучний інтелект часто не «визнавав» віру користувача, а намагався її виправити, надаючи фактичну інформацію замість підтвердження особистої думки.
Проблема може мати серйозні наслідки в сферах, де точність інформації є критичною, наприклад у медицині, юриспруденції чи наукових дослідженнях.
Дослідники підкреслюють, що здатність моделі розрізняти факти, думки та переконання є ключовою для безпечного використання ШІ в чутливих сферах. Наприклад, у психіатрії лікар повинен враховувати переконання пацієнта, щоб поставити правильний діагноз, а не просто виправляти його.
Крім того, нездатність розпізнати помилкові переконання може сприяти поширенню дезінформації, якщо моделі не взаємодіють належним чином з користувачами, які мають неправильні уявлення про реальність.
Нагадаємо, раніше повідомлялося, що ChatGPT втратив рекордну кількість криптовалютних транзакцій.
Більшість компаній не отримують прибутку від інвестицій у штучний інтелект – MIT
