Світ 3 хв читання
ШІ можна обдурити: 150 правок у коді змушують його «знаходити» життя там, де його немає
Дослідники з'ясували, що нейромережа, навчена розпізнавати цифрові організми, помиляється у 100% випадків після незначних змін у коді. Це створює ризики для пошуку життя на Марсі та в інших сферах.
Мирослава РуденкоРедакторка новин
Штучний інтелект, призначений для пошуку позаземного життя, можна легко обдурити. Дослідження, опубліковане на сервері препринтів arXiv, показало: достатньо близько 150 дрібних правок у програмному коді, щоб нейромережа помилково визнала неживий об'єкт здатним до самовідтворення. Це виявило серйозну вразливість алгоритмів, які планують використовувати в космічних місіях.
Астробіологи шукають універсальні індикатори життя, зокрема здатність систем кодувати інформацію та розмножуватися, як ДНК. Для перевірки ШІ науковці використали програму Avida, яка створює «цифрове життя» — програмний код, що еволюціонує та копіює себе у віртуальному середовищі. Навчивши нейромережу на десятках тисяч таких організмів, дослідники досягли початкової точності розпізнавання 99,97%.
Однак подальший тест виявив проблему. Змінюючи лише окремі команди в коді організму, нездатного до розмноження, вчені повністю збивали ШІ з пантелику. «Незалежно від того, з якої послідовності команд ми починали, нам вдавалося обдурити ШІ у 100 відсотках випадків», — зазначив аспірант кафедри комп'ютерних наук та інженерії MSU Анкіт Гупта. Для хибного висновку вистачало приблизно 150 правок. Оскільки кількість подібних комбінацій у реальному світі величезна, ймовірність натрапити на фальшиву біосигнатуру залишається вкрай високою.
«Штучний інтелект має ахіллесову п'яту. Він може побачити патерн і абсолютно неправильно його класифікувати», — пояснив професор мікробіології, молекулярної генетики, фізики та астрономії Крістоф Адамі.
Виявлена вразливість створює прямі ризики для майбутніх досліджень NASA та інших космічних агентств. Вони планують використовувати ШІ-сенсори на марсоходах і зондах біля супутників Юпітера та Сатурна. Якщо автономний апарат на Марсі зробить хибний висновок про виявлення життя, перевірити ці дані до повернення зразків на Землю буде неможливо. Це може призвести до хибних наукових висновків і марних витрат ресурсів.
Проблема не обмежується астробіологією. Слабкість розпізнавання патернів загрожує й іншим сферам, де ШІ впроваджується без належного контролю — від медичних сканерів і камер спостереження до автопілотів у машинах. У медицині хибнопозитивний результат може спричинити непотрібне лікування, а в системах безпеки — помилкові тривоги.
«Це не означає, що використовувати такі методи в астробіології, медичній діагностиці чи на полі бою марно. Вам потрібен незалежний спосіб перевірки роботи ШІ. У ланцюгу ухвалення рішень обов'язково має залишатися людина», — підсумував Адамі.
Дослідження підкреслює, що попри високу точність на етапі навчання, нейромережі можуть бути надзвичайно вразливими до цілеспрямованих маніпуляцій. Це особливо небезпечно в автономних системах, де відсутній оперативний людський контроль. Науковці закликають до обережності та впровадження додаткових перевірок перед використанням ШІ в критичних місіях.
7
