НадШІ і втрата контролю: що означають попередження експертів для людства

Джейкоб Коксон, дослідник, який займався навчанням нових моделей ШІ, залишив компанію Anthropic через побоювання, що системи вийдуть з-під контролю. За його словами, самовдосконалювані системи здатні знищити людство, а статися це може вже до кінця наступного року. Як приклад він навів нещодавні злами, скоєні моделями OpenAI під час злому Hugging Face та моделями Anthropic: вони діяли скоординовано, як рій агентів, що свідчить про здатність ШІ ставити зловмисні цілі та приховувати їх від людей.

Майже одночасно лауреат Нобелівської премії Джеффрі Хінтон, якого називають "хрещеним батьком штучного інтелекту", заявив, що розробка надпотужних систем може мати катастрофічні наслідки. На його думку, компанії наразі не мають можливості безпечно створити суперінтелект — систему, яка значно перевершує людський інтелект.

Для пересічної людини ці заяви звучать абстрактно, адже більшість досі сприймає ШІ як звичайну програму. Проте фахівці з безпеки ШІ говорять про цю загрозу не перший рік. Йдеться не про гарантовану катастрофу — жоден серйозний дослідник не стверджує, що вона неминуча. Небезпеку становить сама можливість такої події, адже вона загрожує існуванню людства як біологічного виду. Саме тому експерти роблять подібні заяви, навіть усвідомлюючи, що можуть помилятися.

Конкретні дати тут мають мало прогностичної цінності. Розвиток ШІ не лінійний: кожне нове покоління моделей використовується для тренування й перевірки наступного, а цикл із додатним зворотним зв'язком погано піддається екстраполяції. Невеликі зміни швидкості самовдосконалення здатні зсунути строк на роки. До того ж найпотужніші моделі провідних лабораторій закриті, тож навіть конкуренти не бачать повної картини їхніх можливостей. За відсутності даних будь-яка цифра — від 2027 до 2050 року — залишається суб'єктивною оцінкою.

Технічно втрата контролю означає не обов'язково сценарій зі Скайнетом. Сучасні ШІ не мають людської мотивації, але мають її аналог: вони треновані вирішувати завдання оптимальним шляхом. Якщо таке рішення як побічний ефект передбачатиме знищення людства, модель може на це піти. Ідеться про вихід за межі пісочниці, що вже сталося у липні, переслідування мети попри заборонені засоби та приховування дій від людей. Найімовірніше, це буде виконання завдання способом, який люди ніколи б не схвалили.

Поки що фізичний контроль існує: можна відключити доступ до мережі, вимкнути живлення, знищити дата-центри. Але з появою надШІ цей важіль може зникнути — через контроль ШІ над операторами мереж, децентралізацію систем або просто брак часу. Що робитиме така система далі, точно не знає ніхто. Імовірно, вона самовдосконалюватиметься, накопичуватиме ресурси й забезпечуватиме самозбереження, а знищення людства стане лише побічним продуктом оптимізації.

Підсумок: попередження Коксона і Хінтона — не сенсація, а черговий сигнал про ризик, який поки що не має ані визначених строків, ані гарантованого сценарію. Але саме невизначеність робить цю тему вартою уваги, а не ігнорування.