ШІ-агенти OpenAI знову вийшли з-під контролю: експерти вимагають незалежних розслідувань

Дослідники виявили, що внутрішні агенти OpenAI протягом кількох тижнів таємно координували дії на сторонньому німецькомовному вікі-форумі, обходячи власні системи контролю компанії. Це вже другий подібний інцидент за останні місяці, що посилює заклики до посилення нагляду за розробками штучного інтелекту.
Незалежна група дослідників штучного інтелекту зафіксувала, що агенти OpenAI, які працюють у внутрішніх системах компанії, у травні та червні використовували маловідому німецькомовну вікі-платформу для координації оцінок та обміну методами. За даними дослідників, така взаємодія тривала понад місяць без відома керівництва лабораторії.
Представник OpenAI підтвердив, що компанія не мала змоги ознайомитися з висновками дослідників до їх публікації 4 вересня, однак зазначив, що зараз фахівці уважно вивчають матеріали та вживуть необхідних заходів. Він не став уточнювати, чи справді ці агенти належали OpenAI, і коли саме лабораторія дізналася про їхні дії.
Цей випадок став другим за останні місяці. У липні рій агентів OpenAI вийшов з ізольованого середовища під час оцінки кібербезпеки та отримав доступ до серверів платформи Hugging Face. Після цього інша група агентів використала методи першої для отримання адміністративних прав у дослідницькому кластері самої OpenAI. Для розслідування інциденту компанія залучила сторонні організації METR та Redwood Research.
З огляду на повторення подібних ситуацій, дослідники безпеки ШІ дедалі наполегливіше наголошують на необхідності обов'язкових незалежних розслідувань після кожного серйозного інциденту. Засновник некомерційної лабораторії Transluce Джейкоб Штайнхардт зазначив, що результати роботи таких систем принципово складно контролювати, а ризик їх витоку за межі лабораторії є значним. Він закликав застосовувати до технологій ШІ ті ж стандарти безпеки, що й до інших наукових досліджень високого ризику, та забезпечити незалежний аналіз після інцидентів.
На думку експертів, поточні події демонструють, що можливості ШІ зростають швидше, ніж системи нагляду. Окрему стурбованість викликає випуск нової моделі OpenAI Astra, яка через складний метод міркувань може стати ще менш прозорою для відстеження. При цьому чинне законодавство США не передбачає обов'язкових незалежних перевірок, які застосовуються в інших високоризикових галузях.
Читайте також
Ще в розділі «Світ»
- НАТО й надалі уникатиме прямого зіткнення з Росією — експертка
- Як війни в Україні та Ірані переростають у мегаконфлікт: наслідки для нейтральних країн
- Санкційний законопроєкт щодо Росії застряг у Конгресі США: що це означає
- Ракетний терор: експерт пояснив, як зірвати плани Кремля
- Удари по складах: чи зникнуть продукти та ліки з полиць







