Чому ШІ-компанії можуть витратити ще $100 млрд на дані
Екс-дослідник OpenAI Ендрю Хо прогнозує, що ШІ-лабораторії змушені будуть інвестувати понад $100 млрд у збір даних, адже сучасні моделі не вміють узагальнювати знання. Це ставить під сумнів стратегію простого масштабування.
Колишній співробітник OpenAI Ендрю Хо вважає, що великі мовні моделі мають фундаментальну ваду: вони погано узагальнюють знання. Навіть у програмуванні, де результати можна перевірити автоматично, продуктивність моделей залишається нестабільною. Причина, на його думку, — брак якісних тренувальних даних, і саме це змусить ШІ-компанії витратити понад $100 млрд на додатковий збір інформації.
Хо також скептично оцінює фінансові перспективи провідних лабораторій на кшталт OpenAI чи Anthropic. Вони хронічно збиткові, бо змушені вкладати дедалі більші кошти в нові моделі лише для того, щоб не програти дешевшим конкурентам, таким як Qwen чи Kimi. Це створює гонку, де витрати зростають, а прибутки залишаються невизначеними.
Дослідник Кембриджського університету Адам Хант поділяє цей скептицизм. Він зауважує, що новітні моделі не стають універсальнішими — навпаки, вони дедалі вужче спеціалізуються. Здібності до програмування та складної математики зростають, але якість мови і проста логіка стагнують або навіть погіршуються. Хант пояснює це тим, що навчання з підкріпленням ефективне лише там, де є чіткі сигнали винагороди та повні дані, як-от у програмуванні. В інших сферах таких даних бракує.
Наукова спільнота досі не має однозначної відповіді, чи здатні моделі виходити за межі відтворення тренувальних даних. Хант оцінює впевненість у власній тезі приблизно у 40% і визнає, що прогрес може його спростувати, якщо спеціалізовані моделі вдасться поєднати в загальніший інтелект. Том Захаві з Google DeepMind пропонує структурне пояснення: моделі добре справляються з дедукцією та індукцією, але не здатні до творчої абдукції — вигадування нових причин, для яких немає мовного прецеденту. Як можливий вихід він пропонує керовані світові моделі, що дозволяють проводити контрфактичні експерименти.
Підсумок: майбутнє ШІ залежить не лише від обчислювальних потужностей, а від якості даних і здатності моделей виходити за межі навчання. Інвестиції в $100 млрд можуть стати вимушеним кроком, але чи вирішать вони фундаментальну проблему узагальнення — питання відкрите.
