Как работает ИИ на самом деле: никаких клише, только механика

Нейронные сети, трансформеры, галлюцинации, энергозатраты — вот что происходит на самом деле.

Нейронные сети — не магия

Начнём с того, что такое нейронная сеть на самом деле: математическая функция с миллиардами настраиваемых параметров, которая принимает входные данные (текст, изображения) и выдаёт результат. Метафора «нейронная» условна — эти сети вдохновлены биологическими нейронами, но мало похожи на реальную архитектуру мозга. Объединяет их с мозгом то, что они обучаются на примерах, а не программируются явными правилами.

Обучение — процесс настройки параметров. Сети показывают миллионы примеров и корректируют параметры, чтобы выходные данные точнее соответствовали желаемым. Алгоритм коррекции — обратное распространение ошибки, разработанный Румельхартом, Хинтоном и Уильямсом в 1986 году. Сеть не «понимает» примеры — она находит в них статистические закономерности.

Что такое «большая языковая модель»

Большая языковая модель (LLM) — нейронная сеть, обученная предсказывать следующий токен в последовательности. GPT-4, Claude, LLaMA — все они, по существу, предикторы следующего токена. «Большая» относится к числу параметров: у GPT-3 их было 175 миллиардов. Архитектура трансформера, предложенная Васвани и коллегами из Google в статье «Attention Is All You Need» (2017), лежит в основе почти всех современных LLM. Ключевое нововведение — механизм внимания, позволяющий модели взвешивать связи между любыми двумя позициями в последовательности.

Инференс против обучения

Обучение и инференс — принципиально разные операции. Обучение корректирует параметры модели и требует огромных вычислительных ресурсов: стоимость обучения GPT-4 оценивается в более 100 миллионов долларов. Инференс — запуск обученной модели для генерации ответов — намного дешевле. Когда вы отправляете сообщение ИИ-ассистенту, вы запускаете инференс на модели, параметры которой заморожены с конца обучения. Модель не учится из вашего разговора и не «знает», что вы говорили ей на прошлой неделе.

Галлюцинации: почему ИИ уверенно придумывает

Галлюцинации — когда модель выдаёт гладкий, уверенный, но фактически неверный текст — не баг реализации, а особенность архитектуры. LLM обучена производить правдоподобный текст, а не точный. Когда её спрашивают о том, чего нет в обучающих данных, она генерирует статистически наиболее вероятное продолжение — которое может быть правдоподобно звучащей бессмыслицей. У модели нет внутреннего флага «я этого не знаю». Retrieval-augmented generation (RAG) помогает, но не устраняет галлюцинации полностью.

Энергетические затраты, о которых не говорят

Обучение GPT-3 выбросило, по оценкам, около 552 метрических тонн CO₂-эквивалента. Один запрос к ChatGPT потребляет примерно в 10 раз больше энергии, чем поиск Google. Отчёт Goldman Sachs (2023) оценил, что к 2030 году дата-центры ИИ могут составить 8% энергопотребления США. Это не аргумент против ИИ, но затрата, которая заслуживает честного учёта.

Что ИИ умеет и не умеет

Текущий ИИ хорош в: распознавании паттернов, генерации текста, переводе, написании кода, суммаризации. Он плохо справляется с: надёжным воспроизведением фактов, точной арифметикой, долгосрочным планированием, подлинным каузальным рассуждением и задачами, требующими знания о событиях после даты отсечки обучения.

Часто задаваемые вопросы

В: Действительно ли ИИ понимает язык или это просто сопоставление паттернов?

О: Вопрос подлинно дискуссионный. Технически LLM выполняют очень сложное сопоставление статистических закономерностей в языке. Является ли это «пониманием» — зависит от определения понимания. LLM проходят многие традиционные тесты на понимание, но терпят неудачу способами, предполагающими отсутствие заземлённой модели мира. Честный ответ: мы не вполне понимаем, что происходит внутри этих моделей.

В: Чем «рассуждающие» модели вроде o1 отличаются от стандартных?

О: Рассуждающие модели используют пошаговое мышление, встроенное в обучение, — их обучают производить промежуточные шаги рассуждения, часто с помощью подкрепления на проверяемых результатах. Это значительно улучшает результаты на задачах с проверяемым ответом. Улучшение на открытых рассуждениях менее драматично. Базовая архитектура та же — разница в методологии обучения.

Любопытные умы находят друг друга. Познакомьтесь с теми, кто задаёт те же вопросы, на Good People Map.