Как искусственный интеллект едва не привёл США к столкновению с Китаем

В истории больших войн есть один парадокс. Катастрофические решения далеко не всегда начинаются с грандиозного заговора, сознательной провокации или тщательно продуманного плана. Иногда в самом начале находится нечто гораздо менее впечатляющее: неверно прочитанная радиограмма, плохо истолкованный сигнал радара, сомнительный агент, которому слишком сильно захотели поверить, или доклад, выглядящий убедительнее, чем содержащаяся в нём информация...

В XXI в. к этому списку, похоже, придётся добавить ещё один пункт — ответ искусственного интеллекта. В сентябре 2026 г. CNN рассказала историю, которая при всей её почти фантастической фабуле относится уже не к прогнозам о будущем, а — к совершенно практической работе современной армии. По сведениям нескольких источников телеканала, американские военные весной получили разведывательный доклад о китайском судне, проходившем через Ближний Восток. В документе утверждалось, что на борту находятся компоненты, связанные с программой создания ядерного оружия. Информация была воспринята достаточно серьёзно, дабы началась подготовка к перехвату судна. Военные самолёты уже находились в воздухе, вооружённые военнослужащие готовились подняться на борт. И только на последней стадии более опытные специалисты вновь посмотрели на исходные данные. Выяснилось, что тревожный вывод был ошибочным…
Причём ошибка появилась не где-нибудь на периферии огромной бюрократической машины. По данным CNN, аналитик одного из подразделений специальных операций использовал чат-бот и другие инструменты искусственного интеллекта для обработки сведений о судовом манифесте, сочетая данные из открытых источников с закрытой разведывательной информацией. Затем ИИ помог оформить результат в привычный вид разведывательного документа. В результате на выходе получился текст, визуально и стилистически напоминавший обычный профессиональный доклад, которому военные привыкли доверять. Именно здесь начинается самая интересная часть этой истории.

Документ выглядел умнее, чем был

Мы привыкли говорить об искусственном интеллекте как о технологии получения ответов. Но в подобных системах существует другая, гораздо менее очевидная функция: они производят убедительность. Человек может ошибиться неуверенно. Он пишет: «возможно», «предположительно», «требует проверки». Машина способна ту же ошибку оформить стройно, грамотно, структурированно — с уверенной терминологией и вполне профессиональным внешним видом. Для разведки это особенно опасно. Разведывательный доклад — не научная статья. Он существует внутри цепочки принятия решений. Один человек собирает сведения, другой их анализирует, третий сопоставляет с другими источниками, четвёртый решает, достаточно ли информации для практических действий. Чем выше проходит документ, тем меньше у каждого следующего участника времени на повторную проверку всей исходной фактуры. Возникает то, что можно назвать эффектом институционального доверия.
Ежели документ уже прошёл через систему и выглядит как разведывательный продукт, следующий человек невольно предполагает, что предыдущие ступени проверки состоялись.
В случае, описанном CNN, по словам журналистов, эта логика почти дошла до физического контакта американских военных с китайским судном. Один из источников телеканала сказал, что происшествие едва не привело к войне. Это, разумеется, оценка источника CNN, а не установленный факт; публичного подтверждения того, что столкновение неизбежно, переросло бы в войну США и Китая, нет. Но сама подготовка к перехвату судна, согласно нескольким сообщениям CNN, зашла весьма далеко. Чем-то совершенно новым эта история кажется лишь на первый взгляд. Поменялась техника. Механизм ошибки человечеству знаком давно.

Тонкинский залив: когда данные начинают подтверждать ожидания

 
Северовьетнамские катера сближаются с «Мэддоксом», август 1964 г.
Торпедный катер уходит от огня «Мэддокса».

Ночью 4 августа 1964 года американские корабли в Тонкинском заливе сообщили, что подверглись атаке северо-вьетнамских торпедных катеров. Ситуация была крайне напряжённой. Радарные отметки, гидроакустические сигналы, сообщения экипажей — всё складывалось в картину боя. Вашингтон отреагировал быстро. Президент Линдон Джонсон распорядился нанести воздушные удары, а вскоре Конгресс принял знаменитую Тонкинскую резолюцию, существенно расширившую возможности президента вести боевые действия во Вьетнаме. Но спустя десятилетия рассекреченные документы позволили взглянуть на события иначе...
Первое столкновение 2 августа действительно произошло. А вот подтверждений второй атаки 4 августа историки-исследователи американской разведки не нашли. Рассекреченные материалы NSA показали, насколько противоречивыми были поступавшие сигналы и насколько сильно их интерпретация зависела от первоначального предположения, что нападение уже идёт. Национальный архив безопасности Университета Джорджа Вашингтона, анализируя рассекреченные материалы, пришёл к выводу, что разведывательные данные фактически подгонялись под уже сложившуюся картину атаки.
Здесь проявился механизм, который сегодня называют confirmation bias — предвзятостью подтверждения. Если аналитик ожидает увидеть атаку, неоднозначная отметка радара превращается в корабль противника. Командование ожидает контрабанду ядерных компонентов? — Необычная строка в грузовом манифесте может превратиться в элемент ядерной программы. ИИ этого когнитивного дефекта не изобрёл. Он лишь способен резко его ускорить.

Ирак: когда гипотеза становится фактом

Пожалуй, наиболее известный пример разведывательной ошибки последних десятилетий — история иракского оружия массового уничтожения. Перед вторжением в Ирак в 2003 году американские разведывательные структуры считали, что режим Саддама Хусейна располагает активными программами химического и биологического оружия и стремится восстановить ядерную программу. После войны многие ключевые утверждения не подтвердились. Комиссия по разведывательным возможностям США позднее признала, что разведывательное сообщество серьёзно ошиблось при оценке иракской ядерной программы. Один из знаменитых эпизодов касался алюминиевых труб, которые рассматривались как возможные элементы центрифуг для обогащения урана.
Не менее показательна история информатора с кодовым именем Curveball. Именно его рассказы стали одним из важнейших оснований для утверждения о якобы существовавших в Ираке мобильных лабораториях по производству биологического оружия. После вторжения оказалось, что доказательств существования такой программы нет, а надёжность самого источника вызывала серьёзные вопросы ещё до войны. Американская комиссия позднее прямо писала о плохой работе с источниками, превращении обоснованных подозрений почти в уверенность и недостаточно ясном сообщении политикам о степени неопределённости разведданных. Это — чрезвычайно важный момент. Разведывательная ошибка часто возникает не тогда, когда кто-то сочиняет ложь от начала до конца. Она появляется постепенно.

«Не исключено» превращается в «вероятно».
«Вероятно» — в «по имеющейся информации».

А потом на стол руководителю ложится документ, из которого исчезла история сомнений, сопровождавших первоначальный вывод. Именно потому случай с ИИ особенно любопытен. Машина способна выполнить сей переход практически мгновенно: превратить набор неоднородных данных в аккуратно написанный законченный текст.

  
Американский танк в Багдаде, 2003 г.
Американские и иракские военнослужащие во время боёв в Фаллудже, 2004 г.

1983 год: компьютер говорит — ракеты летят

Но бывает и обратная ситуация: машина выдаёт совершенно определённый сигнал, а человек ему не верит. В ночь на 26 сентября 1983 г. подполковник советских войск противовоздушной обороны Станислав Петров находился на дежурстве в командном пункте системы предупреждения о ракетном нападении. На экране появилось предупреждение… Система сообщала о запуске американской межконтинентальной баллистической ракеты. Затем ещё одной. Всего система обнаружила пять. На дворе была одна из самых нервных фаз холодной войны. За несколько недель до этого советский истребитель сбил южнокорейский Boeing 747, нарушивший воздушное пространство СССР. Отношения между Москвой и Вашингтоном находились на крайне опасном уровне. Но — Петрову показалась нелогичной сама картина нападения...
Если Соединённые Штаты действительно решили нанести первый ядерный удар, зачем начинать его пятью ракетами? Настоящая атака должна была быть массированной. Он решил ждать подтверждения наземных радаров. Подтверждения не пришло. Позже выяснилось, что спутниковая система ошибочно приняла отражение солнечного света от облаков за признаки ракетных пусков. История Петрова почти зеркально отражает современную историю с ИИ. В одном случае машина сказала человеку: «ракеты летят». В другом — фактически: «на судне находятся компоненты ядерной программы». Ключевым элементом безопасности в обоих случаях оказалось не совершенство технологии. Ключевым элементом оказался человек, который спросил: «А точно?»

Ценность лишнего часа: машины ошибаются быстрее людей

Это и есть принципиальная проблема эпохи искусственного интеллекта. Ошибки существовали всегда. Но раньше изготовление сложного аналитического документа само по себе требовало времени. Нужно было собрать материалы, написать текст, свести источники, отредактировать, оформить. Каждый из этапов создавал хотя бы теоретическую возможность остановиться. ИИ способен убрать многие такие промежуточные ступени! Он за секунды объединяет десятки источников, формулирует вывод и оформляет его профессиональным языком. Сие — огромное преимущество там, где цена ошибки невелика. Но что происходит, если цена ошибки — вооружённая операция? Возникает странный парадокс: чем быстрее работает система анализа, тем важнее становится медленная проверка.
Во время Карибского кризиса октября 1962 года Соединённые Штаты получили вполне реальные доказательства размещения советских ядерных ракет на Кубе. Фотографии самолётов U-2 не были «галлюцинацией» — ракеты действительно существовали. Но даже при наличии достоверной информации оставалась другая проблема: что с ней делать? Американское военное руководство предлагало среди прочего воздушный удар и вторжение на Кубу. Президент Джон Кеннеди выбрал более медленную комбинацию морской блокады — официально «карантина» — и переговоров. К концу кризиса США привели стратегические силы в состояние DEFCON II. Мир приблизился к прямому ядерному столкновению ближе, чем когда-либо прежде или после. Американский Госдепартамент в своей исторической справке подчёркивает, что кризис был наполнен не только верными расчётами, но и ошибочными, также недопониманием и проблемами коммуникации меж Москвой и Вашингтоном. Одним из важнейших уроков кризиса стала необходимость оставить человеку время. 

Время перепроверить.
Время связаться с другой стороной.
Время понять, что противник видит происходящее иначе.

После кризиса между Москвой и Вашингтоном появилась знаменитая «горячая линия». Парадоксально, но спустя более шестидесяти лет одна из важнейших проблем безопасности вновь сводится примерно к тому же самому: как не позволить скорости системы обогнать способность человека разобраться в происходящем. Ведь опасность не в «восставшем компьютере»… Научная фантастика десятилетиями предлагала нам другой сценарий. Машина становится разумной. Получает доступ к оружию. Приходит к выводу, что человечество представляет угрозу. И начинает войну. От HAL 9000 до Skynet (два знаменитых образа опасного искусственного интеллекта из фантастики) сюжет стал едва ли не стандартной ролью опасного искусственного интеллекта. Реальность пока выглядит куда прозаичнее.
Компьютеру вовсе не требуется ненавидеть человечество. Ему достаточно ошибиться в названии груза. А человеку — поверить. Именно на это после публикации CNN обращали внимание исследователи ИИ Тимнит Гебру и Эмили Бендер: по их мнению, реальная опасность современных систем заключается не обязательно в появлении фантастического «сверхразума», а — в склонности людей приписывать нынешним моделям больше надёжности, чем они действительно имеют. Современная языковая модель не работает как энциклопедия, внутри которой лежит точная копия мира. Она вычисляет наиболее вероятное продолжение информации, предоставленной ей пользователем и содержащейся в модели.
Посему ложный ответ способен выглядеть совершенно правдоподобно. И чем лучше становятся подобные системы в языке, тем опаснее простое правило: красиво написано — значит, правильно. Нет.

Новый «туман войны», или Самый важный человек будущей войны

Прусскому военному мыслителю Карлу фон Клаузевицу обычно приписывают концепцию «тумана войны» — ситуацию, когда командование вынуждено принимать решения в условиях неполной, запаздывающей и противоречивой информации. Двести лет армии пытались туман сей рассеять. Появились телеграф, радио, радар, спутниковая разведка, компьютеры. В конце концов, глобальные информационные сети. Теперь — искусственный интеллект. Но существует риск, что в какой-то момент технология не рассеивает туман, а делает его более убедительным. Раньше командир видел пустое место на карте и понимал: мы не знаем, что там происходит. Теперь система способна заполнить пустоту красивым текстом. И командир может решить, что знает... Возможно, именно это станет одним из важнейших различий между военными ошибками XX и XXI вв. Тогда проблема состояла преимущественно в недостатке информации. Ныне — всё чаще проблема будет заключаться в её избытке — и в невозможности быстро понять, какая её часть реальна.
Вообще вышеописанная история китайского судна пока известна главным образом благодаря источникам CNN; многие обстоятельства эпизода остаются закрытыми, а телеканал не установил даже наверняка, использовал ли аналитик коммерческий чат-бот или внутреннюю государственную систему. Оттого превращать случай в доказанную историю о том, что «ИИ едва не начал мировую войну», было бы столь же ошибочно, как без проверки принимать любой другой разведывательный доклад. Но как предупреждение эта история чрезвычайно показательна. В 1964 году опасная ошибка возникла среди радиоперехватов и радарных отметок. В начале XXI века — среди рассказов агентов и аналитических построений об иракском оружии. В 1983 году компьютер советской системы предупреждения увидел ракеты, которых не было. А в 2026-м, если сведения CNN верны, генеративная система увидела ядерные компоненты в грузе китайского судна.
Меняются приборы. Не меняется главный вопрос: «…кто и в какой момент обязан остановить цепочку, проверив, соответствует ли убедительно выглядящая картина действительности?» — Возможно, поэтому наиболее ценным участником будущей высокотехнологичной армии окажется вовсе не тот аналитик, который быстрее остальных получит ответ от искусственного интеллекта. А тот, который в нужную секунду задаст самый простой и самый человеческий вопрос: «Откуда мы это знаем?»

Примечание:

18 сентября Трамп объявил о запрете CNN, Politico и MS NOW работать в Белом доме, а ведущий CNN Джейк Таппер прямо заявил в эфире, что их расследование об ошибочном ИИ-докладе — как раз пример истории, которую Белый дом «не хочет, чтобы вы знали».

​