AI‑сбои в Amazon: от потери миллионов заказов до пересмотра политики

Широкое внедрение AI‑ассистентов Curo и Q в Amazon привело к нескольким крупным инцидентам: удаление производственной среды в Cost Explorer и потеря более 120 000 заказов, а в итоге — уничтожение до 6,3 млн заказов. После сбоев компания уволила 16 000 инженеров, но затем пересмотрела стратегию, введя обязательный контроль старших инженеров над AI‑генерируемым кодом и многоуровневый мониторинг ИИ. Авторы подчеркивают, что современные модели ИИ не понимают контекст и требуют человеческого надзора, чтобы избежать подобных ошибок.

#AI в Amazon: инциденты, последствия и уроки

Amazon активно внедряет AI‑ассистентов в повседневные рабочие процессы сотрудников. Инструменты вроде Curo и Q стали обязательными для большинства работников: 80 % сотрудников используют Curo каждую неделю, а AI‑боты применяются при написании и проверке кода. Такое широкое распространение создало условия, при которых ошибки автоматизированных систем могут быстро масштабироваться.

#Критические сбои, связанные с AI

В декабре инженер из AWS получил задачу исправить ошибку в Cost Explorer — небольшом дашборде, показывающем ежемесячные расходы на облачные сервисы. Для решения он запустил Curo, встроенного в Amazon AI‑бота, и принял решение полностью удалить производственную среду, после чего заново построил её за 13 часов. Amazon охарактеризовал событие как «очень ограниченное, вызванное ошибкой пользователя».

2 марта другой AI‑бот, Q, внедрил некорректный код в розничный сайт Amazon. В результате сбоя исчезло 120 000 заказов, а система зафиксировала 1,6 млн ошибок. Три дня спустя, 5 марта, последующее действие привело к уничтожению 99 % заказов по всей Северной Америке. После этих инцидентов компания провела обязательную встречу и разослала электронное письмо, в котором признала ухудшение доступности сайта и сопутствующей инфраструктуры.

Согласно отдельным сообщениям, совокупный ущерб от AI‑сбоев мог достигать удаления до 6,3 млн заказов, что подчёркивает масштаб риска, когда автоматизированные системы получают административные права над клиентскими сервисами.

#Последствия для организации и изменения в политике

В январе Amazon, по сообщениям, уволил 16 000 инженеров, заменив их часть AI‑решениями. После серии сбоев в марте компания частично пересмотрела эту стратегию, вернув сотрудников для контроля над AI‑системами. Было введено новое правило: младшие и средние инженеры не могут отправлять AI‑ассистированный код без подписи старшего инженера, что ограничивает автономные действия AI.

Для снижения риска повторения ошибок Amazon также начал использовать AI‑инструменты для мониторинга других AI‑систем, создавая многоуровневую схему наблюдения, способную выявлять аномалии до их выхода в продакшн.

#Технические ограничения AI

Автор исходных материалов подчёркивает, что современные AI‑модели представляют собой сложные статистические функции, предсказывающие следующий токен на основе закономерностей в обучающих данных. Такие модели не обладают реальным пониманием кода, инфраструктурных ограничений или понятий «хорошо» и «плохо». Отсутствие контекстуального осмысления делает их неспособными самостоятельно оценивать корректность изменений в производственной среде без человеческого контроля.

#Широкие выводы и рекомендации

События в Amazon демонстрируют, насколько опасно предоставлять AI административные привилегии над критически важными, клиент‑ориентированными платформами. Без достаточного контекстного понимания AI может генерировать ошибки, которые быстро распространяются и приводят к значительным потерям данных и ухудшению качества обслуживания. Сохранение человеческого надзора, особенно при внесении изменений в код, остаётся ключевым фактором надёжности. Организациям рекомендуется сочетать преимущества автоматизации с жёсткими механизмами управления, чтобы предотвратить неконтролируемые действия AI.

#Вывод

Опыт Amazon показывает, что автоматизация с помощью AI может ускорять рабочие процессы, но при отсутствии достаточного контроля она способна вызвать серьёзные сбои. Ограничения текущих моделей, их отсутствие понимания контекста и необходимость человеческой экспертизы подчеркивают важность комбинированного подхода, где AI служит вспомогательным инструментом, а окончательные решения принимаются людьми.