Cloudflare признала причину массового сбоя в интернете: ошибка в размере файла

Компания Cloudflare, предоставляющая сетевые услуги, официально объяснила причину крупного сбоя, который произошел вчера и затронул множество популярных сервисов, включая X (бывший Twitter), ChatGPT и даже системы заказов в ресторанах McDonald's. Проблема была вызвана не кибератакой, а внутренней ошибкой.

Генеральный директор Cloudflare Мэттью Принс в своем блоге прямо заявил:

«Проблема не была вызвана, прямо или косвенно, кибератакой или какими-либо вредоносными действиями».

«Мы сожалеем о воздействии на наших клиентов и на интернет в целом. Учитывая важность Cloudflare в интернет-экосистеме, любой сбой в любой из наших систем неприемлем. Нашей команде больно осознавать, что был период, когда наша сеть не могла маршрутизировать трафик. Мы знаем, что мы вас подвели».

Расследование показало, что сбой начался в 14:20 по московскому времени из-за изменения прав в одной из систем баз данных. Это привело к тому, что база данных вывела множество записей в «файл признаков», используемый системой управления ботами. Размер этого файла удвоился, а затем он был распространен на все машины в сети Cloudflare.

Программное обеспечение для управления ботами имело жесткое ограничение на размер файла, которое новый, увеличенный файл превысил. Это вызвало сбой в работе ПО.

Проблема началась в 14:20 по московскому времени. К 17:30 компания идентифицировала проблему, остановила распространение большого файла и восстановила базовую маршрутизацию трафика. Полное восстановление всех систем Cloudflare было завершено к 20:06 по московскому времени.

Этот инцидент стал самым серьезным сбоем в работе Cloudflare с 2019 года. Компания уже принимает меры для предотвращения повторения подобных ситуаций, включая внедрение дополнительных глобальных аварийных выключателей для функций и устранение возможности перегрузки системных ресурсов из-за дампов памяти или отчетов об ошибках.

Мэттью Принс подвел итог:

«Подобный сбой неприемлем. Мы создали наши системы с высокой устойчивостью к сбоям, чтобы трафик всегда продолжал идти. От имени всей команды Cloudflare я хочу извиниться за боль, которую мы сегодня причинили интернету».

Подобные инциденты демонстрируют, насколько хрупкой может быть современная интернет-инфраструктура, когда значительная часть мирового информационного пространства зависит от бесперебойной работы одной компании.