Недавно в нашем приложении

mom.life произошел крупный сбой на серверах, и мы до сих пор занимаемся устранением последствий.

На данный момент мы восстановили работу приложения и занимаемся починкой уведомлений.
А вот подробности для тех, кому интересна техническая информация по хронологии:
7 декабря (четверг) — в 18:30 развалился кластер поисковых сервисов, формирующий ленты и подписки, была недоступна лента, и из-за таймаутов на фронт-серверах и достижения лимитов на одновременные подключения как домино начали отказывать все сервисы
7 декабря — в течение часа восстановили работу кластера, но потребовалось еще время на синхронизацию и ребалансировку данных
7 декабря после восстановления работ в 22:50 оказалось, что iOS клиент полтергейтно закешировал ошибочный ответ сервера и не делает новые запросы на получение ленты, соответственно, люди на этой платформе после восстановления сервера все равно не могут пользоваться приложением
8 декабря — ошибку на iOS не нашли (никакого кеширования ответов от API мы не используем), но поняли, что простой апдейт пустой версии из аппстора сбрасывает сетевой тек в приложении и оно начинает нормально работать
8 декабря — 11:50 опубликовали новую версию-пустышку в Аппстор, запросили ускоренное ревью у Apple и через час начали обновление, у всех, кто обновился приложение восстановило работу
8 декабря — 13:30 — по мониторингам падение до нуля нагрузки на сервис очередей задач на нотификации и потом восстановление до 50% от стандартной нагрузки
8 декабря — 14:00 — получаем первые жалобы от пользователей, что не все нотификации доходят
10 декабря 11:00 — резкий всплеск (на 400%) аномальной нагрузки на ядра серверов приложений
10 декабря 15:30 — увеличили количество серверов приложений в 2 раза — нагрузка уменьшилась в 2 раза, но все равно оставалась высокой до 22:00, после чего сама собой исчезла (полтергейст, отложенный для ревью)
11 декабря 17:00 — решили проблемы с сервером очередей нотификаций, вернули корректную работу приложения