В прошлую среду мы пришли на работу как обычно. Ожидали самый обычный рабочий день. Статистика сетевых отказов тоже выглядела совершенно обычно, и никаких причин ждать чего-то особенного не было.
А потом дверь распахнулась, и на пороге появился Директор. С глазами навыкате.
— Ребята! Что это?
— ???
— У меня почтовый ящик забит жалобами. Ни у кого ничего не работает. Ни у кого! Ничего!
Тут он, конечно, слегка погорячился. Не то чтобы совсем ничего и не то чтобы у всех.
Децентрализованная сущность Кошачьих Туннелей сыграла свою роль — полностью заблокировать Котика не удалось. Но для нормальной работы системе нужны трекеры — опорные узлы. На тот момент их у нас было несколько десятков: в разных странах, у разных провайдеров, в разных датацентрах.
И все они, без исключения, оказались заблокированы в России.
До единого.
Без них Котик не мог нормально подключать новых пользователей, да и у старых всё начинало работать заметно медленнее.
Поскольку за опорную сеть отвечаю я, круче всего досталось, естественно, мне.
Начался сизифов труд.
Я ввожу новые узлы, запускаю новые серверы — бац, они тоже заблокированы.
Я запускаю ещё — бац.
Ещё — бац.
В общем, долго так продолжаться, конечно, не могло. Пришлось сесть и соорудить Котатор-ротатор.
Котатор-ротатор следит за доступностью опорных серверов, автоматически останавливает те, которые по статистике чаще всего недоступны клиентам, и запускает взамен новые. Причём чем хуже ситуация, тем активнее он это делает.
А степень этой самой «хуже ситуации» с лёгкой руки Марианны Николаевны называется у нас в офисе Грохотатором.