Category: Извлеченные уроки

Теплые ламповые бекапы

~ Alexey Chekanov ~ Оставьте комментарий
Как обещал Мур и примкнувшие к нему товарищи, производительность процессоров неуклонно возрастает, стоимость хранения данных стремительно снижается, облачные сервисы активно проникают в нашу жизнь. Сказывается это и на технологиях резервного копирования — вместо старых добрых бекапов на ленту продвинутые пользователи выбирают онлайн-бекапы. Казалось бы, все логично — относительно недорого, быстро, удобно.
На прошлой неделе у коллег по цеху произошел показательный случай, демонстрирующий, почему не стоит пока отказываться от оффлайн-бекапов.
Компания Ланит-Партнер , входящая в уважаемый холдинг Ланит. Уволили сотрудника, он обиделся, уходя оставил бекдор, и начал мстить. Как написано на сайте самой компании, «В результате умышленных действий […] была уничтожена охраняемая законом информация о товарообороте, контрагентах, финансово-хозяйственной деятельности компании, сведения о содержании деловых переговоров, данные сервера электронной почты, персональные данные сотрудников компании, сведения финансового, бухгалтерского и налогового учета, а также резервные копии баз данных» (выделение мое — АЧ). Казалось бы, все очевидно: пока резервная копия доступна из сети, она подвержена довольно большому числу угроз. От осознанных или случайных действий своих сотрудников, до атак злоумышленников, работы зловредов-шифровальщиков, и т.п. Но тем не менее, именно эти грабли любимы многими — достаточно немного погуглить.
Так что не спешите сбрасывать со счетов старый добрый offline backup. Пусть раз в сутки, а не онлайн, пусть восстановление займет несколько часов, а не минут, но гораздо лучше потерять данные за последние сутки, чем безвозвратно потерять все.
Всем спокойствия и благополучия.

Как умирают банки…

~ Alexey Chekanov ~ Оставьте комментарий

Вся наша склонность к оптимизму —
От неспособности представить,
Какого рода завтра клизму
Судьба решила нам поставить.

Игорь Губерман

Обстановка вокруг нервозная. От партнеров приходят уведомления типа «деньги в банк Х не отправлять, срочно меняем реквизиты, вскоре вас оповестим». Число отключенных от БЭСП банков уже превышает число «свободных временных администраций». Различные «знающие люди» говорят, что у банка Y, несмотря на его кажущуюся незыблемость, непременно отзовут лицензию. А ведь этот мир так устроен, что даже если банк умирать и не собирался, то массовый отток средств свалить может любого. Если, конечно, его не поддерживает всемогущее государство.

Тем не менее, надо выживать, и, желательно, с минимальными потерями. Я не буду сейчас повторять советы «что делать», про это и я уже писал, и очень хорошие рекомендации были от Саши Бондаренко.

Сегодня просто сделаем post mortem одного реального кейса во временном разрезе. Если вы еще не подготовились к потере своего банка — попробуйте примерить на себя, мотивирует. Все даты и названия изменены, все совпадения просьба считать случайными.

ООО «Верный путь» имеет счет в банке N. Продолжить чтение «Как умирают банки…»

Bloomberg — внеплановые учения по сценарию потери поставщика

~ Alexey Chekanov ~ Оставьте комментарий

BloombergcrashВ пятницу, 17 апреля 2015 года, по всему миру перестали работать терминалы Bloomberg. Примерно на 2,5 часа. Много это, или мало, безусловно зависит от специфики бизнеса. Кто-то случайно узнал об этом из новостей, а вот, например, Великобритания была вынуждена отложить аукцион по размещению своих бондов на 3 млрд. фунтов (впрочем, он все-таки прошел в пятницу после обеда). В целом, финансовый рынок находился в нервном состоянии, хотя и шутили на эту тему тоже немало — почитайте для поднятия настроения подборку от Fortune. Что конкретно случилось с Bloomberg, пока неизвестно. Впрочем, это не столь принципиально. Очевидно, что любые сложные системы, как бы хорошо они не были зарезервированы, могут время от времени выходить из строя. И тут приходит на помощь (не ко всем, но к тем, кто об этом задумался заранее) подход, лежащий в основе дисциплины об управлении непрерывностью бизнеса. Shit happens. Неважно, почему — в ряде случаев это будет за пределами нашего контроля. Просто надо заранее подумать, что вы будете делать, когда внешний сервис будет недоступен. Применительно к данному случаю — люди заключали сделки по телефону, пользовались альтернативным сервисом от Reuters, или просто откладывали активные действия, если ситуация позволяла. Главное здесь — заранее определить стратегию действия при потере сервиса, и тогда на волне общей паники вы будете в существенно лучшем положении, чем остальные. И да, это надо сделать для всех критичных поставщиков, оказывающих вам какие-либо услуги. И хорошо бы протестировать.

Слабое звено, или немного о человеческом факторе

~ Alexey Chekanov ~ Оставьте комментарий

muller

Верить в наше время нельзя
никому, порой даже самому
себе. Мне можно. (с)

 

Когда мы проводим у наших заказчиков оценку рисков непрерывности бизнеса, мы часто сталкиваемся с неприятием рисков, связанных с собственным персоналом. В качестве аргументов можно услышать все, что угодно — корпоративная культура, лояльность и т.п. Поэтому сегодня вашему вниманию предлагается свежий пример из реальной жизни.

26 сентября 2014 года 36-летний Brian Howard совершил неудачную попытку самоубийства. Согласно источникам, его, ветерана ВМС США, работавшего последние 8 лет на обслуживании телекоммуникаций FAA (Federal Aviation Administration), собирались перевести на Гавайи. Это примерно, как если бы у нас человека отправили в Крым… Не знаю, что его так расстроило, но для нас в этой истории важно, что что-то в судьбе человека произошло. К сожалению, это случается, и это может случиться в любой стране и в любой компании.

Я также не знаю, чем провинилась перед Брайаном FAA, но он решил перерезать кабели и поджечь оборудование в центре управления полетами Aurora, обслуживающем Чикагские аэропорт O’Hare (второй по величине в США) и аэропорт Midway. Огонь повредил 20 из 29 стоек с серверным и сетевым оборудованием. Продолжить чтение «Слабое звено, или немного о человеческом факторе»

Disaster Recovery в домашних условиях, или непрерывность бизнеса для домохозяек

~ Alexey Chekanov ~ Оставьте комментарий

floodСегодня ночью мы всей семьей проводили тестирование планов непрерывности бизнеса. Тестирование проходило по четвертой, самой жесткой схеме — в боевых условиях.

Первые признаки инцидента появились в 5 утра, когда меня разбудил странный звук. Продолжить чтение «Disaster Recovery в домашних условиях, или непрерывность бизнеса для домохозяек»

Уроки выживания в кризис. Банки. Post mortem.

~ Alexey Chekanov ~ Оставьте комментарий

Некоторое время назад я писал про возможный сценарий, при котором информация о ваших вкладах может кануть в небытие вместе с вашим банком. Как следствие, ваша надежда на получение денег от АСВ становится более призрачной.

К сожалению, так и получилось. Живой тому пример (точнее, уже не очень живой) — банк «Огни Москвы».

Почитать про это можно, например, на banki.ru (в комментариях тоже много полезной информации).

При этом я не вижу сильной мотивации для АСВ, кроме правильной гражданской позиции, разбиваться в лепешку, чтобы эти деньги (подтверждение их наличия) находить. С большой вероятностью это станет головной болью вкладчиков.

На уровне банковской системы в целом, наверное, можно спроектировать архитектуру, при которой регулярные верифицированные резервные копии данных банковских систем попадают на защищенное хранение третьей стороне. Здесь много ключевых слов — регулярные, верифицированные, защищенное,  и за каждым из них стоит очень нетривиальная задача. Но пока мы имеем только постановление 397-П, которое от описанного выше развития событий вкладчиков ну никак не защищает.

А пока — бумага вам в помощь. Храните договора, приходники и проч.

Верить в наше время нельзя никому. Порой даже самому себе. (с)

~ Alexey Chekanov ~ 1 Комментарий

Aerial view of a fire at a warehouse in Barracas, in southern Buenos Aires, Argentina. (AFP/Nicolas Garcia)Очень часто на встречах с заказчиками мне приходится слышать про сверхнадежных партнеров (ЦОДы, архивы, депозитарии и проч.), которым не страшен не пожар, ни ураган… да ничего им не страшно.

А теперь просто посмотрите этот короткий ролик про трагедию в архиве Iron Mountain в Буэнос-Айресе, унесшую жизни 9 пожарных, и, судя по масштабу происшествия, огромное количество документов, переданных Iron Mountain на хранение. При этом Iron Mountain — один из крупнейших игроков рынка управления документами (архивами), работающий с 1951 г. И уж точно у них были и системы пожарной сигнализации, и пожаротушения. По крайней мере, про это утверждается на сайте компании.

Поэтому по прежнему основной постулат в нашей дисциплине — чрезвычайные ситуации случаются. Невзирая на все меры по снижению рисков, они могут произойти с кем угодно. Зачастую за пределами вашего контроля. И это надо учитывать в своих планах.

Фото AFP/Nicolas Garcia.

Белка, Стрелка и для чего нужен SLA

~ Alexey Chekanov ~ 1 Комментарий

StrelkaСегодня по новостным лентам прошла новость о том, что все комплексы фотовидеофиксации «Стрелка-СТ» Московской области перестали работать в ночь с 9 на 10 января (основной пруфлинк). Не скажу, что я испытываю нежные чувства к Стрелкам, но мне они более симпатичны, чем гаишники с радаром на обочине. И это объективно цивилизованный способ контроля безопасности на дорогах.

Немного математики. По победоносным рапортам Министерства транспорта Московской области за 2013 год подмосковные Стрелки выписали штрафов более, чем на 1 млрд рублей. Это чуть больше, чем 2.7 млн рублей в день. С учетом того, что показатель общий за год, а число камер постоянно растет, не сильно ошибусь, для простоты взяв выручку в 3 млн руб. в день. Т.е. каждый день простоя систем приносит государству прямой убыток в 3 млн. руб. Кроме того, по моему наивному мнению, основной целью ГИБДД и региональных ЦБДД является не зарабатывание денег, а обеспечение безопасности дорожного движения, и этому процессу тоже наносится ущерб выходом из строя средств контроля. Логично было определить какие-то целевые показатели восстановления, и гарантировать их достижение. Давайте посмотрим, что было сделано. Продолжить чтение «Белка, Стрелка и для чего нужен SLA»

Мобильная связь в Чеченской Республике — case for Business Continuity

~ Alexey Chekanov ~ Оставьте комментарий

Вайнах телекомВчера буквально одним высказыванием Рамзан Кадыров поставил под угрозу работоспособность всей мобильной связи в Чеченской Республике. Наверное, большинство из вас слышали про мутную историю России-10 и не победившую во втором туре мечеть «Сердце Чечни», после которой и прозвучала боевая фраза в Инстаграмме Кадырова: «Сегодня оператором для многих тысяч жителей Чечни стал ВАЙНАХТЕЛЕКОМ <…> у оператора достаточно симкарт в наличии. Мы не намерены и далее кормить Мегафон и Билайн.»

В тот же день офис МегаФона в Грозном закидали яйцами, а офис ВымпелКома, судя по попадавшимся фото, чем-то существенно более тяжелым.

Почти сразу обоих операторов появились существенные проблемы со связью, связанные с обрывом оптоволоконных линий.  На следующий день ВымпелКом объявил о закрытии своих офисов в Чечне. За этот шаг ВымпелКому отдельный респект, ибо безопасность своих людей в подобной ситуации должна быть на первом месте.

Не буду комментировать этическую, политическую и эмоциональную сторону вопроса — про это и без меня напишут. А мы тем временем поговорим про аспект организационно-технический. Продолжить чтение «Мобильная связь в Чеченской Республике — case for Business Continuity»

Почта России — работа над ошибками

~ Alexey Chekanov ~ 5 комментариев

FireПризнаюсь честно — я гораздо больше люблю разбирать «позитивные» кейсы. Всем приятнее — и хорошие идеи почерпнуть можно, и компании приятно, и вообще сплошная благодать. Но когда сегодня ближе к вечеру в развитие истории с пожаром «лег» сайт Почты России, я не удержался, и да простят меня работники Почты. А может быть, кто-то из новых руководителей обратит внимание на еще одну проблемную зону. Продолжить чтение «Почта России — работа над ошибками»