?

Log in

No account? Create an account
entries Други Календарь Инфо пользователя Сборище моих мыслей Предыдущая Предыдущая Следующая Следующая
Космические войны или Оверсан атакует Макхост - Живу вне Журнала — LiveJournal
minimagz
minimagz
Космические войны или Оверсан атакует Макхост

О ситуации вокруг Оверсана и Макхоста не знает, наверное, только ленивый. Да и не заметить отключения почти 30 000 сайтов в ночь с 6 на 7 апреля тоже сложно. Поэтому не буду описывать всю сценарную завязку этой войны, а сразу перейду к сути. В нашей компании был выделенный сервер в Макхосте. Я прошел через все – сбор, вытаскивание из офиса к себе на домашний комп и восстановление на другом сервере бэкапов, поездка в ДЦ. Все закончилось в итоге хорошо. Кому интересно – рассказываю подробности.

Купили мы сервер немногим больше полугода назад. Проблем с ним не было, работал стабильно, служба поддержки Макхоста работала адекватно. Например, повадился какой-то чукча сканить наши порты. Мы пробили его IP - оказался клиентом Макхоста. Обратился к ним в техподдержку - они нашли хозяина этого IP и выяснили, что сайт с этого IP "ищет себе подобных" :) После этого скан портов прекратился. После предыдущего провайдера, который решил поменять жесткий диск на сервере прямо посреди рабочего дня (в итоге и не поменяли к тому же, но на 4 часа сервак вырубили) горя не знали.

Датацентр Оверсана - реально крутая штука. За все полгода вылеты сайта по сетевым причинам можно по пальцам одной руки пересчитать. Предыдущий сервер стоял в ДЦ Курчатовского института, вылеты случались раз в неделю гарантированно, а то и чаще.

Когда серваки отрубили, я за пару часов восстановил из бэков максимально свежую версию и развернул ее на сервер в Далласе, который нам любезно предоставила контора, занимающаяся техподдержкой нашего портала. Бесплатно, замечу, подняли два VPS, один под базу данных, другой под php и статику, Если не считать более длительного пинга, разницы не заметно. Хотя, пока еще посещаемость портала примерно в два раза ниже обычной. Дождемся понедельника-вторника, когда посещаемость стремится к максимуму.

Основной задачей после отключения сервера было совсем не получение файлов и базы – я объясню немного ниже, почему меня оставляет равнодушной истерия в инете по этому поводу. Нам нужно было как можно скорее развернуть копию на другом сервере и заставить ее работать. Во-первых, это клиенты, которые должны видеть хотя бы страничку с логотипом и надписью “Извините, через 2-3 часа портал заработает в прежнем режиме”. Во-вторых, это поисковики, роботы которых не получив ответа от сервера, просто выкинут его из поисковой выдачи. Поэтому всю ночь и все утро я занимался настройкой новых серверов. Результат – к 13.00 основной поток клиентов и поисковиков уже получал в ответ осмысленные страницы (из-за каких-то ошибок наши новые ДНС закончили тестироваться только через 9 часов, после смены, если бы оттестировались раньше, то все было бы еще радужнее). И ничего страшного, что посетители видели новости недельной давности, что вопросы, которые задавались за прошлую неделю не были пока доступны. База данных работала на поиск и выдавала свежие результаты. А это основной наш бизнес.

Примерно в 14 часов я поехал в ДЦ Оверсана, чтобы попытаться получить доступ к содержимому сервера. Могу сказать, что Оверсан сделал все возможное, чтобы пользователи Макхоста смогли забрать данные со своих серверов. А вот Макхост – козлы. Мало того, что их представителей в ДЦ не было вообще (раньше их было там немало и сидели они на одном этаже с Оверсановцами), так еще они отключили часть серверов – VPS, виртуальный хостинг и часть дедиков. Здесь оверсановц былы бессильны чем-то помочь, ибо доступа к оборудованию Макхоста они не имели. Для тех серваков, что продолжали работать, Оверсан предоставил FTP, SSH и SCP доступ по стандартным портам для скачивания контента. FTP лег сразу. А вот SSH у большинства работал. Но вот незадача – порт для SSH на нашем сервере был изменен на нестандартный “во избежание”. :) Целью моего визита в ДЦ было либо копирование данных на винт прямо с сервера, либо изменение порта на стандартный – из ДЦ доступ к серверу должен быть по любым портам. В серверную никого не пускали и это, я считаю, абсолютно правильно, а вот поменять порт удалось без проблем – сотрудник Павел спокойно законнектился, я ввел логин/пароль и отредактировал файлик с портом. После этого ребята из офиса спокойно подключились и перенесли файлы, базы и почту на новый сервер. Примерно в 17 часов сервер был полностью восстановлен.

Вместе со мной в ДЦ попали еще два молодых человека. Парень, который нас проводил через охрану был на рабочем месте уже вторые сутки подряд. Но общался с нами очень доброжелательно и искренне пытался помочь. В первой комнате, куда нас привели, был задан единственный вопрос: “У вас колики или дедики?”. На мое уверенное “дедики” мои спутники лишь что-то промычали и нас гурьбой отправили к Павлу, к которому отправляли всех, кто не “колик” (colocation). Собственно, решив мою проблему, он обратился к остальным посетителям. Оказалось, что у первого – виртуальный хостинг, что такое SSH он не знает, как узнать IP по имени он не знает, и вообще “ничего в этом не понимает, он просто приехал забрать свой сайт”. Второй говорил примерно тоже самое: “Меня шеф послал скопировать сайт на жесткий диск”, – и гордо демонстрировал черную коробочку со свисающим из нее проводком. И тут я понял, как же досталось этим ребятам из Оверсана, которые реально пытались решить проблемы КАЖДОГО! Первому был дан спокойный ответ, как найти IP по имени, где почитать про SSH. Со вторым выяснили, что у него тоже виртуальный хостинг, но сервер выключен. Все спокойно, без нервов и криков, а ведь мы уже были у них далеко не первые за сегодня. Я считаю, что именно это и есть показатель профессионализма. Пусть начальство таскает друг друга за вихры, но каждый специалист компании будет делать все возможное, чтобы помочь тем, кто попал в трудную ситуацию.

А вообще, все просто расслабились и забыли, в какой стране живут. Я уже писал, что не понимаю истерии по поводу "невозможности скачать данные”. Не иметь резервной копии под рукой – это сидеть на пороховой бочке. Вспомните про Агаву – а ведь наши хренохранительные органы могут прийти в любую контору. Ладно, пусть не люди, но жесткий диск имеет обыкновение ломаться. И тогда жаловаться на “плохих дядей, которые не дают мне забрать мой сайт” будет некому. Сейчас существует масса способов и утилит для решения этих задач – и инкрементное копирование, и полный образ, и синхронизация баз данных в режиме реального времени, и дампы по расписанию. Настраивай под себя. Например, у нас полный объем данных портала составляет около 2 гигов – это без почты, только файлы и база. Мы делаем полный бэкап базы примерно раз в две недели, а бэкап с самой важной для нашего бизнеса информацией (логины пользователей, объекты пользователей) – ежедневно. Файлы сайта у нас есть и так – все, что разрабатываем сохраняется в CVS, можно поднять любую версию. А вот картинки (к новостям, например) раз в месяц, если не в два. Сейчас, когда поднимали бэкап, у нас на запросы картинок выдавалась одна стандартная, с логотипом нашего портала. И смотрелось очень даже неплохо для переходного варианта. Конечно, не все подойдет такой способ. Но это просто пример того, как можно делать адекватный бизнесу план резервного копирования, и не делать тупое “буду скачивать все каждые 5 минут”. “Некуда копировать?”, – спросите вы? Всегда можно купить виртуальный хостинг, только у другого хостера. Это стоит копейки по нынешним временам. Не говоря уже о том, что у многих уважающих себя контор есть специальная услуга – копирования бэков на отдельный жесткий диск. Было бы желание, а возможности найдутся.

И в заключении хочу сказать, что любой простой имеет свою стоимость для бизнеса. Для банков он может исчисляться сотнями долларов за минуту, в нашей компании – это десятки тысяч рублей в сутки, которые мы можем компенсировать продлением услуг, а не реальными деньгами. Все средства, которые применяются для защиты сайтов от неработоспособности должны соотноситься с этими суммами. В Америке компании готовы заключать с клиентами SLA – договор, по которому компания несет перед клиентом материальную ответственность за неработоспособность сервера или услуги. В России даже предоплату не всегда можно вернуть без суда. Делайте выводы. И не храните яйца в серверной :)

Tags: , , , ,

Оставить свой комментарий