Маленькая опечатка в файле конфигурации системы резервного копирования стоила Amazon трех часов простоя — финансовые потери могли бы исчисляться миллионами, если бы история произошла сейчас, а не 20 лет назад.
Эта история была опубликована изданием The Register в рамках ретроспективной рубрики «Who, Me?», которая собирает интересные рабочие воспоминания специалистов из сферы IT.
На этот раз речь идет о парне по имени Кен, который 20 лет назад устроился системным администратором Linux на сайт Amazon.com. По словам самого мужчины на то время, он был «абсолютно неквалифицированным» для этой работы, но предыдущий опыт в Solaris помог ему успешно пройти собеседование. Кен быстро изучил основы Linux, но уже находясь в штате обнаружил, что среда Red Hat Enterprise Linux, которая существовала в то время, очень отличалась от Solaris. Несмотря на отсутствие необходимых знаний руководитель поручил Кену обновить рабочую программу для резервного копирования на пленочные накопители.
«Я потратил месяцы на планирование и тестирование, потому что с этим обновлением файлы конфигурации изменились, и нам пришлось создавать новые и выпускать их вместе с обновлением», — рассказывает Кен. «Я создал эти файлы и провел все необходимые тесты. Казалось, что все в порядке, и настал день, когда мы нажали кнопку».
В течение первых нескольких часов казалось, что все работает как задумано, поэтому сисадмин похвалил себя и отправился домой. Где-то в 7 вечера пейджер Кена как будто «сошел с ума» и уже через считанные минуты сисадмин присоединился к рабочему конференц-звонку. Кен вспоминает, что на встрече были все высокопоставленные лица Amazon на то время, в том числе и гендиректор компании Джефф Безос. Всех интересовал один единственный вопрос — почему сайт не работает?
Кен с коллегами начали проверку и обнаружили, что основная база данных онлайн-магазина Amazon перестала работать, несмотря на то, что огромный кластер компьютеров, который и обеспечивал эту работу, «чувствовал» себя нормально. Мужчина знал, что созданная им программа копирует журналы базы данных на ленту, а затем должна удалять с серверов. Оказалось, что последний процесс не завершается, поскольку Кен допустил одну опечатку.
«Проблемы не было в течение первых часов, но в конце концов раздел, в котором хранились журналы, заполнился, и база данных просто сдалась и начала жаловаться, что ее больше никто не любит», — говорит Кен.
Убедившись, что ни один из файлов журналов не был потерян, Кен удалил их в кластере и наблюдал, как база данных ожила — как и Amazon.com. Мужчина исправил опечатку в файле конфигурации и направился домой в беспокойную ночь с мыслями о поиске новой работы.
«На следующее утро я приехал в офис и увидел своего менеджера, который стоял возле моего места парковки, что явно не казалось хорошим знаком», — вспоминает Кен. «Я вышел из машины и подошел к нему. Он молчал секунд 15 и пристально на меня смотрел. А потом широко улыбнулся и сказал: «Поздравляю, ты потерял девственность». Мы зашли в офис, где все еще долго надо мной издевались».
Напомним, что поделиться собственным опытом работы в сфере IT с единомышленниками вы всегда можете в разделе «Блоги» на ITC, или просто здесь в комментариях.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: