Вечером 31 января системный администратор компании GitLab, продвигающей одноименный сервис для хранения кода, случайно «облегчил» базу данных на 300 ГБ. В результате этих действий сервис перестал работать. Собственно, на момент написания этих строк GitLab остается в офлайне, а разработчики продолжают работы по его восстановлению.
Из-за ошибки оказалась стерта база, в которой содержались запросы на изменение документации и кода проектов пользователей, при этом их репозитории (хранилища) остались нетронутыми. Вскоре после инцидента представители GitLab стали публиковать всю информацию о восстановлении базы.
Системный администратор из Нидерландов, из-за которого возникла проблема, занимался копированием базы с одного сервера на другой и по ошибке запустил удаление данных с основного сервера. Когда этот процесс был остановлен, нетронутыми осталось только 4,5 ГБ данных.
we are experiencing issues with our production database and are working to recover
— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.
We accidentally deleted production data and might have to restore from backup. Google Doc with live notes https://t.co/EVRbHzYlk8
— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.
The incident affected the database (including issues and merge requests) but not the git repo’s (repositories and wikis).
— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.
В GitLab отметили, что в этом случае не помогла ни одна из пяти существующих в компании систем для хранения бэкапов: например, в одном из случаев процедура сохранения данных срабатывала с ошибкой, из-за чего бэкап не создавался. Представители сервиса заметили, что у них не было системы оповещения об ошибках при создании бэкапов.
В распоряжении GitLab оказался один из бэкапов, созданный вручную примерно за шесть часов до инцидента, и теперь компания восстанавливает данные с его помощью. На момент написания новости восстановлено 78% данных.
We are 78% done with the database copy
— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.
GitLab создана в 2014 году украинским предпринимателем Дмитрием Запорожцем, штаб-квартира компании расположена в Сан-Франциско. По данным CrunchBase, за все время существования она привлекла около $25,6 млн.
Главными конкурентами GitLab являются конкурирующие платформы GitHub и Atlassian, но у первой есть немалое преимущество — она бесплатно распространяет свои инструменты для хранения кода, что позволяет другим организациям построить собственные репозитории на основе систем GitLab, добавив необходимые для себя функции.
На канале GitLab в YouTube идет прямая трансляция процесса восстановления работоспособности сайта:
Источник: vc.ru и The Register