Сервис для хранения кода GitLab не работает из-за ошибки сисадмина, случайно удалившего почти 300 ГБ данных

Вечером 31 января системный администратор компании GitLab, продвигающей одноименный сервис для хранения кода, случайно «облегчил» базу данных на 300 ГБ. В результате этих действий сервис перестал работать. Собственно, на момент написания этих строк GitLab остается в офлайне, а разработчики продолжают работы по его восстановлению.

Из-за ошибки оказалась стерта база, в которой содержались запросы на изменение документации и кода проектов пользователей, при этом их репозитории (хранилища) остались нетронутыми. Вскоре после инцидента представители GitLab стали публиковать всю информацию о восстановлении базы.

Системный администратор из Нидерландов, из-за которого возникла проблема, занимался копированием базы с одного сервера на другой и по ошибке запустил удаление данных с основного сервера. Когда этот процесс был остановлен, нетронутыми осталось только 4,5 ГБ данных.

we are experiencing issues with our production database and are working to recover

— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.

We accidentally deleted production data and might have to restore from backup. Google Doc with live notes https://t.co/EVRbHzYlk8

— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.

The incident affected the database (including issues and merge requests) but not the git repo’s (repositories and wikis).

— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.

В GitLab отметили, что в этом случае не помогла ни одна из пяти существующих в компании систем для хранения бэкапов: например, в одном из случаев процедура сохранения данных срабатывала с ошибкой, из-за чего бэкап не создавался. Представители сервиса заметили, что у них не было системы оповещения об ошибках при создании бэкапов.

В распоряжении GitLab оказался один из бэкапов, созданный вручную примерно за шесть часов до инцидента, и теперь компания восстанавливает данные с его помощью. На момент написания новости восстановлено 78% данных.

We are 78% done with the database copy

— GitLab.com Status (@gitlabstatus) 1 февраля 2017 г.

GitLab создана в 2014 году украинским предпринимателем Дмитрием Запорожцем, штаб-квартира компании расположена в Сан-Франциско. По данным CrunchBase, за все время существования она привлекла около $25,6 млн.

Главными конкурентами GitLab являются конкурирующие платформы GitHub и Atlassian, но у первой есть немалое преимущество — она бесплатно распространяет свои инструменты для хранения кода, что позволяет другим организациям построить собственные репозитории на основе систем GitLab, добавив необходимые для себя функции.

На канале GitLab в YouTube идет прямая трансляция процесса восстановления работоспособности сайта:

Источник: vc.ru и The Register