MyForexVPS - NY Connectivity issues – Детали инцидента

Все сервера подняты.

Мы хотим напомнить вам, что вам необходимо войти на свой VPS-сервер и запустить терминалы MT4/MT5. Если у вас все еще есть проблемы, обратитесь в службу поддержки.

Вся наша инфраструктура находится в Нью-Йорке. Мы следим за сетью на наличие проблем.

Наша капсула была заряжена. Вещи приходят онлайн. Мы опубликуем дополнительную информацию по мере продвижения.

Обновление постоянного тока:

В настоящее время наша команда на месте подключает наши системы ИБП к сети. Теперь у нас есть UPS-4 и UPS-R онлайн. При запуске UPS-1 мы столкнулись с проблемой, и мы не можем подключить его к сети. Мы связались с нашим поставщиком и находим обходной путь для подачи питания в шкафы клиентов.

Из-за проблемы с ИБП-1 мы не будем автоматически включать все шкафы клиентов. Мы свяжемся с вами, чтобы сообщить, входите ли вы в группу клиентов, пользующихся незащищенным или неподдерживаемым ИБП электроснабжением, чтобы вы могли принять решение о включении своих шкафов в это время.

В настоящее время мы на 50% готовы к возвращению сайта в оперативный режим, а пересмотренное расчетное время запуска критически важных систем инфраструктуры составляет примерно 3 часа. Текущие временные рамки, когда клиенты смогут вернуться на место, составляют примерно 22:30 по восточноевропейскому времени.

В настоящее время мы занимаемся поиском материалов, чтобы полностью перевести нашу противопожарную систему в оперативный режим, и у нас нет ETA для завершения. Из-за этого и соблюдения требований пожарной охраны нам будет разрешено контролировать доступ клиентов с сопровождением только после того, как мы закончим развертывание критически важных систем инфраструктуры. У нас будет дополнительный персонал на месте, чтобы помочь нам с этой политикой сопровождения.

Мы не входим в состав УПС-1.

Обновление постоянного тока:

В настоящее время наша команда на месте подключает наши системы ИБП к сети. В этом нам помогает наш поставщик ИБП. Мы подключили ИБП-4 к сети и в настоящее время заряжаем связанную с ним аккумуляторную систему. При подключении UPS-R к сети мы столкнулись с небольшой проблемой, которую сейчас изучаем.
В настоящее время мы на 35% готовы к возобновлению работы сайта, а пересмотренное расчетное время запуска критически важных систем инфраструктуры составляет примерно 5 часов. Мы все еще планируем вечернее время, когда клиенты смогут вернуться на сайт.
В процессе перезарядки нашей энергосистемы мы также работали над нашей противопожарной системой. В настоящее время мы занимаемся поиском материалов, чтобы полностью перевести нашу противопожарную систему в оперативный режим, и у нас нет ETA для завершения. Из-за этого и соблюдения требований пожарной охраны нам будет разрешено контролировать доступ клиентов с сопровождением только после того, как мы закончим развертывание критически важных систем инфраструктуры. В настоящее время мы ищем дополнительный персонал, чтобы помочь нам с этой политикой сопровождения.

Обновление постоянного тока:

В настоящее время наша команда на месте подключает наши системы ИБП к сети. У нас есть наш поставщик ИБП на месте, который помогает с этим, поскольку мы поднимаем ИБП-4, а затем ИБП-R после этого.
По мере запуска этих систем мы параллельно будем работать над запуском операторов связи.
В настоящее время мы на 30% готовы к возобновлению работы сайта, а пересмотренное расчетное время запуска критически важных систем инфраструктуры составляет примерно 6 часов. Мы все еще планируем вечернее время, когда клиенты смогут вернуться на сайт.

Обновление постоянного тока:

Наша команда на месте подала питание на основное электрооборудование, которое питает объект, что позволило нам запустить наш механический завод. Сейчас мы охлаждаем помещение.

Поскольку мы следим за стабильностью, мы сосредоточены на улучшении наших электрических систем. При запуске этого процесса мы обнаружили проблему с включением нашей пожарной панели, а также систем питания, которые питались от ИБП3. Хотя это приведет к задержке, мы работаем с нашими поставщиками над исправлением.

В настоящее время мы на 25% готовы к возобновлению работы сайта, а пересмотренное расчетное время запуска критически важных систем инфраструктуры составляет примерно 7 часов. Мы все еще планируем вечернее время, когда клиенты смогут вернуться на место. Мы вышлем дополнительную информацию о доступе к объекту и дистанционной помощи руками, а также уведомим вас, как только доступ клиента к объекту будет разрешен.

Ежечасное обновление DC:

Мы завершили полную инспекцию участка с начальником пожарной охраны и инспектором по электрике, и электроснабжение на объекте было восстановлено.

В настоящее время мы работаем над восстановлением критически важных систем, и наша команда на месте включила основное электрооборудование, питающее объект. Параллельно мы начинаем работу по запуску механического завода. Сегодня утром на место прибыли дополнительные инженеры с других объектов, чтобы ускорить развертывание объекта.

Расчетное время запуска критически важных систем инфраструктуры составляет примерно 5 часов.

Мы планируем поздний вечер/ранний вечер, когда клиенты смогут вернуться на место.

Обновление центра обработки данных:

Наша инспекция объекта сегодня утром прошла успешно, и мы получили разрешение на восстановление подачи электроэнергии на объект, и в настоящее время работаем над возобновлением подачи электроэнергии на объект. Наша команда на месте работает с начальником пожарной охраны и инспекторами по электроснабжению, обеспечивая безопасность электрической системы, пока мы готовимся вернуть электроэнергию на объект.

Как только это будет завершено, мы будем работать над тем, чтобы поднять наши критически важные инфраструктурные системы. Это займет примерно 5 часов.

Пока мы работаем над этим, мы также будем работать над нашими системами пожарной безопасности и безопасности жизни, поскольку нам необходимо заменить некоторые детекторы дыма и провести полную проверку противопожарной системы, прежде чем разрешить клиентам войти на объект.

Мы будем рассылать ежечасные обновления по мере того, как мы добиваемся прогресса в возобновлении работы объекта.

Предварительное обновление от нашего CSM:

Я слышал, что предварительная инспекция прошла успешно, и сейчас мы предпринимаем шаги, чтобы активировать собственность.

Жду официального обновления от DC Ops. Еще не все.

Мы опубликуем больше информации, как только она у нас появится, в дополнение к нашему плану усиления.

Как сообщалось в предыдущем посте, мы ожидаем дальнейших обновлений от DC и пожарных служб.
Проверка пожарной охраны должна начаться в 9:00 по восточному стандартному времени (13:00 по Гринвичу).
В зависимости от результата мы узнаем больше, мы надеемся, что они довольны состоянием очистки и системами безопасности.

Центр обработки данных испытывает сильное давление, чтобы возобновить работу как можно скорее, поскольку этот инцидент затронул многие другие компании.

Мы получили следующий неутешительный ответ от центра обработки данных:

Центр обработки данных EWR Secaucus в настоящее время остается отключенным в соответствии с приказом пожарной охраны.

Мы только что закончили встречу с начальником пожарной охраны, инспекторами по электрике и руководством на месте. Мы добились больших успехов в очистке, и после обсуждения с начальником пожарной охраны нас попросили очистить дополнительные помещения, а также заменить некоторые компоненты противопожарной системы. Они установили время, чтобы вернуться и рассмотреть эти запросы в 9 утра по восточному поясному времени в среду. Мы работаем над тем, чтобы полностью выполнить эти новые запросы от этих поставщиков, и привлекаем на место дополнительный персонал по уборке, чтобы успеть к сроку, установленному начальником пожарной охраны.

В рамках подготовки к возможности допустить клиентов на место начальник пожарной охраны заявил, что нам необходимо провести полную проверку систем пожарной безопасности и безопасности жизнедеятельности, которая будет проведена после восстановления энергоснабжения и замены компонентов противопожарной системы. У нас есть эти поставщики, готовые для этой работы завтра.

Если предположить, что все пойдет по плану, самое раннее, что клиентам будет разрешено вернуться на сайт для включения своих серверов, будет поздно вечером в среду.

Мы работаем, чтобы увидеть, какие альтернативы у нас есть, если таковые имеются.

Поскольку мы не получили ответа о результатах собрания начальников пожарных, электросетей и DC, мы отправили запрос на получение обновленной информации.

Обновление центра обработки данных:

Центр обработки данных EWR Secaucus в настоящее время остается отключенным в соответствии с приказом пожарной охраны.

Руководство участка, начальник пожарной охраны и подрядчики по электроснабжению в настоящее время встречаются, чтобы рассмотреть процесс очистки, чтобы получить разрешение начальника пожарной охраны на повторную подачу электроэнергии на объект.

Доступ к обновлению для нашей команды из центра обработки данных:

Вице-президент DC Ops разошлет инструкции по повторному входу на сайт. Если все пойдет по плану, то это будет около 18:00-19:00. Нам нужно перезапустить критически важную инфраструктуру на объекте и охладить ее, прежде чем предоставить доступ клиентам. Это займет от 4 до 5 часов при условии, что начальник пожарной охраны даст все ясно.

Полуденное обновление из центра обработки данных:

Центр обработки данных в Нью-Йорке в настоящее время остается отключенным в соответствии с приказом пожарной охраны. Мы продолжаем очищать и подготавливать площадку к окончательному утверждению начальником пожарной охраны для повторного включения критически важного оборудования объекта. Руководство объекта, начальник пожарной охраны и подрядчики по электроснабжению соберутся в 14:00 по восточноевропейскому времени, чтобы попытаться получить разрешение начальника пожарной охраны на повторное включение объекта. Мы не предвидим каких-либо проблем, которые могут привести к неполучению такого одобрения.

Перезарядка критического оборудования займет 4-5 часов. После этого процесса мы включим питание цепей клиентов и включим все оборудование клиентов. Мы сообщим обновленную информацию о том, когда клиенты будут допущены в объект после утверждения начальником пожарной охраны.

Текущее обновление статуса от DC Ops:

Наш поставщик восстановительных работ и наша команда всю ночь работали над очисткой ИБП по требованию начальника пожарной охраны. Они добились значительного прогресса, и мы надеемся, что уборка будет завершена к полудню, когда мы наймем начальника пожарной охраны для осмотра места. После их рассмотрения мы надеемся получить от них одобрение, чтобы мы могли начать процесс перезарядки. Процесс перезапуска может занять 4-5 часов, так как нам нужно включить критически важную инфраструктуру до любых серверов.

Текущий статус из центра обработки данных ниже. Мы запросили это обновление в 8:00 по восточному поясному времени, поскольку временные рамки пришли и ушли.

В нашем центре обработки данных в Нью-Йорке по-прежнему отключено электричество в соответствии с местным пожарным приказом.
Обновление центра обработки данных:
После осмотра объекта начальник пожарной охраны требует, чтобы мы тщательно очистили устройства ИБП и помещения, прежде чем они позволят нам снова включить объект. В настоящее время у нас есть поставщик на объекте, который будет выполнять эту очистку.

Мы будем продолжать предоставлять обновления по мере их получения.

We got the update from the datacenter management, that power might be up by 8:00 AM EDT time

Statement from the datacenter itself:

Power remains off at our data center in New York as per the local fire marshal.

We have had an electrical failure with one of our redundant UPS' that started to smoke and then had a small fire in the UPS room. The fire department was dispatched and the fire was extinguished quickly. The fire department subsequently cut power to the entire data center and disabled our generators while they and the utility verify the electrical system. We have been working with both the fire department and the utility to expedite this process.

We are currently waiting on the fire marshal and local utility to reenergize the site. We are completely dependent upon their inspection and approval. We are hoping to get an update that we can share in several hours.

At the current time, the fire department is controlling access to the building and we will not be able to let customers in.

We've received the update: an isolated fire in a UPS in an electrical room was detected and put out by fire suppression. The local fire department arrived on the scene and per NEC guidelines and likely local laws and general best practices for firefighters, cut the power to the building. This caused the down -> up -> down cycle noted earlier today.

The current state is that datacenter electricians are on site awaiting access to the building to perform repair work to the UPS, but are currently waiting for permission from the fire department to enter the building.

Once the electrical work is complete, the power will be applied to the HVAC to subcool the facility, which will take an estimated 3-4 hours, and at that point, power will be restored to data halls, which will bring our network and servers back online.

The datacenter manager gave a best-case ETA of tomorrow morning, July 11th, for power to be restored to data halls.