Инфраструктура / спецтема / 08 ноября 08

Дмитрий Никишин

Спецтема "Инфраструктура серверных помещений", ч.1

Стандарты и решения, проблемы и рекомендации

Как известно, надёжность работы всей ИТ-инфраструктуры предприятия во многом зависит от безотказной работы её основных элементов. Для размещения серверов, сетевого и телекоммуникационного оборудования традиционно принято выделять отдельное помещение. Крупные предприятия и центры обработки данных (ЦОД) часто обладают большим количеством единиц активного оборудования, которое потребляет значительное количество электроэнергии. В комплексе это требует специальных конструкторских решений по проектированию помещений, организации подвода питания и отвода рассеиваемого тепла. В настоящее время ведущие вендоры наработали арсенал технических решений для этих задач.

(см. также "Часть 2. Инженерная инфраструктура и охлаждение", "Часть 3. Организация питания серверного помещения") В крупных предприятий вопрос организации серверных помещений и ЦОД облегчается возможностью выделить отдельное подготовленное помещение, которыми, как правило, располагают такие предприятия. В то же время, для предприятий малого и среднего бизнеса ситуация с серверными помещениями обстоит иначе. В Украине многие предприятия SMB используют арендованные площади, которые часто не проектировались для размещения мощной аппаратуры. А если учитывать тот факт, что предприятия SMB часто ограничены в финансовых средствах, то задача организации бесперебойной работы ИТ-инфраструктуры становится нетривиальной. Редакция it:times провела исследование рынка решений в области оборудования серверных помещений для компаний SMB, обратив внимание на разработки ведущих вендоров и системных интеграторов. Часть 1. Теория, методики и рекомендации.	Комментировать абзац
Общие принципы построения серверных помещений Принятие окончательных решений при проектировании и построении инфраструктуры серверных помещений наиболее целесообразно проводить, опираясь на существующие стандарты и наработки в этой области. Международный стандарт ANSI/TIA-942-2005 (Telecommunications Infrastucture Standart for Data Centers) рассматривает не только лишь «серверные помещения», а объединяет все помещения с установленной там телекоммуникационной аппаратурой сборным термином "DataCentre", который в отечественной практике традиционно именуется центром обработки данных (ЦОД). Стандарт ANSI/TIA-942-2005 рассматривает вопросы проектирования ЦОД в смысле обеспечения необходимой степени готовности оборудования, его надёжности, а также времени безотказной работы. Для повышения степени резервирования и надёжности следует сократить количество точек единичных отказов (или исключить их вовсе), как в самом ЦОД (серверном помещении) и поддерживающей инфраструктуре, так и во внешних сервисах и системе общего энергоснабжения. Резервирование повышает как отказоустойчивость, так и ремонтопригодность. Формула резервирования N+1 предусматривает один дополнительный узел, модуль, путь или одну систему в дополнение к тому минимуму (N), который нужен для удовлетворения базового требования. Отказ или ремонт любого одного узла не нарушает работы всей системы. В свою очередь, резервирование N+2 предусматривает 2 дополнительных узла сверх необходимого минимума. При этом допускается отказ или ремонт двух одиночных узлов без нарушения работы. Резервирование 2N предполагает наличие 2 комплектных узлов или трактов для каждого требуемого для базовой системы. В случае наиболее защищённого резервирования 2(N+1) внутри каждого параллельного узла или тракта предусмотрено резервирование внутренних модулей.	Комментировать абзац
Стандарт рассматривает четыре уровня, связанных с разной степенью готовности инфраструктуры оборудования DataCentre. Датацентр 1 уровня представляет собой ЦОД или серверное помещение без резервирования электропитания и охлаждения. Датацентр 1 уровня подвержен нарушениям нормального хода работы, как от плановых, так и от внеплановых действий. Системы распределения электропитания и охлаждения компьютеров, ИБП и генераторы представляют собой одномодульные системы и обладают множеством одиночных точек отказа. Критически важные нагрузки могут быть подвержены отключению во время проведения профилактических работ по плановому обслуживанию и профилактическому ремонту. Ошибки персонала или самопроизвольные отказы компонентов инфраструктуры объекта также будут вызывать нарушения нормального хода работы датацентра. Датацентры уровня 1 широко распространены на отечественных предприятиях малого бизнеса, где информационные технологии в основном используются для внутренних бизнес-процессов, а также в компаниях, использующих интернет как пассивный маркетинговый инструмент и не обеспечивающих гарантированный онлайн-сервис. Такие компании работают 5 дней в неделю и не несут каких-либо финансовых потерь при остановке датацентра. Вероятность безотказной работы датацентров 1 уровня составляет 99,67%, а время простоя в год — 28,8 часа.	Комментировать абзац
Среди предприятий сегмента SMB также распространены датацентры уровня 2, в которых предусмотрен один путь для распределения электропитания и охлаждения, но на этом пути используются резервируемые компоненты (ИБП и генераторы) по схеме N+1. Время безотказной работы таких датацентров составляет 99,75%, а время простоя в год — 22 часа. Типичными владельцами таких датацентров являются различные государственные и образовательные учреждения, предприятия малого бизнеса, использующие информационные технологии только в рабочее время и не предоставляющие гарантированных онлайн- и realtime-сервисов.	Комментировать абзац
Третий уровень предусматривает несколько путей электропитания и охлаждения, но только один из них активен. Поскольку резервированные компоненты имеются не на одном пути распределения, эта система позволяет производить плановое техническое обслуживание и ремонтные работы параллельно с работой датацентра. Внеплановые действия, например ошибки при эксплуатации или самопроизвольные отказы компонентов инфраструктуры объекта, все же будут вызывать нарушения нормального хода работы датацентра. Объекты уровня 3 зачастую проектируют с перспективой наращивания ресурсов до уровня 4, когда бизнес предприятия оправдает стоимость дополнительной защиты. Третий уровень используют компании: обеспечивающие поддержку клиентов «24х7», использующие автоматизированные бизнес-процессы, работающие с удалёнными филиалами (в разных часовых поясах).	Комментировать абзац
Датацентры 4 уровня обладают несколькими активными путями электропитания и охлаждения. Уровень 4 требует, чтобы всё компьютерное и коммуникационное оборудование обладало несколькими силовыми входами. С точки зрения электрооборудования это означает наличие двух отдельных систем ИБП, в которых каждая система обладает резервированием N+1. В результате, оборудование сможет работать, когда один из силовых путей отключён. Уровень 4 используют большие компании работающие в области интернет-коммерции, предоставления сервиса «24х365», обслуживающие финансовые платежи, рыночные транзакции и т.п.	Комментировать абзац
Фактические реалии украинского рынка Как показывает практика, для большей части серверных помещений малых предприятий Украины характерно потребление электроэнергии порядка 6—10 кВА. Как правило, степень резервирования соответствует уровням 1 или 2 согласно стандарта ANSI/TIA-942-2005. Малые предприятия часто размещаются в арендованных помещениях заводов, а офисы могут располагаться и вовсе в помещениях жилого фонда. При размещении в промзонах подвод электропитания может быть облегчён в силу наличия уже существующих заводских коммуникаций. В этом случае к серверной обычно может быть подведено трёхфазное питание и организовано правильное заземление. В то же время в электрических сетях промзон часто возникают импульсные помехи, что требует установки соответствующей защиты, которая также обеспечивает грозозащиту. При размещении малых предприятий вне промзон подвод трёхфазного питания может быть затруднён. Кроме того, электрическая сеть арендуемого помещения может не обладать резервом по мощности. В ряде случаев ИТ-инфраструктура небольших предприятий развивалось по «эволюционному» принципу. Число серверов и рабочих станций увеличивалось постепенно, соответственно, предприятие приобретало недорогие ИБП, которые устанавливались отдельно для каждого сервера или группы серверов. В то же время централизованная система электропитания позволяет сократить число точек отказа, Поэтому ведущее вендоры и системные интеграторы рекомендуют построение централизованной системы электоснабжения и предлагают соответствующие технические решения	Комментировать абзац
Рекомендации крупнейших производителей решений Производители оборудования для ЦОД и системные интеграторы обращают внимание на проблему ввода от энергосистемы общего пользования в электросеть здания. Для предприятий, строящим свою ИТ-инфраструктуру, нужно обратить внимание на других клиентов, получающих энергию от того же питающего кабеля. Наличие промышленных потребителей, совместно использующих внешние источники электропитания, не рекомендуется из-за переходных и гармонических помех, которые они часто наводят на питающие кабели. В то же время, питание больницы от одного питающего кабеля с датацентром является предпочтительным, поскольку они при авариях обычно получают наивысший приоритет по электропитанию. Подземные питающие линии предпочтительнее надземных — это сводит к минимуму подверженность воздействии молний, деревьев, ДТП и вандализма. Основное распределительное устройство должно быть спроектировано с возможностями наращивания, обслуживания и резервирования. Должно быть обеспечено наличие двух вводов — соединённых или изолированных параллельных. Шину распредустройства следует проектировать завышенного размера, чтобы обеспечить резерв по мощности. Там, где это возможно, должна быть обеспечена взаимозаменяемость выключателей. Проект питания ИТ-инфраструктуры предприятия должен допускать выполнение техобслуживания и ремонта распредустройства, шины и выключателей. Система должна допускать гибкость переключений для обеспечения полной ремонтопригодности. Системы ИБП могут состоять из отдельных модулей ИБП или из группы нескольких параллельно включённых модулей. Каждый модуль следует снабдить средствами индивидуального отключения без влияния на работоспособность системы и на резервирование. Система должна обладать возможностью переходить автоматически на внутренний байпас, а также внешними средствами байпаса системы и исключения перерыва питания в случае отказа или ремонта системы.	Комментировать абзац
При проектировании системы электропитания серверного помещения удельная мощность составляет, как правило, от 0,38 до 2,7 кВт/кв.м. Поскольку, традиционно, мощность ИБП указывается в кВА, следует учитывать, что модули ИБП обычно обладают коэффициентом мощности 0,8 или 0,9, а современное компьютерное оборудование — 0,98 и выше. В дополнение к этому, производители ИБП рекомендуют предусматривать запас мощности не менее 20% для будущего развития ИТ-инфраструктуры и для того, чтобы предельная нагрузка ИБП не оказалась превышена в периоды пикового потребления. Важную роль для обеспечения бесперебойной работы датацентра играет обеспечение ИБП аккумуляторами, причём рекомендуется для каждого модуля предусматривать индивидуальные системы аккумуляторов. Реально практикуется обслуживание нескольких модулей ИБП от одной системы аккумуляторов, однако это решение является ненадёжным. В серверных помещениях и датацентрах, соответствующих уровню 3 и 4, обычно используются аварийные генераторные системы. В этом случае главная функция ИБП состоит в том, чтобы «продержаться» во время отключения питания до тех пор, пока генераторы запустятся и примут нагрузку или возобновится питание в сети. На практике ёмкость батарей должна быть рассчитана минимум на период от 5 до 30 минут при полной загрузке ИБП. Это необходимо для того, чтобы дать возможность в нормальном режиме выполнить полное отключение нагрузки в случае отказа генератора. Если же генератор отсутствует, то ресурса аккумуляторных батарей должно хватать на время полного корректного отключения всего оборудования датацентра (от 30 минут до 8 часов).	Комментировать абзац
Мнения производителей Крупнейшие мировые вендоры, специализирующиеся на разработке и производстве решений для организации инфраструктуры серверных, делятся своими взглядами на проблемы развития отечественных датацентров. Мы предложили представителям компаний ответить на один вопрос: По вашим наблюдениям, с какими проблемами сталкиваются предприятия SMB при построении серверных помещений? Какие решения этих проблем предлагает ваша компания?	Комментировать абзац
Виталий Холодюк, менеджер по маркетинговым коммуникациям, компания APC: Говоря о серверных комнатах для SMB, мы не будем привязываться к различным определениям компаний среднего и малого бизнеса. Ибо по многим западным классификациям к SMB сегменту можно отнести компании с вычислительным центром насчитывающим до 100 стоек. В условиях нашего отечественного рынка, мы говорим о серверных помещениях размерностью от 3 до 20 стоек и энергопотреблением свыше 6 кВт. Зачастую серверное помещение появляется в результате развития некой ИТ-зоны, в которой сконцентрировано серверное и коммуникационное оборудование, либо в результате консолидации ИТ-оборудования, реже — серверные помещения строятся с нуля. Отсюда отличается характер проблем: в первом случае это проблемы масштабирования, сложности организации электропитания, охлаждения и управления устройствами инженерной инфраструктуры. В случае построения серверной комнаты «с нуля», возникают задачи минимизации времени простоя (обеспечения заданного уровня отказоустойчивости) на протяжении всего жизненного цикла объекта, минимизации совокупной стоимости владения, и возможность удаленного мониторинга важнейших параметров работы. Для решения вышеуказанных задач наша компания предлагает использовать адаптивную модульную инженерную инфраструктуру APC InfraStruXure, все компоненты которой совместимы между собой, поддерживают принцип модульного наращивания по мере необходимости. Веб-приложение APC Design Portal позволит самостоятельно рассчитать оценочную конфигурацию решения инженерной инфраструктуры для серверных комнат, исходя из заданных параметров: количества стоек, потребления электропитания на стойку и др. В состав решения инженерной инфраструктуры для серверных помещений, входят серверные шкафы APC NetShelter SX, модульные отказоустойчивые системы бесперебойного питания APC Symmetra LX, Symmetra PX, системы вентиляции и внутрирядные системы охлаждения, решения распределения питания (как на уровне всего серверного помещения, так и на уровне каждой серверной стойки), системы мониторинга параметров физической среды и видеонаблюдения NetBotz, а также решения, обеспечивающие централизированный контроль и управление устройствами инженерной инфраструктуры APC InfraStruXure Central.	Комментировать абзац
Сергей Гребень, технический директор М-Инфо: Неприспособленность помещений для серверных комнат — это вопрос технически решаемый. Вопрос лишь в финансах. Что касается недостаточной площади, выделяемой под серверную, то следует иметь в виду, что малый размер помещения закладывает проблемы на будущее. Практика показывает, что проблемы подвода питания не так актуальны, как вопросы качества питания и размещения ИБП. Отвод тепла из серверной также является проблемой для отечественных компаний малого и среднего бизнеса. Все дело в том, что с целью экономии зачастую применяются технологические решения, которые создают проблемы в будущем. Главные препятствия — взгляды постановщиков задач и финансирование. Для решения этих задач мы продвигаем такие решения, как "МикроЦОДы" Foundation или XDFN от Emerson Network Power, которые успешно решают практически все вопросы технического плана. Однако отечественные заказчики привыкли решать проблемы "по чуть-чуть", ограничивая тем самым свои же темпы развития. Но возможность развития надо закладывать сразу. (см. также "Часть 2. Инженерная инфраструктура и охлаждение"), "Часть 3. Организация питания серверного помещения")	Комментировать абзац