В последнее время плотность монтажа оборудования в серверных помещениях растет, что неизбежно приводит к увеличению количества выделяемого тепла на единицу объёма. Раньше эта тенденция была чрезвычайно актуальной, преимущественно, для западных компаний, поскольку у отечественных среднестатистическая плотность монтажа в серверных помещениях составляла 4—5 кВт на стойку, а при таких мощностях тепловыделение не составляло существенной проблемы. Однако стремительный рост цен на аренду недвижимости, энергоносители, а также появление более «аппетитных» в плане энергопотребления устройств, стимулируют повышение планки плотности монтажа в компаниях SMB, а значит, вопросы охлаждения и теплоотвода выходят на передний план.
Не стоит забывать о том, что многие компоненты вычислительной техники весьма требовательны к стабильности температурного и влажностного режима. Так, работоспособность аккумуляторных батарей некоторых источников бесперебойного питания гарантируется лишь при температуре до 25°С, а надёжность компьютеров резко снижается при достижении определённого температурного порога.
В то же время, распространённой практикой на предприятиях SMB в Украине стало использование «бытовых» кондиционеров в целях охлаждения серверных. Между тем, в большинстве случаев возможностей бытовых кондиционеров оказывается недостаточно, и возникает необходимость в использовании прецизионных кондиционеров, которые обладают рядом характерных отличий. Прецизионные кондиционеры позволяют регулировать не только температуру воздуха, но и его влажность, причём регулировки этих параметров можно производить раздельно. Возможность управления влажностью очень важна, поскольку в технических условиях на большинство дорогостоящих изделий вычислительной техники оговорены предельные значения этого параметра (обычно – от 30 до 50%), и их несоблюдение вполне может быть причиной уменьшения надёжности техники и отказа в гарантийном обслуживании.
Прецизионные кондиционеры обеспечивают более высокую точность удержания климатических параметров, чем бытовые устройства: 1°С по температуре и 1% по влажности. Кроме того, прецизионные кондиционеры обладают большей производительностью по циркуляции воздуха, сохраняют работоспособность при низких температурах на улице и рассчитаны на круглосуточную работу.
В этой части спецтемы «Инфраструктура серверных помещений» описаны примеры решений в области организации охлаждения и кондиционирования серверных помещений, а также способы установки оборудования и подвода питания, предлагаемые ведущими производителями.
Инженерное оборудование Conteg и кондиционеры Stulz *
Как известно, базовых концепций охлаждения датацентров существует три. Первая концепция реализует централизованное охлаждение всего серверного помещения. Оборудование размещается в открытых стойках, а охлаждение обеспечивает сплит-система. Такой способ охлаждения характерен для небольших серверных (3—5 стоек) с плотностью оборудования до 4 кВА на стойку.
Второй, весьма распространённой в датацентрах, является система зонального охлаждения с «горячим» и «холодным» коридором. Эта система является достаточно масштабируемой и охватывает широкий спектр нагрузок (5—10 кВА на стойку). В этой системе холодный воздух подается под фальшпол прецизионным кондиционером (CRAС), создавая избыточное давление. Шкафы с оборудованием стоят в ряд, при этом воздух через перфорированный пол пропускается через оборудование, поступает в «горячий коридор», откуда засасывается кондиционером, охлаждается и вновь подается под фальшпол. Компания Conteg рекомендуют выбирать мощность системы отвода тепла равной суммарной электрической мощности охлаждаемой аппаратуры.
Одной из разновидностей зональной системы охлаждения является система с изолированным «холодным коридором». В этой системе приняты специальные меры, чтобы холодный воздух подавался непосредственно в оборудование, не рассеиваясь в помещении.
При большой энергетической плотности (>10 кВА) оборудования на стойку применяются системы индивидуального охлаждения. При этом целесообразно использовать для охлаждения вместо воздуха другой хладагент: воду или газы R134A, R407C и т.п.
Что касается собственно кондционирования, то Conteg рекомендует использовать кондиционеры компании Stulz. Данная компания выпускает несколько разновидностей кондиционеров, которые могут применяться в зависимости от требований к охлаждению и конкретных особенностей серверного помещения.
Автономные кондиционеры Stulz прикрепляются снаружи к шкафу или к потолку. Основным их преимуществом является простота установки — им не требуется дополнительная оснастка. Автономный кондиционер способен отводить до 8 кВт тепла, поэтому это решение применяется в небольших серверных. Недостатком автономных кондиционеров является отвод тепла от аппаратуры в объем помещения, поэтому в помещении должна быть предусмотрена дополнительная вентиляция. Вендор рекомендует проектировать систему вентиляции таким образом, чтобы воздух в помещении менялся полностью за один час.
Неавтономные кондиционеры Stulz представляют собой устройства, способные отводить до 18 кВт. Распространённым построением систем охлаждения с такими устройствами является монтаж кондиционеров к задней стенке шкафа.
Другим способом охлаждения шкафа неавтономным кондиционером является построение закрытого цикла движения воздуха при монтаже кондиционера к задней стенке. При этом воздух продувается по всей длине шкафа. Это решение вендор рекомендует для небольших серверных помещений.
Альтернативным вариантом является внутрирядный кондиционер, часто называемый «доводчиком». В этом случае оборудование стоит не на фальшполе, а кондиционеры размещены между шкафами внутри ряда.
Шкафы также могут быть закрытыми, в этом случае используется замкнутый цикл движения воздуха.
Все эти решения могут быть как чиллерными, так и типа «Direct Expansion» (с непосредственным испарением хладагента). Последнее решение пригодно для небольших серверных, поскольку установка конденсаторов на хладагенте может быть выгоднее приобретения чиллера с водяным охлаждением.
Важную роль при подводе электропитания к шкафам и стойкам с оборудование является правильное размещение пассивного оборудования — розеток, кабелей и т.п. Сложности при установке пассивного оборудования обычно возникают из-за того, что пространство серверных шкафов плотно заполняется корпусами оборудования, и разместить кабели и розетки оказывается негде. Существует два варианта решения этой проблемы — использовать открытые стойки или специализированные модификации серверных стоек.
В частности, компания Conteg предлагает специализированные стойки, которые обладают высотой от 40—47U, глубиной до 110 см и грузоподъёмностью до 1200 кг.
Вендор отмечает небольшой собственный вес таких стоек, достигнутый за счет использования сложного Ш-образного профиля. Малый вес стоек важен при размещении датацентра на верхних этажах зданий.
В то же время системные интеграторы отмечают, что у отечественных заказчиков пользуются популярностью закрытые серверные шкафы. Это связано с большей защищённостью оборудования в шкафах от внешних воздействий — вторжений злоумышленников и просто «любопытных» сотрудников.
Conteg разработал шкафы объёмом до 48 юнитов, с повышенной глубиной (1100—1200 мм), и грузоподъёмностью до 1500 кг. Они выпускаются в двух модификациях — 60 и 80 см. В 80-см шкафах достаточно места для размещения патч-панелей и другого пассивного оборудования. В то же время 60-см шкафы, обладая большей компактностью, для размещения пассивного оборудования требуют специальных инженерных решений—дополнительные секции. Это «миникроссовые» шкафы, шириной и глубиной 30 см, которые прикрепляются к основному шкафу либо сзади, либо между двумя шкафами.
В них достаточно места для размещения пассивного оборудования — 9 юнитов для установки 19’’ патч-панелей, блоков розеток и т.п. Таких панелей между двумя шкафами можно установить 2 — спереди и сзади, таким образом обеспечено место под 18 юнитов пассивного оборудования для двух серверных шкафов.
Для обеспечения подвода питания к стойкам, компания Conteg разработала блоки розеток различных видов: вертикальные блоки розеток на 16 и 32 А по 30 розеток, розетки с амперметром и «интеллектуальные» блоки розеток с управлением подачи питания и мониторингом состояния по локальной сети.
В условиях ограниченной площади серверного помещения и роста плотности оборудования, ИТ-службы вынуждены применять более эффективные средства вентиляции и охлаждения.
В случае необходимости непосредственного отвода горячего воздуха от каждой стойки, компания APC рекомендует решение APC Rack Air Removal Unit, а для устранения вертикального градиента температур в стойке — использовать решение Rack Air Distribution Unit.
APC продолжает развивать системы охлаждения внутрирядного типа InRow SC, InRow RC, InRow RD и InRow RP.
По мнению представителей компании APC, внутрирядные системы кондиционирования более прогрессивны по отношению к системам охлаждения шкафов из-под фальшпола, поскольку последние неспособны справиться с охлаждением оборудования с энергетической плотностью более 6 кВт на стойку.
При внутрирядном размещении систем кондиционирования горячий воздух, выходящий из задней части серверной стойки, максимально быстро попадает в воздухозаборник и не успевает отдавать тепло окружающей среде. Чем быстрее это произойдет, тем выше эффективность охлаждения. Холодный воздух также должен попадать в переднюю часть ряда шкафов, чтобы не нагреваться от других приборов.
Внутрирядные системы кондиционирования умеют изменять скорость потока хладагента, регулировать скорость работы вентиляторов в зависимости от загрузки процессорной мощности сервера и т.д. Таким образом, экономия на электропитании для системы кондиционирования возрастает в несколько раз. Следовательно, есть возможность выделить больше электропитания для работы основного ИТ-оборудования.
Для должного охлаждения оборудования немаловажное значение имеют характеристики серверных шкафов по пропускной способности воздушного потока. Монтажные конструктивы (шкафы, стойки) серии APC NetShelter SX адаптированы к высокой плотности установки оборудования, позволяя удобное и безопасное размещение оборудования весом свыше 1300 кг.
Продукты серии APC NetShelter SX способствуют эффективному охлаждению размещённого оборудования благодаря высокой перфорации и предоставляют расширенные возможности для распределения питания и укладки кабелей для серверного и сетевого оборудования в ИТ-средах.
При создании инженерной инфраструктуры для серверных помещений с тепловыделением до 5 кВт на стойку специалисты Emerson Network Power рекомендуют использовать прецизионные кондиционеры. Они подают холодный воздух под фальшполом к оборудованию, установленному в соответствии с принципом “горячих/холодных коридоров”.
При тепловой нагрузке от 5 до 16 кВт традиционная схема кондиционирования в архитектуре Liebert X-treme дополняется кондиционерами-доводчиками и модулями охлаждения серии Liebert XD.
Дополнительные модули охлаждения монтируются к потолку (модуль XDO) или непосредственно на стойку (XDV), не занимая рабочего пространства.
В качестве хладоносителя модули используют фреон (а не охлаждённую воду), поэтому безопасность оборудования обеспечивается даже в случае возникновения течи или повреждения труб. Подсоединяются блоки XD к системе труб с помощью гибких шлангов и быстроразъёмных соединителей, в результате это решение можно легко приспособить к особенностям помещения и размещённого в нем оборудования, а также расширить при увеличении потребности в охлаждении. Для поддержания должной температуры хладоносителя используются специальные холодильные агрегаты Liebert XDC или существующая в здании система на основе чиллера.
Если требования по теплоотводу ещё выше, Emerson Network Power предлагает технологию замкнутого охлаждения внутри стоек XDFN. Liebert XDFN позиционируется как решение для небольших офисов и центров обработки данных.
XDFN представляет собой “ЦОД в шкафу” и устанавливается в помещение, не оказывая воздействия на уже существующую систему охлаждения. В шкафу XDFN имеются стандартные монтажные места (42U) для основного оборудования, в нем размещаются средства защиты питания, пожарной сигнализации и аварийной вентиляции. Шкафы XDFN можно устанавливать не только в специализированных залах ЦОДов, но и в любом помещении.
При необходимости несколько шкафов XDFN объединяются для совместной работы. Дополнительный модуль может обеспечивать резервирование охлаждения в стойках XDFN, причём система управления позволяет не только задействовать резервный модуль в случае аварии основного, но и чередовать работу резервных и основных модулей.
Настолько удачно, что Эмерсон лишил Энергетику и Климат статуса дистрибьютора :-)
Виктор Петрович/ 28 января 09 13:42
К
вышесказанному можем только добавить, что силами компании "Энергетика и
Климат" на данном объекте
осуществлялась поставка, монтаж и ввод в эксплуатацию системы прецизионного
кондиционирования, системы воздухозабора и аварийной вентиляции.
Использовано оборудование Emerson
суммарной холодопроизводительностью 358 кВт. Кратность обмена воздуха в
серверной 140 раз в час (2,33 раза в минуту). Мониторинг систем
кондиционирования осуществляется по SNMP протоколу. Блоки кондиционеров
дооборудованы автоматической системой прекращения подачи воды для
парогенератора в случае ее утечки. Так же в серверной установлена
независимая система контроля температуры и влажности с выдачей сигнала
предупреждения на пульт оператора. Текущее значение температуры и влажности
внутри серверной выводится на дисплей рядом с дверью в серверную.
Электродвигатели вентиляторов в системе аварийной вентиляции, а также
компрессора кондиционеров дооборудованы устройствами плавного пуска для
облегчения работы дизель-генератора при их запуске. Для этой же цели старт
вентиляторов в случае запуска аварийной вентиляции разнесен во времени на 5-7
секунд.
При монтаже было использовано более 300
метров медной трубы, более 180
кг хладагента. Суммарный вес промышленных
кондиционеров 3920 кг.
Точность поддержания температуры ±1?С, влажности ±5%.
В течение 2009 года компанией
"Воля" запланирован ввод в эксплуатацию еще двух серверных
помещений.
Одной из разновидностей зональной системы охлаждения является система с изолированным «холодным коридором». В этой системе приняты специальные меры, чтобы холодный воздух подавался непосредственно в оборудование, не рассеиваясь в помещении.
При большой энергетической плотности (>10 кВА) оборудования на стойку применяются системы индивидуального охлаждения. При этом целесообразно использовать для охлаждения вместо воздуха другой хладагент: воду или газы R134A, R407C и т.п.
Автономные кондиционеры Stulz прикрепляются снаружи к шкафу или к потолку. Основным их преимуществом является простота установки — им не требуется дополнительная оснастка. Автономный кондиционер способен отводить до 8 кВт тепла, поэтому это решение применяется в небольших серверных. Недостатком автономных кондиционеров является отвод тепла от аппаратуры в объем помещения, поэтому в помещении должна быть предусмотрена дополнительная вентиляция. Вендор рекомендует проектировать систему вентиляции таким образом, чтобы воздух в помещении менялся полностью за один час.
При этом шкафы могут быть открытыми, расположенными один за другим — тогда каждый кондиционер охлаждает воздух, поступающий с соседнего шкафа.
Другим способом охлаждения шкафа неавтономным кондиционером является построение закрытого цикла движения воздуха при монтаже кондиционера к задней стенке. При этом воздух продувается по всей длине шкафа. Это решение вендор рекомендует для небольших серверных помещений.
Альтернативным вариантом является внутрирядный кондиционер, часто называемый «доводчиком». В этом случае оборудование стоит не на фальшполе, а кондиционеры размещены между шкафами внутри ряда.
Шкафы также могут быть закрытыми, в этом случае используется замкнутый цикл движения воздуха.
В частности, компания Conteg предлагает специализированные стойки, которые обладают высотой от 40—47U, глубиной до 110 см и грузоподъёмностью до 1200 кг.
В то же время системные интеграторы отмечают, что у отечественных заказчиков пользуются популярностью закрытые серверные шкафы. Это связано с большей защищённостью оборудования в шкафах от внешних воздействий — вторжений злоумышленников и просто «любопытных» сотрудников. 
В них достаточно места для размещения пассивного оборудования — 9 юнитов для установки 19’’ патч-панелей, блоков розеток и т.п. Таких панелей между двумя шкафами можно установить 2 — спереди и сзади, таким образом обеспечено место под 18 юнитов пассивного оборудования для двух серверных шкафов.
Для обеспечения подвода питания к стойкам, компания Conteg разработала блоки розеток различных видов: вертикальные блоки розеток на 16 и 32 А по 30 розеток, розетки с амперметром и «интеллектуальные» блоки розеток с управлением подачи питания и мониторингом состояния по локальной сети.
В случае необходимости непосредственного отвода горячего воздуха от каждой стойки, компания APC рекомендует решение APC Rack Air Removal Unit, а для устранения вертикального градиента температур в стойке — использовать решение Rack Air Distribution Unit. 
APC продолжает развивать системы охлаждения внутрирядного типа InRow SC, InRow RC, InRow RD и InRow RP. 
Для должного охлаждения оборудования немаловажное значение имеют характеристики серверных шкафов по пропускной способности воздушного потока. Монтажные конструктивы (шкафы, стойки) серии APC NetShelter SX адаптированы к высокой плотности установки оборудования, позволяя удобное и безопасное размещение оборудования весом свыше 1300 кг. 
Дополнительные модули охлаждения монтируются к потолку (модуль XDO) или непосредственно на стойку (XDV), не занимая рабочего пространства. 
Если требования по теплоотводу ещё выше, Emerson Network Power предлагает технологию замкнутого охлаждения внутри стоек XDFN. Liebert XDFN позиционируется как решение для небольших офисов и центров обработки данных.