Development of a Program for Analyzing Data Center Cooling Energy and Power Usage Effectiveness (PUE) Considering Off-Design Performance of Equipment

Ji-Hye Kim; Hee-Gang Kim

doi:10.22696/jkiaebs.20240016

Preview

Research Article

Journal of Korean Institute of Architectural Sustainable Environment and Building Systems. 30 June 2024. 175-191
https://doi.org/10.22696/jkiaebs.20240016

Development of a Program for Analyzing Data Center Cooling Energy and Power Usage Effectiveness (PUE) Considering Off-Design Performance of Equipment

장비의 off-design 성능을 고려한 데이터센터 냉방 에너지 및 PUE(Power Usage Effectiveness) 분석 프로그램 개발

Ji-Hye Kim¹

Hee-Gang Kim²^*

김 지혜¹

김 희강²^*

¹Assistant Professor, Department of Architectural Engineering, Kwangwoon University, Seoul, Korea

²Senior Researcher, Plant Research Group, Posco E&C, Incheon, Korea

¹광운대학교 공과대학 건축공학과 조교수

²포스코E&C 플랜트연구그룹 과장

^{*Corresponding Author}

License (open-access, https://creativecommons.org/licenses/by-nc/4.0/):

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

ABSTRACT

DCSim developed in this study is characterized by its integration of specific features unique to data centers. It streamlines the computation of cooling loads, thus minimizing the burden of input, and delivers energy consumption data for data center cooling systems with a level of precision comparable to that of commercial dynamic energy analysis tools. This empowers data center engineers to make informed decisions based on energy efficiency enhancements, thereby strengthening their ability to improve energy efficiency. The accuracy of the DCSim tool was verified by comparing it with DesignBuilder v7.0.2.4, a commercial building energy analysis software based on EnergyPlus. The hourly power data for each piece of equipment calculated using both tools were compared. The CVRMSE (Coefficient of the variation of the root mean square error) ranged from 0% to 9.3% for the chilled water system, and from 1.4% to 10.75% for the air-side economizer.

Keywords

Data center

Cooling system

PUE (Power Usage Effectiveness) analysis tool

키워드

데이터센터

냉방 시스템

PUE 분석 툴

MAIN

서 론
기존 데이터센터 PUE 예측 프로그램 분석
PUE CALCULATOR
DC Pro
DCeFT
MESDTDC
데이터센터 냉방 에너지 및 PUE 분석 프로그램 개발
프로그램 개발방향
프로그램의 입출력 구성
프로그램의 알고리즘
프로그램의 검증
검증 시뮬레이션 대상건물 및 시스템 개요
검증결과
결 론

서 론

정보자원의 규모가 커지고 고도화되면서 인터넷 데이터센터(IDC)의 수요가 급증하였고, 컴퓨팅 자원을 서비스형으로 제공하는 클라우딩 기술 발달과 함께 대규모 고집적 데이터센터 구축이 증가하고 있다. 또한, 빅데이터, 인공지능과 같은 데이터 수요기술의 발전과 코로나 팬데믹 기간 언택트의 일상화가 가져온 생활의 변화로 IT (Information technology) 시장은 더욱 확대되고 있어 4차산업 핵심 인프라인 데이터센터 수요의 지속적 성장이 예상된다.

고성능 컴퓨팅 자원을 안정적으로 제공하기 위한 데이터센터를 건립하기 위해서는 수천억의 자본 투자가 필요하고, 운영단계에서도 IT 장비 운전 및 IT 장비에서 발생하는 열을 냉각시키기 위해 많은 에너지 비용이 발생한다. 따라서 발주처는 데이터센터의 에너지 효율적인 운영을 위해 프로젝트 발주시, 데이터센터 에너지 성능지표인 PUE (Power Usage Effectiveness) 목표치를 제시하고 이를 달성할 수 있는 정량적 근거를 요구하는 경우가 많다. 이에, 건설회사는 데이터센터 프로젝트를 수주·관리하기 위하여 프로젝트 단계별로 제공되는 정보 수준에 따라 PUE를 예측할 수 있는 프로그램의 활용이 필요하게 되었다.

PUE는 데이터센터에서 사용하는 총에너지를 IT장비 에너지로 나눈 값이다(Belady et al., 2008). 여기서, 데이터센터에서 사용하는 총에너지는 IT장비 에너지, 냉방 에너지, 손실되는 전기 에너지 등이 포함되므로 PUE값이 1에 근접할수록 IT장비 자체에 필요한 에너지 이외에 소비되는 에너지가 적다는 것을 의미한다. PUE 계산에 필요한 정보 중 IT장비 에너지는 데이터센터 프로젝트 발주시 제공되므로, PUE 값을 구하기 위해서는 냉방 에너지와 전력손실 계산이 필요하다. 이 중에서 전력손실은 IT장비 효율 데이터로 개략적인 계산이 가능하나, 냉방 에너지는 적용되는 냉방 시스템에 따라 복잡한 계산이 요구되므로 PUE 계산은 냉방 에너지 계산이 핵심이 된다.

데이터센터 냉방 에너지 계산의 신뢰도를 높이기 위해서는 데이터센터와 냉방 시스템의 운영특성에 대한 고려가 필요하다. 데이터센터에서 냉방 에너지에 영향을 미치는 몇 가지 특징을 살펴보면, 첫째, 데이터센터의 IT 장비는 준공 후 순차적으로 설치되기 때문에 준공 초기에 상당 기간 동안 낮은 부분 부하 조건에서 운영된다(Geng, 2015). 둘째, 데이터센터는 24시간 365일 냉방부하가 발생하므로 변동이 큰 외기 조건 하에서 냉방 시스템의 지속적인 가동을 필요로 한다. 셋째, 데이터센터의 냉방부하는 주로 현열 부하로 구성되어 있어, 냉수 코일에서의 제습이 불필요하다. 이로 인해 일반건물의 냉수 공급 온도인 7℃ 대신 10~14℃로 공급 온도를 상승시킬 수 있는 여지가 생긴다(Jung, 2019). 이러한 특성들은 냉방 시스템을 구성하는 장비 효율에 영향을 주고 결과적으로 전체 냉방 시스템 에너지 성능에도 영향을 미친다. 데이터센터 냉방 시스템 운영의 또 다른 중요한 측면은, 에너지 비용 절감을 위해 중간기와 동절기에 낮은 온도의 외기를 냉방에 활용하는 이코노마이저의 필수적인 적용이다(Cho et al., 2013; Ham et al., 2014; Bhatia, 2015; Kim et al., 2022). 따라서, 데이터센터 냉방 에너지 계산은 연중 변화하는 외기 조건에 따른 이코노마이저 운영, 장비의 부분 부하 상태 운영, 그리고 냉수 및 냉각수 온도 변화가 장비의 off-design 성능(설계 조건이 아닌 조건에서의 장비 성능)에 미치는 영향을 고려한 동적 에너지 해석이 요구된다.

장비의 off-design 성능을 반영한 동적 에너지 분석은 EnergyPlus, TRNSYS, DesignBuilder 등의 상용 에너지 분석 소프트웨어를 통해 수행될 수 있으나, 이러한 소프트웨어는 광범위한 건물 및 시스템 유형을 다룰 수 있도록 설계되었기 때문에 입력과 출력이 복잡하고 이를 효과적으로 사용하기 위해서는 전문적인 지식을 갖춘 인력이 필요하다. 이와 더불어, 정확한 분석을 위한 모델링 과정에 많은 시간과 노력이 요구된다. 따라서, 상용 소프트웨어를 건설회사가 프로젝트 수주 및 관리단계에서 지속적으로 활용하기에는 효용성이 낮다고 볼 수 있다.

따라서 본 연구에서는 건설회사가 데이터센터 프로젝트의 수주 및 관리 과정에서 효과적인 지원을 받을 수 있도록, 프로젝트 단계별로 제공되는 정보 수준에 따라 냉방 에너지를 계산하여 PUE를 예측할 수 있는 프로그램을 개발하였다. 또한, 프로그램의 신뢰성을 확보하기 위하여 상용 소프트웨어인 DesignBuilder 해석 결과값과 비교하여 검증을 진행하였다.

기존 데이터센터 PUE 예측 프로그램 분석

PUE CALCULATOR

PUE CACULATOR (Schneider, 2018)는 슈나이더 일렉트릭(Schneider Electric)사에서 소비자 서비스 제공을 목적으로 개발한 TradeOff Tools 중의 하나이다. PUE CACULATOR는 web-based로 개발된 단순 PUE 계산 프로그램으로, 웹상에서 사용자가 드롭다운 리스트를 통해 입력을 선택하면 PUE값을 출력해준다. 해당 프로그램의 알고리즘은 공개되지 않았으나, 냉방 에너지 계산에 필요한 입력이 IT장비의 용량과 냉방 시스템의 유형을 선택하는 것이 전부이기 때문에 슈나이더사에서 판매하는 냉방 기기의 시험 데이터를 기반으로 사전 계산된 PUE 값을 제공하는 것으로 추정된다.

DC Pro

DC Pro (LBNL, 2016)는 LBNL (Lawrence berkeley national laboratory)에서 개발한 데이터센터 PUE 분석 프로그램이다. DC Pro의 모든 입력은 드롭다운 리스트, 라디오 버튼, 체크박스로 구성되어 있어 프로그램 사용자가 숫자를 직접 입력할 수는 없고 프로그램에서 미리 설정된 값 중에서 선택만 가능하다. DC Pro는 자체 알고리즘을 사용하여 PUE를 계산하는 것이 아니라, EnergyPlus로 사전에 시뮬레이션 된 28,800개의 시뮬레이션 케이스 중 사용자의 입력에 해당하는 케이스의 PUE 값을 제공한다. EnergyPlus의 결과를 기반으로 하므로 동적 냉방 에너지 분석이 적용된 PUE 결과를 제공하지만, 입력이 제한된 선택지 내에서만 가능하므로 특정 데이터센터의 PUE 분석에는 제약이 따른다.

DCeFT

DCeFT (Cho et al., 2013; Cho et al., 2015)는 건설회사에서 데이터센터의 목표 PUE 달성을 위해 활용할 목적으로 만든 국내 최초의 PUE 예측 프로그램이며, 삼성물산과 한일엠이씨가 공동으로 개발하였다. 사용자는 IT 부하와 시간별 기상 데이터(건구온도, 상대습도, 습구온도, 절대습도, 엔탈피)를 입력하고, 냉방 시스템 및 이코노마이저 구성을 선택하여 프로그램의 자체 알고리즘에 의해 Hourly-based로 계산된 월별 냉방 에너지 결과와 연평균 PUE값 등을 확인할 수 있다.

MESDTDC

MESDTDC (Kim and Kim, 2021)는 기계설비 엔지니어가 데이터센터 설계단계에서 냉방 시스템 설계 및 에너지 성능검토를 위해 사용할 목적으로 개발된 프로그램이다. 이 프로그램은 시스템 설계 모듈과 성능 평가 모듈로 구성되어 있다. 설계 모듈에서는 사용자가 제공한 내부 발열, 기타 부하 조건, 그리고 냉방 시스템 구성에 대한 정보를 기반으로 최대 냉방부하를 산정하며, 이를 통해 엔지니어가 장비 선택 시 참조할 수 있는 장비 용량, 설계 유량, 설계 동력 등의 상세 정보를 제공한다. 성능 평가 모듈에서는 입력된 발열 스케줄을 바탕으로 시간대별 필요 풍량 및 유량과 함께, off-design 성능(설계 조건과 다른 상황에서의 성능)을 고려한 장비의 소비 동력을 계산한다. 결과창에서는 연간 냉방 부하, 전체 냉방 시스템의 에너지 사용량, 주요 장비별 에너지 사용량, 그리고 이코노마이저의 가용 시간을 최소 한 시간 단위로 확인할 수 있으며, 월별 PUE 값을 제공한다.

이상 위에서 언급된 기존 데이터센터 PUE 예측 프로그램과 본 연구에서 개발한 프로그램(DCSim)을 비교 분석한 내용은 Table 1과 같다.

데이터센터 냉방 에너지 및 PUE 분석 프로그램 개발

프로그램 개발방향

본 프로그램은 건설업체가 데이터센터 프로젝트를 수행함에 있어, 데이터센터의 부하 특성 및 냉방 시스템의 운영 특성을 고려하여, 프로젝트 진행 과정 중에 확보되는 정보의 양과 수준에 따라 냉방 에너지와 PUE를 계산할 수 있도록 개발하였다. 데이터센터는 초기 운영 단계에서 발생할 수 있는 낮은 부하 조건 하에서의 장기 운영을 고려해, 부분 부하 상태에서의 장비 효율 변화를 반영한 냉방 에너지 소비량 검토가 필요하다. 특히, 주요 냉방 장비인 냉동기와 냉각탑의 성능은 부분 부하율과 더불어 냉수 및 냉각수 온도에 의해서도 영향을 받는다. 데이터센터는 동계에 낮은 외기온도 조건에서 냉각탑 가동 시 냉각수 온도의 변화가 예상되고, 외기 냉수 냉방 적용시 이코노마이저의 가용 기간을 확장하기 위해 냉수 및 냉각수 온도를 조정하는 운영이 필요하다. 이러한 조건들은 열매 온도 변화에 따른 냉방 에너지 소비량 분석의 필요성을 더한다. 따라서, 데이터센터의 냉방 에너지와 PUE 계산을 위해서는 부하율과 열매 온도 변화에 따라 동적으로 변하는 장비 성능을 고려한 에너지 계산이 중요하다(Kim and Kim, 2021).

한 편, 건설사는 프로젝트 수주 단계에서 발주처의 PUE 목표 달성 가능성을 정량적으로 검증하고, 설계 단계에서 프로젝트 품질 관리를 위해 선정된 장비의 성능을 반영한 PUE 검토를 수행해야 한다. PUE 검토의 신뢰성을 확보하기 위해서는 프로젝트의 각 단계를 거치며 점진적으로 구체화되는 정보를 최대한 활용하고, 아직 확보되지 않은 정보에 대해서는 검증된 참조값을 사용하는 유연한 접근 방식이 필요하다.

Table 1.

Comparison of data center PUE calculation tools

		PUE CALCULATOR	DC Pro	DCeET	MESDTDC	DCSim
Developed by		Schneider Electric	DOE, LBNL	Samsung C&T, HIMEC	HIMEC	Poscoenc, Kwangwoon Univ.
Input	Load	IT Load only	IT Load only	IT Load only	IT Load + Building + Lighting	IT Load + Building + Lighting
	Weather data input	-	Library (Climate zone)	Library (Seoul, Singapore, Abu Dhabi) or User input (Hourly weather file)	User input (Hourly weather file)	Library (22 cities of Korea) or User input (Hourly [ weather file)
	Cooling system type	DX (air [cooled, water cooled), Chilled water (Air cooled, water cooled)	DX (air cooled, water cooled, evaporatively cooled), Chilled water (Air cooled, water cooled)	DX (air cooled, water cooled), Chilled water (Air cooled, water cooled)	DX (air cooled, water cooled), Chilled water (Air cooled, water cooled)	Chilled water (Air cooled, water cooled)
	Economizer type	Water-side economizer	Air-side economizer, Water-side economizer	Air-side economizer, Water-side economizer	Air-side economizer, Water-side economizer	Air-side economizer, Water-side economizer
	Off-design efficiency of cooling equipments	NA	Limitedly available	NA	Library	Library or User input
Output	Energy use distribution	○	○	○	○	○
	Cooling energy	NA	NA	Total, Monthly data	Total, Monthly data	Total, Monthly data
	Economizer operation time	NA	NA	Free cooling, Mechanical cooling	Free cooling, Mixed cooling, Mechanical cooling	Free cooling, Mixed cooling, Mechanical cooling
	PUE	○ (Annual PUE)	○ (Annual PUE)	○ (Annual PUE)	○ (Annual and Monthly PUE)	○ (Annual and Monthly PUE)
Type	Web-based	○	○	-	○	-
Type	Stand alone	-	-	○	○	○

예를 들어, 데이터센터에 실제 적용될 장비의 성능 데이터는 프로젝트 수주단계에서는 알기 어렵지만, 냉방 시스템 구성이 구체화되고 장비가 선정되는 과정에서 확보될 수 있다. 장비의 실제 성능 데이터를 기반으로 한 시뮬레이션이 PUE 예측 정확도를 높이는 데 이상적이나, 실제 성능 데이터가 확보되지 않는 프로젝트 초기 단계에서도 장비의 off-design 성능을 고려하여 데이터센터 냉방 에너지와 PUE 분석의 신뢰성을 확보해야한다. 그러나 앞서 살펴본 데이터센터 전용 PUE 해석 프로그램 중 PUE CALCULATOR와 DCeFT는 장비의 off-design 성능이 고려된 에너지 해석이 불가능하고, DC Pro와 MESDTDC는 라이브러리에서 선택하는 기능만 제공하므로 선정된 장비의 실제 성능을 반영한 에너지 해석이 어려울 뿐만 아니라 라이브러리에서 선택할 수 있는 장비의 종류도 매우 제한적이다. 이에 본 프로그램은 장비 선정이 완료된 단계에서는 사용자가 선정된 장비의 성능 데이터를 직접 입력할 수 있도록 하였고, 장비 선정 이전 단계에서도 부하율과 온도 변화에 따른 장비 성능이 고려될 수 있도록 내장된 라이브러리를 통해 성능 데이터를 반영하여 해석할 수 있도록 개발하였다. 특히, 장비 라이브러리는 상용프로그램인 DesignBuilder의 라이브러리와 동일하게 구성하였다.

프로그램의 입출력 구성

프로그램의 입력창은 Figure 1과 같이 ‘Overview 입력창’과 ‘냉방 시스템 정보 입력창’의 두 가지 주요 입력창으로 구분되어 있다. ‘Overview 입력창’에서는 프로젝트 개요, 데이터센터 부하, 냉방 시스템 구성, 부분 부하율 등의 정보를 사용자가 입력한다. 데이터센터의 부하 계산 관련 입력은 IT 발열부하가 전체 부하의 95% 이상을 차지하는 데이터센터의 특징(Cho et al., 2007)을 고려하여 간소화하였다. 따라서 사용자는 랙당 발열 밀도, 랙 수량, 단위 면적당 외피 부하 및 조명 발열 부하, 그리고 서버실 면적 등 네 가지 기본 값을 입력함으로써 필요한 부하를 계산할 수 있다. 냉방 시스템 구성은 사용자가 선택한 Water loop와 Air loop의 조합에 따라 데이터센터에서 일반적으로 적용되는 8가지 냉방 시스템 중 하나를 선택할 수 있도록 하였다. 부분 부하율은 고정된 비율(100%, 75%, 50%, 25%)에서 선택하거나 프로젝트의 특성에 맞춰 사용자가 직접 특정 부분 부하율을 입력할 수 있도록 함으로써, 부분 부하 조건에서의 냉방 에너지 및 PUE를 효과적으로 검토할 수 있도록 구성하였다.

‘냉방 시스템 정보 입력창’은 Figure 1의 오른쪽 부분에서 볼 수 있듯이 8개의 세부 창으로 나누어져 있으며, ‘Overview 입력창’에서 냉방 시스템을 선택하면 8개의 세부 창 중 하나의 창으로 자동 연결되어 시스템을 구성하는 각 장비의 세부 정보를 입력할 수 있다. 장비의 off-design 성능 데이터는 DesignBuilder 라이브러리를 참고하여 구축한 라이브러리를 활용하거나 사용자가 직접 입력할 수 있도록 되어 있어, 장비 사양이 확정되기 전후로 유연하게 대응할 수 있도록 구성하였다.

출력창은 Figure 2와 같이 4개의 창으로 구분되어 있다. 첫 번째 출력창에서는 기상데이터, 데이터센터 에너지 구성비, 월별 PUE 등을 그래프로 확인할 수 있고, 이 중 월별 PUE는 ‘Overview 입력창’에서 선택한 부분 부하 조건에 따라 PUE를 비교해서 출력한다. 두 번째와 세 번째 출력창에서는 월별 냉방 에너지 변화 및 이코노마이져 적용시 Free cooling, Mixed cooling, Mechanical cooling 운전시간을 확인할 수 있다. 그리고 4번째 출력창에서는 세 개의 출력창에서 그래프로 보여진 데이터를 수치로 확인할 수 있도록 테이블 형태로 결과를 제공한다.

https://cdn.apub.kr/journalsite/sites/kiaebs/2024-018-03/N0280180302/images/Figure_KIAEBS_18_3_02_F1.jpg

Figure 1.

Input windows

https://cdn.apub.kr/journalsite/sites/kiaebs/2024-018-03/N0280180302/images/Figure_KIAEBS_18_3_02_F2.jpg

Figure 2.

Output windows

프로그램의 알고리즘

본 연구에서 개발된 프로그램은 데이터센터 냉방 시스템 구성 장비의 off-design 성능을 고려하여, 각 장비의 동력을 매 시각 계산한 후, 이를 운영 시간에 따라 합산하여 총 에너지 소비량을 산출한다. CRAH (computer room air handler), 냉동기, 냉수 펌프, 냉각수 펌프의 매 시각 동력 계산은 Engineering reference (DOE, 2019)를 참고한 선행 연구(Kim and Kim, 2021)의 알고리즘(부록)을 차용하였고, 선행 연구(Kim and Kim, 2021)에서 미흡했던 냉각탑 해석 부분의 알고리즘을 Engineering reference (DOE, 2019)의 Variable speed cooling tower를 참고하여 수정하였다.

Kim and Kim (2021)의 연구에서는 냉각탑 팬 풍량이 일정한 최소 풍량 이하로 떨어질 경우 팬을 off 상태로 가정하고, 냉각수 온도를 설정온도에 고정하는 단순한 가정을 적용했다. 그러나 실제 변풍량 냉각탑 운전에서는 외기 습구온도의 감소에 따라 냉각탑 팬 풍량을 점차 줄여 설정온도를 유지하다가, 최소 풍량 이하로 떨어지면 팬의 on-off를 반복하며 설정 냉각수 공급온도를 제어한다. 그리고 외기 습구온도가 더 낮아져 팬이 off 상태(free convection)에 이르면, 냉각수 온도는 설정온도 이하에서 외기 습구온도와 어프로치 온도에 따라 변화한다. 따라서, 본 연구에서는 냉각탑 팬이 on-off를 반복하면서 냉각수 온도를 제어하다가 free convection 상태에서 냉각수가 설정온도 이하로 떨어지는 부분을 반영하고, 변화하는 외기 습구온도에 따른 냉각탑 팬 풍량의 동적 조절과 그에 따른 냉각수 온도의 변화를 보다 정밀하게 모델링할 수 있도록 알고리즘을 수정하였다. t시간에서 냉각탑 팬 동력( $P_{C T f a n} (t)$ )은 식 (1)과 같이 계산하고, 해당식의 $F P R_{C T} (t)$ 과 $F a n P L R (t)$ 을 구하기 위해서 다음 Step 1~4를 순차적으로 수행함으로써, 매 시각 냉각탑 팬 동력과 냉각수 공급온도를 계산한다.

(1)

P_{C T f a n} (t) = \{P_{d, C T f a n} \times (a + b F P R_{C T} (t) + c F P R_{C T f a n} (t)^{2} + d F P R_{C T f a n} (t)^{3})\} \times F a n P L R

Step 1.

① 냉각탑 팬이 최대속력으로 운전될 때, 냉각수 공급온도( $T_{C W, C, f a n M A X} (t)$ )를 계산

② $T_{C W, C, f a n M A X} (t)$ 와 설정 냉각수 공급온도( $T_{d, C W, C}$ )를 비교하여 높은 경우 냉각탑 팬은 최대속력으로 운전하고, 낮은 경우, Step 2를 수행

(2)

T_{C W, C, f a n M A X} (t) = T_{o W B} (t) + T_{a p p r o a c h} (t) = T_{C W, H} (t) + T_{r a n g e} (t)

(3)

F P R_{C T} (t) = \frac{f_{C T, f a n} (t)}{f_{d, C T}} = 1

(4)

F a n P L R (t) = 1

* $T_{a p p r o a c h}$ 는 EnergyPlus의 YorkCalc으로 계산할 수 있으나, $T_{r a n g e}$ 에 대한 함수이므로, 반복계산을 수행.

Step 2.

① 냉각탑 팬이 off된 상태의 냉각수 공급온도( $T_{C W, C, f a n O F F} (t)$ )를 계산

② $T_{C W, C, f a n O F F} (t)$ 와 설정 냉각수 공급온도( $T_{d, C W, C}$ )를 비교하여 낮으면 냉각탑 팬은 off상태로 운전하고, 높은 경우 Step 3를 수행

(5)

T_{C W, C, f a n O F F} (t) = T_{C W, H} (t) - \{F r a c_{f r e e c o n v} (T_{C W, H} (t) - T_{C W, C, f a n M A X} (t))\}

(6)

F a n P L R (t) = 0

여기서, $F r a c_{f r e e c o n v}$ : Fraction of tower capacity in free convection regime,기본값 0.125

Step 3.

① 냉각탑 팬이 최소속력으로 운전될 때, 냉각수 공급온도 ( $T_{C W, C, f a n M I N} (t)$ )를 계산

② $T_{C W, C, f a n M I N} (t)$ 와 설정 냉각수 공급온도( $T_{d, C W, C}$ )를 비교하여 낮으면 냉각탑 팬은 on과 off를 반복하면서 설정 냉각수 공급온도로 제어하고, 높은 경우 Step 4를 수행

(7)

T_{C W, C, f a n M I N} (t) = T_{o W B} (t) + T_{a p p r o a c h} (t) = T_{C W, H} (t) + T_{r a n g e} (t)

(8)

F P R_{C T} (t) = \frac{f_{C T, f a n M I N} (t)}{f_{d, C T}} (Default : 0.2)

(9)

F a n P L R (t) = \frac{T_{C W, C, f a n O F F} - T_{s e t p o i n t}}{T_{C W, C, f a n O F F} - T_{C W, C, f a n M I N}}

* $T_{a p p r o a c h}$ 는 EnergyPlus의 YorkCalc으로 계산할 수 있으나, $T_{r a n g e}$ 에 대한 함수이므로, 반복계산을 수행.

Step 4.

① 냉각탑 팬은 냉각수 공급온도가 설정 냉각수 공급온도( $T_{d, C W, C}$ )가 되도록 제어됨

② 냉각수 공급온도가 설정 냉각수 공급온도가 되도록 냉각탑 팬 속력을 계산.

(10)

T_{C W, C} (t) = T_{d, C W, C} = T_{o W B} (t) + T_{a p p r o a c h} (t)

(11)

T_{a p p r o a c h} (t) = f (F P R_{C T} (t))

(12)

F a n P L R (t) = 1

* $T_{a p p r o a c h}$ 는 변수에 대한 YorkCalc 함수로 계산할 수 있으므로, $F P R_{C T}$ 는 YorkCalc 역함수로 계산

이상 프로그램에 적용된 냉방 에너지 계산 알고리즘을 도식화하면 Figure 3과 같다.

https://cdn.apub.kr/journalsite/sites/kiaebs/2024-018-03/N0280180302/images/Figure_KIAEBS_18_3_02_F3.jpg

Figure 3.

Flow chart of the cooling energy and PUE calculation of the chilled water system with no economizer

프로그램의 검증

검증 시뮬레이션 대상건물 및 시스템 개요

본 연구에서 개발된 프로그램의 검증 과정은 EnergyPlus 알고리즘을 기반으로 하는 에너지 분석 도구인 DesignBuilder를 사용하여 실시되었다. 인천에 위치한 가상의 10 MW 규모 데이터센터를 DesignBuilder로 모델링하고, 얻은 결과 데이터를 본 연구에서 개발한 프로그램인 DCSim의 결과와 비교 분석함으로써 프로그램의 정확성 및 신뢰성을 평가하였다. 가상 데이터 모델링 시, 서버룸은 공조효율을 고려하여 컨테인먼트가 설치되었다고 가정하였으며, CRAH의 급기온도 설정은 컨테인먼트까지의 열획득을 고려하여 Cold aisle 온도보다 2℃ 낮은 공기를 급기하여 내부 온도를 제어하도록 하였다(Table 2 참조). 데이터센터의 냉방 시스템은 중앙 냉수식을 채택하고, CRAH의 급기온도는 23℃로 설정하여 Cold aisle의 온도를 유지하도록 하였다. 서버의 입구와 출구 온도 차이를 10℃로 가정하고, 추가로 예상되는 열 획득량을 2℃로 고려하여, CRAH의 급배기 온도 차를 총 12℃로 결정하였다. 냉수 및 냉각수의 공급 및 환수 온도 설정은 각각 10℃/18℃와 30℃/35℃로 적용하였다.

Table 2.

Building description

Parameters	Values
Location	Incheon
Total floor area	10,000 m²
ITE heat load	1,000 W/m²
Containment	Cold aisle containment
Indoor set temperature	25℃
Operation	24hr / 7days

이러한 설정을 바탕으로, DesignBuilder의 autosize 기능을 이용해 장비 용량을 결정하고, 해당 데이터를 DCSim 입력으로 활용하였다(Table 3 참조). 또한, 냉방 시스템의 에너지 분석 알고리즘을 검증하기 위해 DesignBuilder에서 생성된 시간당 냉방부하 데이터를 DCSim에 입력하여 부하가 동일한 조건에서 시뮬레이션을 통해 얻은 에너지 분석 결과를 상호 비교 검증하였다.

중앙 냉수 시스템에 대한 검증뿐만 아니라, 직접 외기냉방이 적용된 모델의 검증도 함께 수행하였다. 중앙 냉수 시스템 모델에 외기냉방을 위한 배기팬을 추가하였고, 외기냉방의 제어 메커니즘은 외기의 노점온도( $T_{O A, D P T}$ ) 및 건구온도( $T_{O A, D B}$ )를 기준으로 Figure 4와 같이 설정되었다. 사용자는 프로그램 내에서 건구온도의 상한값( $T_{D B, h i g h l i m i t}$ )과 하한값( $T_{D B, l o w l i m i t}$ )을 입력하며, ASHRAE thermal guideline에 명시된 노점온도의 상한 기준(15℃)에 따라 외기냉방의 작동 조건을 결정한다.

설정한 제어 로직에 따라, 외기의 노점온도가 15℃ 이상이거나 건구온도가 설정된 상한 기준을 초과하는 경우에는 기계적 냉방(Mechanical cooling)을 위해 냉동기만을 가동한다. 반면, 외기의 노점온도가 15℃ 미만이면서 건구온도가 설정된 하한과 상한 사이에 위치하는 경우에는 외기냉방과 냉동기를 병렬로 운전하여 혼합 냉방(Mixed cooling)을 실시한다. 마지막으로, 외기의 노점온도가 15℃ 미만이고 건구온도가 설정된 하한 기준 이하인 경우에는 냉동기를 가동하지 않고 외기만을 이용(Free cooling)하여 냉방을 진행한다.

Table 3.

Cooling system parameters

Components	Parameters	Values
Components	Parameters	DesignBuilder	DCSim
CRAH fan	Supply temp. / Return temp.	23/35℃	23/35℃
	Design flow rate	778.6 m³/s	778.6 m³/s
	Static pressure	500 Pa	-
	Rated fan power	556.1 kW	556.1 kW
Chiller	Capacity	14,537.5 kW	14,537.5 kW
	COP	8	8
	Rated power	1817.2 kW	1817.2 kW
CHW (Chilled water) pump	Supply temp. / Return temp.	10/18℃	10/18℃
	Design flow rate	0.432921 m³/s	0.432921 m³/s
	Static pressure	400,000 Pa	-
	Rated pump power	246.7 kW	246.7 kW
CW (Cooling water) pump	Supply temp. / Return temp.	30/35℃	30/35℃
	Design flow rate	0.782600 m³/s	0.782600 m³/s
	Static pressure	400,000 Pa	-
	Rated pump power	445.9 kW	445.9 kW
Cooling tower (Counter flow)	Capacity	16,258 kW	16,258 kW
	Design approach temp.	5℃	5℃
	Rated fan power	171.7 kW	171.7 kW
EA (Exhaust) fan (For air-side economizer)	Design flow rate	778.6 m³/s	778.6 m³/s
	Static pressure	200 pa	200 pa
	Rated fan power	222.4 kW	222.4 kW

https://cdn.apub.kr/journalsite/sites/kiaebs/2024-018-03/N0280180302/images/Figure_KIAEBS_18_3_02_F4.jpg

Figure 4.

Flow chart of economizer operation conditions

검증결과

Figure 5는 중앙 냉수 시스템 및 외기냉방 시스템에 포함된 주요 장비들의 시간별 동력 소비를 나타내는 그래프이다. CRAH 팬, 냉동기, 펌프, 냉각탑 팬의 시간별 동력 소비량을 나타내는 이 그래프는 본 연구에서 개발된 프로그램과 DesignBuilder를 통해 해석된 결과가 상당한 일치를 보임을 나타낸다. 특히 두 결과 간의 그래프 파형이 일치한다는 점은, 주어진 입력 조건 하에서 두 프로그램의 계산 알고리즘이 동일하다는 것을 의미한다. 이를 통해 본 연구에서 개발된 프로그램이 EnergyPlus 알고리즘을 오류없이 구현하였음을 확인할 수 있다.

Table 4는 중앙 냉수 시스템 모델 및 외기냉방이 적용된 모델을 DCSim과 DesignBuilder를 사용하여 해석한 결과를 장비별 연간 냉방 에너지 소비량과 CVRMSE (Coefficient of Variation of the Root Mean Square Error)를 통해 비교한 결과이다. CVRMSE는 ASHRAE guideline 14 (ASHRAE, 2014)에 따라, 월별 데이터 적용 시 15%, 시간별 데이터 적용 시 30% 미만일 경우 모델의 유효성이 인정된다.

중앙 냉수 시스템 모델에서 시간별 데이터에 기반한 CVRMSE 계산 결과, CRAH 팬과 냉동기의 경우 2% 미만, 냉수 및 냉각수 펌프는 0%, 냉각탑 팬은 9.3%로 나타나, 모든 장비가 유효 기준치 이하의 CVRMSE 값을 보여 모델의 유효성을 입증하였다. 외기냉방이 적용된 모델에서는 CRAH 팬이 1.4%, 냉동기가 10.2%, 냉수 및 냉각수 펌프가 4.8%, 냉각탑 팬이 10.75%의 CVRMSE 값을 나타내어, 중앙 냉수 시스템 모델과 마찬가지로 모든 장비가 유효 기준을 만족하는 결과를 보였다.

https://cdn.apub.kr/journalsite/sites/kiaebs/2024-018-03/N0280180302/images/Figure_KIAEBS_18_3_02_F5.jpg

Figure 5.

Hourly power consumption of equipment

Table 4.

Comparison of cooling energy and CVRMSE

Parameters	Chilled water system			Chilled water system + ASE
	Energy consumption, MWh		CVRMSE, %	Energy consumption, MWh		CVRMSE, %
	DesignBuilder	DCSim	CVRMSE, %	DesignBuilder	DCSim	CVRMSE, %
CRAH fan	3,776	3,732	1.16	3,704	3,732	1.40
Chiller	10,362	10,160	1.96	3,106	3,005	10.24
Chilled water pump	2,127	2,127	0	687	687	4.75
Cooling water pump	3,844	3,844	0	1,242	1,243	4.75
Cooling tower fan	168	178	9.29	108	111	10.70

결 론

본 연구는 건설회사가 데이터센터 프로젝트를 효율적으로 관리할 수 있도록 지원하는 프로그램의 개발과 검증을 목적으로 한다. 개발된 프로그램은 데이터센터의 특성과 프로젝트 진행 과정에서 접근 가능한 정보의 수준을 고려하여, 냉방 에너지 사용량 및 PUE를 예측하는 기능을 제공한다. 본 연구의 핵심 결과를 요약하면 다음과 같다.

(1)365일 24시간 냉방부하가 발생하고 운영 초기에 부분 부하 상태에서 장기간 운영되는 데이터센터의 특징을 고려한 에너지 해석 알고리즘을 개발하였다. 이 알고리즘은 장비 성능의 변화를 반영하여 데이터센터의 에너지 소비를 보다 정확하게 예측하고 평가할 수 있도록 설계되었다.

(2)사용자가 장비의 off-design 성능 데이터를 라이브러리를 통해 선택하거나 직접 입력할 수 있게 함으로써, 건설회사가 데이터센터 프로젝트의 다양한 단계에서 제공되는 정보에 유연하게 대응할 수 있게 하였다. 이를 통해 장비 사양 결정 전에도 다양한 성능 데이터를 선택할 수 있고, 최종적으로 결정된 장비에 대해서는 제조업체로부터 제공받은 데이터를 통해 보다 정밀한 에너지 계산을 수행할 수 있다.

(3)본 연구에서 개발된 프로그램의검증 결과 개발된 프로그램과 DesignBuilder로부터 도출된 장비의 시간별 동력 데이터 파형이 일치하는 것을 확인함으로써, 본 프로그램이 EnergyPlus 알고리즘에 기반한 계산 알고리즘을 오류없이 구현하였음을 확인하였다. 또한, CVRMSE값이 0%에서 10.75% 범위로 나타나, ASHRAE guideline 14에서 제시한 모델의 유효성 기준 30% 이내를 만족함으로써 프로그램의 신뢰성을 입증하였다.

본 연구에서 진행된 DCSim 프로그램에 대한 검증 범위는 냉방 시스템을 구성하는 장비들의 매시각 동력을 계산하는 알고리즘이다. 따라서 팬, 펌프, 냉동기, 냉각탑 등 핵심 장비의 동력 계산 알고리즘의 정확도를 평가하기 위해 냉방부하 데이터는 DesignBuilder에서 생성한 데이터를 활용하였고, PUE 계산을 위해 필요한 전력손실은 IT장비 효율을 가정하여 계략적으로 계산하였다. DCsim 프로그램에서 생성된 냉방부하로 에너지를 계산한 결과에 대한 검증 및 PUE 예측값의 신뢰도를 평가하는 연구는 추가적으로 진행될 예정이다.

본 연구에서 개발한 DCSim 프로그램은 CRAH에서 토출된 공기로 IT장비에서 발생되는 열을 냉각하는 air-cooling 방식이 적용된 데이터센터의 냉방에너지 해석 및 PUE 예측을 목적으로 고밀도 서버 냉각을 위한 liquid-cooling 방식 또는 immersion-cooling 방식의 냉각 시스템 해석은 다루지 않는다.

Appendix. 데이터센터 냉방기기 동력 계산(Calculating of the power of the data center cooling equipments)

CRAH 팬동력(CRAH fan power)

CRAH의 매시간 팬 소비동력 $P_{C R A H, f a n} (t)$ 은 팬의 설계 동력( $P_{d, C R A H}$ )과 Fan Ratio( $F R_{C R A H} (t)$ ), 그리고 성능계수 데이터( $a ~ d$ )를 활용하여 식 A1에 의해 계산한다. 여기서 Fan Ratio는 해당 시간에 필요한 풍량( $f_{C R A H, f a n} (t)$ )과 설계풍량( $f_{d, C R A H, f a n}$ )의 비율로 정의되며 식 A2에 의해 계산할 수 있다.

(A1)

P_{C R A H, f a n} (t) = P_{d, C R A H} \times (a + b ∙ F R_{C R A H} (t) + c ∙ F R_{C R A H} (t)^{2} + d ∙ F R_{C R A H} (t)^{3})

(A2)

F R_{C R A H} (t) = \frac{f_{C R A H, f a n} (t)}{f_{d, C R A H, f a n}}

냉수/냉각수 펌프동력(Chilled / cooling water pump power)

냉수와 냉각수 펌프에서 요구되는 동력 $P_{p u m p} (t)$ 의 계산은 CRAH 팬 동력과 유사하게 식A3와 식A4에 의해서 계산한다.

(A3)

P_{p u m p} (t) = P_{d, p u m p} \times (a + b ∙ P R (t) + c ∙ P R (t)^{2} + d ∙ P R (t)^{3})

(A4)

P R (t) = \frac{f_{p u m p} (t)}{f_{d, p u m p}}

냉동기 동력(Chiller power)

냉동기의 소비 동력 $P_{c o m p} (t)$ 는 냉수 및 냉각수의 온도에 따라 영향을 받는 가용용량과 냉수, 냉각수 온도, 그리고 부분 부하 운전에 따라 달라지는 냉동기 효율을 고려하여 식A5~A10에 의해서 계산한다.

(A5)

P_{c o m p} (t) = P_{d, c o m p} \times C A P F T (t) \times E I R F P L R (t) \times E I R F T (t)

(A6)

C A P F T (t) = a + b ∙ T_{C H W, C} + c ∙ T_{C H W, C}^{2} + d ∙ T_{C W, C} (t) + e ∙ T_{C W, C} (t)^{2} + f ∙ T_{C H W, C} ∙ T_{C W, C} (t)

(A7)

E I R F P L R (t) = a + b ∙ P L R (t) + c ∙ P L R (t)^{2}

(A8)

P L R (t) = \frac{q_{C h i l l e r} (t)}{q_{C h i l l e r, a v a i l} (t)}

(A9)

q_{C h i l l e r, a v a i l} (t) = C A P F T (t) \times Q_{d, C h i l l e r}

(A10)

E I R F T (t) = a + b ∙ T_{C H W, C} + c ∙ T_{C H W, C}^{2} + d ∙ T_{C W, C} (t) + e ∙ T_{C W, C} (t)^{2} + f ∙ T_{C H W, C} ∙ T_{C W, C} (t)

Acknowledgements

이 논문은 포스코 E&C와 2024년도 광운대학교 교내학술연구비 지원에 의해 연구되었음.

References

Cho, J.K., Jeong, C.S., Kim, B.S. (2007). Study on load-profiles and energy consumption for the optimal IT environment control in the (internet) data center. Journal of the Airchitectural Institute of Korea, 23, 209-216.

Cho, J.K., Park, W.P., Shin, S.H., Lee, J.Y. (2013). Development of the cooling energy analysis tool for green data centers and evaluation of alternatives for different climate. Journal of the Airchitectural Institute of Korea, 29(7), 289-298.

Cho, J.K., Yang, J.Y., Lee, C.K., Lee, J.Y. (2015). Development of an energy evaluation and design tool for dedicated cooling systems of data centers: Sensing data center cooling energy efficiency. Energy and Buildings, 96, 357-372.

10.1016/j.enbuild.2015.03.040

Ham, S.W., Kim, M.H., Jeong, J.W. (2014). Energy Saving Potentials of Various Air-side Economizers in a Modular Center for Supply Air Conditions and Geological Locations. Journal of the Architectural Institute of Korea Planning & Design, 30(6), 263-270.

10.5659/JAIK_PD.2014.30.6.263

Jung, Y.H. (2019). Inlet temperature change of data center server system by temperature condition of cooling coil. Chungwoon Academin Journal, 6, 85-95.

Kim, J.H., Kim, H.G. (2021). The cooling system design support and energy analysis tool for performance-based design of a data center. Korean Journal of Air-Conditioning and Refrigeration Engineering, 33(10), 543-555.

10.6110/KJACR.2021.33.10.543

Kim, Y.J., Song, Y.H., Ha, J.W., Im, W.U., Kim, H.Y. (2022). Energy Efficiency Analysis on Free Cooling Operation Mode of the Water-side Economizer System in Data Center. Journal of KIAEBS, 16(1), 1-13.

Geng, H. (2015). Data Center Handbook. Hoboken, New Jersey, USA: Wiley & Sons, Inc.

ASHRAE. (2014). Guideline 14-2014: Measurement of energy, demand, and savings. ASHRAE, Atlanta, GA, USA.

Belady, C., Rawson, A., Pfleuger, D., Cader, T. (2008). Green Grid data center power efficiency metrics: PUE and DCiE, in: Whitepaper # 6 The Green Grid.

Bhatia. A. (2015). HVAC Cooling System for Data Centers, Continuing Education and Development, Inc 22.

DOE (Department of Energy) (2019). EnergyPlus Version 9.2.0 Documentation: Engineering reference. U.S. DOE, Ch.16.

Lawrence Berkeley National Laboratory (LBNL). (2016). Data center profiler (DC Pro) tool: User's manual. Lawrence Berkeley National Laboratory.

Schneider. (2018). Data center efficiency & PUE Calulator, [Online]. Available at: https://www.se.com/ww/en/work/solutions/system/s1/data-center-and-network-systems/trade-off-tools/data-center-efficiency-and-pue-calculator/ [Accessed 2 May 2024].

Journal of Korean Institute of Architectural Sustainable Environment and Building Systems ISSN:1976-6483(Print) 2586-0666(Online) 한국건축친환경설비학회논문집

Preview

Development of a Program for Analyzing Data Center Cooling Energy and Power Usage Effectiveness (PUE) Considering Off-Design Performance of Equipment

ABSTRACT

MAIN

Table 1.

Comparison of data center PUE calculation tools

Figure 1.

Input windows

Figure 2.

Output windows

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

Figure 3.

Flow chart of the cooling energy and PUE calculation of the chilled water system with no economizer

Table 2.

Building description

Table 3.

Cooling system parameters

Figure 4.

Flow chart of economizer operation conditions

Figure 5.

Hourly power consumption of equipment

Table 4.

Comparison of cooling energy and CVRMSE

Appendix. 데이터센터 냉방기기 동력 계산(Calculating of the power of the data center cooling equipments)

(A1)

(A2)

(A3)

(A4)

(A5)

(A6)

(A7)

(A8)

(A9)

(A10)

Acknowledgements

References