導讀：

現代數據中心的不斷發展演變導致了其能源消耗需求的不斷增加，反向思維來看，我們也需要更好的冷卻技術和方案。而數據中心運營商們對于冷卻成本的控制也是至關重要的，故而他們需要選擇恰當的方法來平衡冷卻效率和冷卻支出。

數據中心機房

一、如何選擇數據中心冷卻技術解決方案？

從自身實際情況出發——冷靜的思考

選擇正確的冷卻技術和方案并非易事，并且其需要在申請相關的資金預算之前進行徹底的審查和規劃。無論是對舊設備的翻新改造還是完全的升級，數據中心管理人員需要能夠隨著時間的推移看到投資回報率，但只有當他們花時間來檢查所有潛在的備選方案時，才能看到。

數據中心冷卻散熱可能不是IT技術員們感興趣并廣泛討論的一個話題。但是，如果處理不當的話，其可能造成成本代價昂貴的錯誤。而如果不采取必要的預防措施或者如果太長時間依賴過時的冷卻技術的話，或將造成您數據中心的服務器能耗的顯著增加。而由于能源需求的增加，能源使用量也相應顯著增加，數據中心冷卻的重要性也在不斷提升。

數據中心設備冷卻

二、數據中心的現代冷卻方法

數據中心設備冷卻的關鍵性，還有高密度的機柜所產生的高熱水平，現在已經擴展了傳統常規數據中心冷卻的限制。數據中心的冷卻可以并且應該使用最新的技術和方案來得到增強。一些最新和最有效的技術方案是非常先進的，而其他一些技術方案仍然存在其固有的缺陷。

數據中心管理人員需要了解所有方法，這樣才可以根據不同的數據中心設備以及其他相關條件，選擇最佳的冷卻技術方案。

1、傳統的密封遏制方法仍然有效

密封遏制(containment)的方法其實是熱通道/冷通道概念的延伸。熱通道密封和冷通道密封已經在計算機房中使用多年了，以提高效率，增加機架密度和提高計算機房的總體利用率。到目前為止，整個數據中心行業主要使用硬墻密封遏制和軟簾密封遏制的解決方案來實現這些目標。

熱 / 冷通道密封

（1）熱通道密封

機架行的兩端被門或塑料簾幕堵住，以進一步防止空氣混合。如果門封閉了熱通道，其被稱為熱通道密封。

（2）冷通道密封

如果其包圍封閉了冷通道，那就是冷通道密封。

（3）完全/部分密封遏制

如果只有熱通道或冷通道的端部被阻塞，那么其是部分的密封遏制。如果屏障安裝在過道上，或從機柜頂部到天花板，這將構成完全密封遏制。

據稱，部分密封遏制的效率可達完全密封遏制效率的80%，這兩者都有助于提高新建和現有數據中心的制冷和能源效率。

NFPA-75防火標準

（4）防火問題

在現有的數據中心操作空間，主要關注的問題是防火。完全密封遏制可以防止水份的分散蒸發或抑制氣體的流通，這是相當危險且非法的。解決這一問題有三種方案：

①、在熱通道和冷通道中安裝噴淋頭或惰性氣體噴頭;

②、可在探測到煙霧時降下豎立屏障;

③、或采用部分的密封遏制。

每種類型的方案都各有其利弊，但全美國所有的數據中心操作都必須符合NFPA-75防火標準，特別是當使用降下屏障時。

由于冷卻通常是除計算設備本身之外最大的電力資源消耗者，因此，數據中心操作運營人員應考慮某種形式的密封遏制。

2、熱輪和絕熱冷卻提高效率的冷卻

（1）熱輪

熱輪(heat wheel)是大型的，緩慢旋轉的裝置，具有多個空氣室。一半的輪子在戶外，當輪子轉動時，室外的冷空氣被輸送到數據中心內部。而內部的熱空氣則被輸送到戶外。在其旋轉期間這些復雜的輪子作為熱交換器，并帶來只有少量的外部空氣。輪子轉動所需的能量很小，并且其在大多數氣候條件下都是有效的。在所有的“免費冷卻”形式中(即：使用環境空氣而非機械制冷來冷卻)，熱輪可能位列能效清單列表的頂部。

（2）絕熱冷卻

絕熱冷卻( Adiabatic cooling)是蒸發冷卻的一種奇特方式。將水從液體變為蒸汽以消耗熱量，因此如果我們在溫暖、干燥的氣候下在室外往室中噴水，水會快速蒸發，然后冷卻。如果我們同時通過在室內傳輸熱空氣，空氣將被冷卻。因此，絕熱冷卻是一種節能的散熱方式，并且在該過程中使用的水量通常小于冷卻塔所消耗的水量。

（3）熱源冷卻系統

雖然它們在許多方面有所不同，但是在熱源冷卻系統類別中的方法卻具有類似的功能。

行級冷卻(In-Row Cooling，IRC)基本上將計算機房的空調(CRAC)從房間周邊移動到了機柜行中。冷卻單元設計為類似于機柜，并且放置在機柜之間或機柜行的端部。在這里，他們將空氣直接輸送到機柜前面的冷通道。同樣重要的是，IRC將從熱通道排出的空氣直接排入每個冷卻單元的后部，留下很少的熱空氣重新循環——即使存在開放路徑，例如在部分密封遏制設計中。由于空氣路徑短，與周邊單元相比，所需的風扇功率低。

控制空氣流向

（4）控制空氣流向方法

一些IRC包括控制空氣流向的方法。所有這些都使用高效率的風扇，具備變速控制以自動匹配冷卻與熱釋放，從而最小化能源使用。最常見的控制方法依賴于連接到柜門前端的傳感器來監測入口的空氣溫度和濕度。IRC可用于冷凍水，壓縮機和基于制冷劑的系統。一些可以提供濕度控制，這意味著它們還需要冷凝排水管連接，而其他則只能提供等濕冷卻(sensible cooling)。

IRC的最大缺點是它們占用的機柜位置——從12到30英寸的寬度不等。 雖然通過消除了對于大的周邊所需的CRAC的使用通常抵消了占地面積的要求，但是行內單元破壞了機柜行的連續性，這在一些安裝中是非常重要的。

機柜冷卻裝置上方是基于制冷劑的，這吸引了在其數據中心運行的水管有偏執偏好的數據中心管理人員們。但是制冷劑系統也接近能源效率的規模頂端，并且不會吞噬地板空間，因為它們或者直接位于機柜之上，或者在機柜行之間的冷通道中。

它們最常用來補充傳統的CRAC，以便直接向高密度機柜提供額外的冷卻。由于這些單元僅提供等濕冷卻，因此CRAC仍然需要控制濕度，并冷卻低密度機柜。機柜上方機組需要占用空間，并且在設計過程中與其他架空基礎設施進行精心的協調。

（5）后門熱交換器(RDHxs)

后門熱交換器(RDHxs)取代了傳統的機柜上的穿孔后門。從計算設備排出的熱量通過門中的線圈，在其逸出之前用冷的循環水進行中和。這意味著入口和出口的溫度是相同的。

RDHx冷卻器

（6）RDHx冷卻器

RDHx冷卻器的一大優勢是其能夠與溫水一起使用。傳統的建筑物冷卻系統使用45華氏度的水，但是，在現代數據中心建筑中，55至60華氏度的溫度變得越來越普遍。與大多數冷卻單元不同，RDHx在高溫下仍然表現良好。被動的RDHxs被設計為通過門線圈低壓降——排名能源效率規模的頂級位置。

RDHx單元還可以附加到幾乎任何規模尺寸的機柜或使用適配器框架制造的設備。它們的主要缺點是將機柜深度增加了大約6英寸，每個機柜需要水管和閥門，以及連接軟管所需的清除空間，因此門可以打開。 當軟管與地板桁條相沖突時，這在活動地板設計中是具有挑戰性的。

請記住，RDHx的安裝從不完全受控制，因為它們依靠重新循環來運行。因此，在主要使用RDHx冷卻的冗余設計中是固有的。

自冷柜可以可以在很大程度上幫助解決這一問題，特別是當需要幾個高密度柜，而實施重大的冷卻升級又不現實的時候。機柜是完全封閉的，內置冷卻，使設備熱量在機柜內冷卻，并重新循環到設備進水口。這些機柜可以使用冷凍水或制冷劑連接;他們甚至可能包含自己的冷卻壓縮機，就像一臺大冰箱。

這些機柜最大的問題是冷卻故障。有具備冗余、“熱插拔”冷卻組件的機柜，但最常見的方法是自動門釋放，在發生冷卻故障的情況下打開后門。這意味著設備受到機房中的冷卻條件的影響，可能不足以持續幾分鐘。自冷卻裝置通常比其他機柜大，并且價格相當昂貴。然而，它們的成本要比實施重大的冷卻升級的成本低。

浸沒冷卻

3、浸沒冷卻

浸沒冷卻是一種新的、有趣的技術。服務器完全浸沒在不導電的冷卻劑中，例如純礦物油或3M研制的Novec冷卻液中，其包圍組件并散熱。固態驅動器是首選，但是如果它們被密封或懸掛在油位之上，則可以使用傳統的常規驅動器。這消除了10%到20%的服務器能源使用以及最易發生故障的元件。

液體的熱慣性可以在發生電源故障的情況下將服務器保持在溫度公差范圍內，根本不需要冷卻功率。一款系統可以維持25千瓦半小時的時長。系統可以打造100 kW或更大的容量，可以在任何氣候條件下運行，無需冷卻設備。在至少一款這樣的系統中，唯一的移動部件是循環泵，冷凝器水泵和冷卻塔風扇。

標準的為提供舒適度的建筑冷卻方案是為滿足在機房內工作的人員的需要所提供的。其結果是極端的能源效率(能源效率低至一款良好的風冷設計的50%)，并且潛在地降低了總成本，因為消除了對于操作環境涼爽的工廠的需要。一款有42臺機架承載了約300加侖的油或冷卻液，重量在2500磅和3000磅之間，但分配的重量超過了約12平方英尺，這導致其比今天許多的機架較低的地板負載。

液體冷卻

4、液體冷卻

直接的液體冷卻也可以被稱為“一切舊貌換新顏”。液體冷卻再次出現在高性能計算環境中，根據一些業內專家的預測，隨著企業服務器及其處理器變得越來越普及，而且更小更強大，液體冷卻將成為司空見慣的事，甚至是必要的。

這些系統要么循環冷卻水要么循環制冷劑，通過服務器以經由特殊散熱器直接從處理器去除熱量。這實質上是筆記本電腦多年來一直所使用的冷卻方法，采用內部閉環液體冷卻系統，其將處理器熱量移動到筆記本電腦外殼的邊緣，然后借助風扇排出散熱。用于服務器的直接液體冷卻將液體循環到每個機柜中的第二液體——熱交換器，或者有時甚至一直返回到中央冷卻系統。

這種技術最大的問題是潛在的泄漏和對管道連接以及所有電源和電纜的必要管理。制造商盡最大努力避免泄漏，借助使用液體管線以盡可能減少的連接點。

三、用密集的服務器機架設計

數據中心密度曾經是一個具有啟示性話題，這可能是為什么許多IT企業組織仍然處于4到6 kW機架密度的原因所在了。但是電源和熱管理已經為在大于10 kW服務器機架設計中的正常運行做好準備了。

猛漲的處理器內核和機箱刀片服務器設計使計算機機房空調(CRAC)和電源成本變得失控似乎是不可避免的。但是，更高的密度并不會因為設計師的擔心而扼殺服務器。虛擬化，節能硬件，積極的冷卻遏制和可接受的更高的操作溫度聯合起來，以防止熱耗盡陷入困境。

四、冷卻散熱的問題

并非每項工作負載使用一臺服務器，而是使用虛擬化技術適度的對服務器部署虛擬機管理程序，以支持10項、20項甚至更多的工作負載。設備必須將服務器壓縮到每個開放的機架空間中，以匹配由虛擬化支持的工作負載容量。同時，芯片在晶體管水平和更低的時鐘速度下變得更加密集，因此在設備更新中螺旋式增加處理器核心的數量幾乎不改變機架的總體能量消耗。

在數據中心中使用較少的機架，更少的利用服務器已經改變了散熱的方法。無需冷卻整個數據中心，使用空氣處理策略，如熱/冷通道，以節省流經操作空間的空氣流，操作運營人員部署密封遏制策略，并將運營操作區域縮小到一個更小的房間，甚至在幾臺機架內。在機架行或機架冷卻系統處理這些機架，切斷CRAC。

此外，美國采暖、制冷和空調工程師協會(ASHRAE)這樣的組織提出：將服務器入口溫度提高到80甚至90華氏度。

由于能源管理的這些進步，出現熱點和冷卻效率低下是不大可能的。然而，不良的規劃或復古設計將限制設施的效率增益。

五、熱點和其他冷卻問題

意外的障礙物或空氣路徑通道中的意外間隙會產生多余的熱量。例如，忽略服務器機架的擋板使冷卻的空氣流入機架中的意外位置，削弱其對其他服務器的影響，并增加出口溫度。

服務器功率的顯著增加也導致冷卻問題。例如，用高端刀片系統替換幾個白盒1U服務器大大增加了機架的功耗，并且不足的空氣流量可能阻礙全套刀片模塊的冷卻。如果冷卻方案不是專門為這種服務器而設計的，通常會出現熱點。

當您企業提高服務器機架密度時，請考慮數據中心基礎架構管理和其他系統管理工具，這些工具用于收集和報告每臺服務器和機架中的熱傳感器所提供的溫度數據。這些工具能夠識別違反熱限制，并采取必要的措施，從警告技術人員自動調用工作負載遷移到關閉系統，以防止過早的故障失效。

當服務器機架設計產生熱點時，IT團隊可以重新分配硬件設備。不是填充單臺機架，而是如果有可用空間的話，將多達一半的設備移動到第二臺機架，或者移走過熱的系統。

如果空間不能進行重新設計，則添加點冷卻裝置，例如用于數據中心使用的便攜式自包含空調。如果機架使用行內或機架內冷卻單元緊密排列，則降低設定點溫度可能更有效，而不是打開保護遏制屏障以添加點冷卻裝置。

六、熱管理

從長遠來看，更具突破性的技術可以幫助進行熱管理。水冷機架通過機柜門或其他空氣通道傳送冷凍水。水冷式服務器機架解決了廣泛的加熱問題 - 特別是當空氣溫度較低，或更高的空氣流動速率單獨不奏效時。

浸入式冷卻將服務器浸入冷卻的不導電、非腐蝕性材料(如礦物油)中。這種技術承諾帶來更高的冷卻效率，幾乎沒有噪聲，在功率損耗的情況下進行長期的熱穿越。

然而，這些熱點選項更適合于最近新建的數據中心，而不是普通的技術更新。

七、通過氣流管理實現更高效的冷卻

在采用最新、最偉大的組件技術方面——改善壓縮系統的容量控制，電子換向電機，變速驅動器等，無疑對降低現代數據中心的PUE是有益的。 然而，由于氣流管理問題，許多現有數據中心的運行效率依然低下。

旁路氣流

1、旁路氣流

一般來說，旁路氣流是問題的根源。做一個簡單的實驗，將數據中心的所有CRAC或CRAH空調CFM中的總氣流量匯總起來。 如果您不了解冷卻裝置上的CFM規格，請使用諸如550 CFM /噸冷卻水平的縮略規則進行粗略估計。 然后，用等式估算你的風冷IT設備CFM;

現在比較兩個氣流速率數字。 總冷卻單元CFM超過IT CFM的數量代表了您的效率權利。從效率的角度來看，5-10%的盈余是優秀的，50%是壞的。

剩余是額外的氣流，通過幾種方式在消耗成本，但在理論上其實是不需要的。 不幸的是，補救措施并不像在兩個數字匹配之前關閉幾個冷卻單元一樣簡單。由于不完全耦合的冷卻，通常情況下，隨著剩余冷卻能力的降低，有可能會形成熱點。換句話說，只是因為我們將冷卻系統的氣流速度與IT氣流速度相匹配，這并不意味著旁路氣流不再存在。

旁路氣流繞過氣流的影響，當冷卻空氣返回到空調而沒有通過任何IT設備和熱排氣返回到IT設備而不重新冷卻時，就會產生熱空氣。

這就是氣流組織管理和Upsite Technologies的使命科學來解決這個問題。為了節省來自減少過剩氣流的節省，必須特別注意控制剩余氣流的傳送位置。設備設計允許我們超過這種氣流的控制程度決定了冷卻系統氣流速率與IT氣流速率的匹配程度。

人們可以想象出一種極端的情況，即一排機架的集合入口和出口可以通過密封的供應和返回管道以完全相等的流量直接耦合到周邊空調。 雖然這種情況將允許完美的CFM匹配，沒有旁路氣流，它缺乏實用性，是不靈活和昂貴的。

考慮一個裝有房間級的空調的房間，提高地板高度。

假設為了討論，機架深度一致。實現機架面對面排放, 精密空調對著冷通道，從冷通道中送冷氣流，從熱通道中返回熱空氣流， 這些效果通過將這些空調與熱通道對準并使其與冷通道對準相一致而有所減輕，但是在一定程度上仍然存在未被引導的返回系統。

通過在電纜的插入中密封泄漏，使凸起的地板保持良好的密封性能。由于布線方便，電纜孔常常位于位于熱通道中，而不是冷通道。

將冷空氣泄漏到熱通道中是旁路氣流，并且不利于降低排氣流的不良影響，無論從熱通道到空調返回的耦合程度如何。在一些案例中，一個或更多的空機柜被部署在它們最終會容納的IT設備的前面

這可能導致在機架中形成大部分“透明”的氣流。 隨著機架排列的自然邊界缺失，傳統的“熱通道冷通道”房間布局在一些地區有效地成為劣質的“背對背”布局。 重要的是通過在每個未使用的U空間中安裝擋板來防止這種旁路氣流。

類似地，任何可能允許氣流在機架中從后向前流動的其它孔應該被密封。 這些可能包括軌道一側的空間(特別是在一些較寬的網絡機架中)，在某些情況下可能包括最高和最低U空間之上和之下的空間。 安裝盲板后已經在高壓差下進行泄漏測試，以確保最佳的內部機架旁路氣流密封。

最終，回風氣流返回后，解決方案專注于在氣流從機柜出來并進入熱通道后被正確引導回風。 在這個階段，旁路氣流問題可能包括在機架下方，機架之間，行列頂部和圍繞通道末端纏繞的空氣。

機架下方的區域是從機架框架的底部和地板之間的間隙產生的，因為大多數機架具有將框架在地板上提升一英寸或兩英寸的腳或腳輪。 當機架制造商的設計不允許零間隙機架間距或機架寬度略小于24“時，相鄰機架之間的開放面積會導致，但是仍然使用24”間距，以便保持機架與地板對齊。 在機架和機架下間隙之間往往較窄，它們也很長。總的來說，這些間隙可以在可能發生旁路氣流的熱通道和冷通道之間增加多達幾平方英尺的開放面積。

數據中心之間的安全擴展，將有助于恢復熱通道/冷通道布局和熱或冷通道遏制的完整性。 控制機架周圍的旁路氣流在沒有回流空氣冷卻系統的數據中心中，熱空氣旁路流過機架頂部和排列末端的問題非常普遍。本文中給出的的解決方案，其簡單性和低成本是前所未有的。 雖然全通道遏制解決方案在新的數據中心中實現極高的功率密度，但由于兼容性和操作連續性問題，在現有數據中心進行改造往往不實用。

解決方案由專門設計的盲板組合而成，旨在將排出的熱氣流轉向旁路氣流漏洞并轉向更安全的返回氣流通道。

為了防止氣流在回風過程中重新進入冷通道，鉸接部分盲板安裝于冷通道的盡頭。 這些可移動盲板可以將IT設備屏蔽在行中的最后一個機架的上部，從而在熱回流空氣通過時吸入。

這些措施可能包括降低風扇轉速，關閉冷卻單元，修改冗余故障方案以及提高溫度設定值。在采取這些措施時，最終會達到一個要點，當入口溫度開始超過ASHRAE推薦水平或者所需的冗余水平丟失時。 在這一點達成之前，通常有很大的好處。

由于行動比較簡單，設備密集，費用低，投資回收期往往有吸引力。 確保降低能耗最大化，同時保護IT設備的可靠性。

通過氣流管理實現更高效的冷卻：

數據中心的總電力負荷的40-50%是由冷卻設備產生的，這并不罕見。這大概與用于供應IT設備本身的能量分數大致相同。 冷卻設備的功耗主導著關鍵的基礎設施能源使用，像UPS效率低，電纜損耗和照明方面的問題。

數據中心PUE值

2、改善數據中心PUE方法

因此，希望改善其PUE的數據中心所有者在邏輯上應首先尋找冷卻系統中減少浪費的機會。降低機房散熱所消耗的電能，提高數據中心機房的電源使用效率，降低數據中心的PUE值，目前主要有以下幾種方法：

（1）方法一：在數據中心機房中建設冷通道，并配置下送風機房專用風冷式精密空調。

（2）方法二：在數據中心機房中建設熱通道，并配置下送風機房專用風冷式精密空調。

（3）方法三：在數據中心機房中建設專用風冷式精密空調冷風和熱風管道，對機柜進行全密封強制散熱。

（4）方法四：在數據中心機房中使用下送風機房專用風冷式精密空調和智能送風機柜，將機房冷風凈壓倉的冷風直接送入機柜

（5）方法五：在數據中心機房采用大型水冷式機房精密空調。

（6）方法六：在數據中心機房建設專用大型水冷式機房精密空調和芯片冷卻管道，直接給IT設備芯片散熱。

（7）方法七：在數據中心機房采用機房風冷式精密空調 大型新風機1：1配置，合理利用自然新風冷源。

3、從冷源方面分析

這幾種方法有各自的優勢和不足，首先從冷源方面來分析，第1、2、3、4種方法均都是采用機房專用風冷式精密空調作為冷源，第5、6種方法采用水冷式精密空調，第7種采用風冷式精密空調或自然冷風和水模。使用風冷式精密空調的方法在節約電能主要依靠空調的制冷能效比，能效比一般在3~4之間，節能方面有限。使用水冷式精密空調，能效比最大能達到6，一般在4以上。使用自然風的新風節系統時，最大的能效比最大可達12.

4、從機房設備散熱效果來分析

接下來，從機房內設備散熱效果方面來分析，第1、2、5、7種方法都采用冷風源被動平均分布散熱，要求整個機房的發熱量布局要非常均衡，否則可能出現機房冷熱不均，單相機柜局部過熱的問題。

第3種采用主動大風量強制散熱，每個機柜熱出風管道都配有風機，散熱效果好，容易出現過度制冷，風機也需要消耗一定的電能。

第4種方法采用主要設備機柜進風口配置變速風機，動態給機柜提供冷風，較好解決局部單個機柜過熱和機柜內熱負荷突然增大的問題，將機房內的溫度提高到空調的回風溫度，但機柜的深度比普通機柜深度要大100mm，風機需要消耗電能。

第6種方法采用精準散熱，主芯片散熱效果好，但電源、硬盤等部件需要精準散熱不容易實施，需要服務器產商支持。

5、從機房內設備散熱建設難易程度來分析

最后，從機房內設備散熱建設難易程度來分析，第1、2、4、7種方法基本上是比較接近，比傳統下送風空調系統略微復雜一點，比較容易實施，成本相差也不是太大。

第3種方法，需要對機柜前后門進行密封，實施起來比較困難，風管建設比較多，對機房的整體布局有影響，需要非常細致的規劃和設計，成本相對要高一些。

第5種方法，水冷空調的建設門檻較高，比較適用于大型的機房，空調設備比風冷式精密空調要復雜，成本相對要高一些，運行也需要專業維護人員。

第6種方法，空調部份和第5種方法一樣，但是分支制冷管道方面，會相對復雜很多，要非常了解服務器產商等設備的結構，甚至于需要它們的支持，成本方面相對會高出一部分。

總結：

當前市場上已經有了一系列數據中心冷卻技術和方案，但是，無論選擇哪一種技術和方案，希望大家不要盲目跟風，要從企業實際情況出發，選擇一款適合自身企業數據中心特定業務需求的冷卻技術解決方案才是最有必要的。

注：本文提到的數據中心冷卻系統設備，如涉及技術上的錯誤，歡迎大家給我評論指出哦，一起來交流！

文章來源：精密空調 http://m.0662ch.com/