Resfriamento Líquido – A Tecnologia de Resfriamento de Próxima Geração para Data Centers e Clusters de Servidores

 

I Visão Geral da Indústria de Refrigeração Líquida

 

1. História do desenvolvimento do resfriamento líquido

Em termos da história dos servidores refrigerados a líquido, a IBM em 1967 se tornou a primeira a desenvolver o computador System360 com sistema de refrigeração a água fria.

 

Embora a indústria de refrigeração líquida da China tenha se desenvolvido relativamente tarde, a sua tecnologia avançou rapidamente. Em 2011, a Sugon foi pioneira na indústria de refrigeração líquida na China. Nos cinco anos seguintes, empresas chinesas como Huawei, Inspur e Sugon começaram a entrar no mercado e a aumentar a produção. Desde 2019, a tecnologia de refrigeração líquida fez avanços significativos nos principais fabricantes.

 

▲ História de desenvolvimento da indústria de resfriamento líquido no país e no exterior

 

2. Cadeia da indústria de servidores refrigerados a líquido

O ecossistema da indústria de refrigeração líquida abrange os setores upstream, midstream e downstream, incluindo fornecedores de componentes upstream, fornecedores de servidores midstream com refrigeração líquida e usuários avançados de computação downstream.

Upstream: Principalmente fornecedores de componentes de produtos e equipamentos de refrigeração líquida, como conectores rápidos, CDUs, válvulas solenóides, tanques de refrigeração líquida de imersão, coletores e refrigerantes.

 

Meio do caminho:Principalmente fabricantes de servidores e chips com refrigeração líquida, bem como instalações, módulos e gabinetes integrados com refrigeração líquida.

 

A jusante:Inclui as três principais operadoras de telecomunicações, empresas de internet como Baidu, Alibaba, Tencent e JD, bem como clientes do setor de informação para aplicações de telecomunicações, internet, governo, finanças, transporte e energia.

 

▲ Combinação da cadeia da indústria de servidores de refrigeração líquida

 

 

II Conceitos Básicos de Resfriamento Líquido

 

1. Classificação da tecnologia de resfriamento líquido

O resfriamento líquido utiliza líquido como refrigerante, circulando-o para transferir calor dos componentes internos dos equipamentos de TI nos data centers para o exterior, garantindo uma operação segura.

 

Vantagens do resfriamento líquido:Ele oferece eficiência e densidade de calor ultra-altas, dissipa o calor com eficiência e não é afetado pela altitude, geografia ou temperatura.

 

Atualmente, existem três tipos principais de tecnologia de resfriamento líquido: resfriamento líquido por placa fria, resfriamento por spray e resfriamento líquido por imersão.

 

▲ Classificação de tecnologias de refrigeração líquida

 

2. Comparação de três tecnologias de resfriamento líquido - resfriamento líquido de placa fria

O resfriamento líquido por placa fria usa uma cavidade fechada feita de metais termicamente condutores (como cobre ou alumínio) para transferir indiretamente o calor dos componentes geradores de calor para o refrigerante líquido que circula em um circuito fechado. O sistema normalmente consiste em uma torre de resfriamento, CDU, tubulações de refrigeração líquida primária e secundária, refrigerante e gabinetes refrigerados a líquido. Os gabinetes refrigerados a líquido contêm componentes como placas frias, tubulação interna, conectores de fluido e coletores.

 

O resfriamento líquido por placa fria, como método de resfriamento líquido sem contato, tem mais de 10 anos de pesquisa e é a tecnologia mais madura entre as três principais soluções de resfriamento líquido. É uma aplicação eficaz para a implantação de equipamentos de alta potência, melhorando a eficiência energética, reduzindo os custos operacionais de refrigeração e diminuindo o custo total de propriedade (TCO). No entanto, como não atinge 100% de refrigeração líquida, é menos eficiente quando o consumo de energia do gabinete é baixo ou a proporção de refrigeração líquida é mínima. Além disso, o projeto de placas frias deve considerar os layouts dos componentes existentes, tornando o projeto estrutural e a implementação mais complexos e a padronização mais difícil de promover.

 

▲ Diagrama principal do sistema de resfriamento líquido de placa fria

 

3. Comparação de três tecnologias de resfriamento líquido - resfriamento líquido por imersão

O resfriamento líquido por imersão envolve a submersão completa dos componentes geradores de calor em um refrigerante, permitindo o contato direto entre os componentes e o refrigerante para troca de calor. Os componentes externos do sistema incluem uma torre de resfriamento, tubulação primária e refrigerante primário, enquanto os componentes internos incluem uma CDU, câmara de imersão, equipamento de TI, tubulação secundária e refrigerante secundário. Como o equipamento de TI está totalmente submerso no refrigerante secundário, devem ser utilizados líquidos não condutores, como óleo mineral, óleo de silicone ou líquidos fluorados.

 

Com base na mudança de fase durante a troca de calor, o resfriamento por líquido de imersão pode ser dividido em dois tipos:

 

1) Resfriamento por imersão monofásico:O refrigerante secundário sofre apenas uma mudança de temperatura durante a transferência de calor, sem mudança de fase, e o calor é transferido inteiramente através do calor sensível.

2) Resfriamento por imersão bifásico:O refrigerante secundário sofre uma mudança de fase durante a transferência de calor, utilizando calor latente para transferir o calor.

 

Em comparação com o resfriamento a ar tradicional e o resfriamento a líquido por placa fria, o resfriamento por líquido por imersão oferece vantagens como economia de energia (PUE < 1,13), compacidade, alta confiabilidade e baixo ruído. No entanto, também enfrenta desafios como limitações na seleção de componentes, restrições de manutenção e requisitos específicos do ambiente da sala.

 

▲ Resfriamento por imersão bifásico

 

4. Comparação de três tecnologias de resfriamento líquido – resfriamento por spray

O resfriamento por spray é um método de contato direto em que o líquido refrigerante é pulverizado com precisão sobre os componentes no nível do chip por meio da gravidade ou da pressão do sistema, resfriando os componentes geradores de calor ou os elementos termicamente condutores conectados a eles. O sistema normalmente consiste em uma torre de resfriamento, CDU, tubulações de resfriamento de líquido primário e secundário, refrigerante e gabinetes resfriados por spray. Os gabinetes resfriados por spray geralmente contêm um sistema de tubulação, sistema de distribuição de líquido, módulos de spray e sistema de retorno.

 

O resfriamento por spray também atinge 100% de resfriamento líquido e sua estrutura é mais inovadora que o resfriamento por imersão. No entanto, seu desempenho de economia de energia é inferior ao resfriamento por líquido por imersão e compartilha limitações semelhantes com o resfriamento por imersão.

 

▲ Resfriamento por pulverização

 

5. Comparação de três tecnologias de refrigeração líquida

 

▲ Comparação de métodos de resfriamento líquido de data centers

 

 

III Impulsionadores do Desenvolvimento da Indústria de Refrigeração Líquida

 

1. O aumento no volume de dados está impulsionando a atualização contínua do poder da computação

O volume global de dados e o poder computacional estão crescendo rapidamente. De acordo com dados da IDC, a esfera de dados global atingiu 103,66ZB em 2022, enquanto o volume de dados da China crescerá de 23,88ZB em 2022 para 76,6ZB em 2027, com um CAGR de 26,3%, potencialmente classificado como a taxa de crescimento mais rápida em todo o mundo. A IDC prevê que, nos próximos três anos, os dados globais recentemente gerados excederão o total de dados criados nos últimos 30 anos, levando a um crescimento exponencial no poder computacional necessário para armazenamento, transmissão e processamento de dados.

 

A atualização inteligente do poder computacional está se tornando uma tendência, com a computação inteligente impulsionando a maior parte do crescimento. A procura de processamento de grandes volumes de dados complexos está a impulsionar a necessidade de recursos computacionais mais poderosos e eficientes para apoiar o desenvolvimento de aplicações de inteligência artificial. Como resultado, a infraestrutura computacional está a ser construída a um ritmo mais rápido, tornando-se a “base” para apoiar o desenvolvimento da economia digital. A procura por capacidades de dados e poder computacional está a reforçar-se mutuamente. A IDC prevê que o poder de computação inteligente da China continuará a crescer rapidamente, atingindo 1.117,4 EFLOPS até 2027, com um CAGR de 33,9% de 2022 a 2027.

 

▲ Escala e previsão global do volume de dados

 

2. O salto em frente da AIGC está provocando um aumento na demanda por energia computacional

Com a evolução contínua de modelos e algoritmos, a escala e a complexidade dos parâmetros aumentaram significativamente, resultando em maiores requisitos de poder computacional. O surgimento de grandes modelos generativos, representados por ChatGPT e GPT-4, impulsionou o rápido desenvolvimento no campo AIGC, impulsionando ainda mais o aumento na demanda por energia computacional.

 

Lado do treinamento: o modelo GPT-3 contém cerca de 174,6 bilhões de parâmetros, e treiná-lo uma vez requer aproximadamente 3.640 dias de PF (executando por 3.640 dias a 10 petaflops por segundo). O número de parâmetros no GPT-4 pode aumentar para 1,8 trilhão, com a demanda de treinamento aumentando para 68 vezes a do GPT-3, exigindo 90-100 dias de treinamento em 25,{{16} } GPUs A100.

Lado da inferência: para GPT-3, de acordo com estimativas do Tianyi Think Tank, a demanda computacional para gerar 500 tokens (cerca de 350 palavras) atinge 1,75 PFLOPS.

 

▲ Evolução de parâmetros de modelos grandes (2018-2023)

3. O mercado de data centers continua a se expandir

Como uma parte importante da nova infra-estrutura, nos últimos anos, com o rápido desenvolvimento da inteligência artificial e da cadeia da indústria de aplicações de dados, a construção de centros de dados na China acelerou e o número de racks de centros de dados aumentou constantemente. Com base num rack padrão de 2,5 kW, o número de racks de data centers em uso na China atingiu 5,2 milhões em 2021. Entre estes, o número de racks de grande escala cresceu ainda mais rápido, atingindo 4,2 milhões, representando 80%. No final de 2022, o número total de racks de data centers na China se aproximava de 6 milhões, classificando-se entre os melhores do mundo. Espera-se que, até 2023, o número de racks de data centers na China atinja 7,76 milhões, com o tamanho do mercado de data centers atingindo 247 bilhões de RMB.

 

▲ Tendência de previsão do número total de racks de data center na China (2017-2023) (Unidade. 10,000 racks)

 

4. Problemas de consumo de energia e dissipação de calor em data centers estão se tornando mais proeminentes

Com o aumento do número de data centers, o consumo de eletricidade também disparou. De acordo com estatísticas relevantes, em 2021, os centros de dados da China consumiram 216,6 mil milhões de kWh e espera-se que excedam os 380 mil milhões de kWh até 2030. Ao mesmo tempo, a escala rapidamente crescente dos centros de dados está a exacerbar os desafios de dissipação de calor:

 

Nível geral:Os data centers tradicionais têm enormes custos de energia, com uma alta proporção do consumo de energia atribuída ao resfriamento. Os data centers há muito que consomem muita energia, sendo o consumo de eletricidade dos data centers nacionais responsável por cerca de 2%-3% do consumo total de eletricidade. Até 2030, espera-se que o consumo de eletricidade dos centros de dados exceda os 380 mil milhões de kWh, com as emissões de carbono a ultrapassarem os 200 milhões de toneladas. Ao mesmo tempo, os data centers tradicionais incorrem em custos de refrigeração significativos. De acordo com o "Relatório de pesquisa global de data centers de 2022 do Uptime Institute", a média anual de eficiência no uso de energia (PUE) de amostras de data centers globais em 2022 foi de 1,55 e, desde 2014, a PUE média anual permaneceu entre 1.{{12} },65, indicando que o consumo de energia relacionado ao resfriamento é responsável por 35%-39%.

 

Nível micro:O aumento da densidade computacional enfrenta desafios de resfriamento. A melhoria no desempenho da computação aumenta o consumo de energia do servidor e a densidade térmica, e o resfriamento a ar tradicional não consegue mais atender às necessidades de dissipação de calor dos dispositivos eletrônicos de alta densidade térmica. À medida que a Lei de Moore desaparece, as pessoas melhoram continuamente o índice de eficiência energética de chips e sistemas através de tecnologias como a computação heterogênea, mas isso também levou a um rápido aumento no consumo de energia de chips individuais. Atualmente, os chips de processador convencionais têm um consumo de energia de cerca de 200 W, com algumas CPUs recém-lançadas excedendo 350 W, e chips de aceleração heterogêneos como GPGPUs ultrapassaram até 700 W. Neste contexto, o resfriamento tradicional a ar não é mais suficiente para atender às necessidades de resfriamento, e os data centers e servidores exigem tecnologias de resfriamento mais eficientes para resolver os problemas de dissipação de calor de alta potência, alta densidade térmica e alta densidade computacional. chips e sistemas.

 

Nível micro:As altas temperaturas impactam negativamente os componentes eletrônicos. Em ambientes de alta temperatura, os materiais das máquinas, o isolamento dos fios e as vedações à prova d’água são mais propensos ao envelhecimento, criando riscos à segurança. Mais da metade das falhas de componentes eletrônicos são causadas por altas temperaturas. Quando a temperatura dos componentes semicondutores aumenta 10 graus, a corrente de fuga reversa duplica, aumentando o risco de incêndio e aumentando a probabilidade de incidentes de segurança, podendo levar à paralisia do data center.

 

5. O rápido aumento na densidade de energia em rack único exige uma revolução no resfriamento em data centers

Limitado pela área de construção de data centers e pelas regulamentações ambientais, o aumento da densidade de energia de rack único tornou-se uma solução fundamental para conciliar a crescente demanda por poder de computação com a capacidade limitada dos data centers. De acordo com dados divulgados pela Colocation America, em 2020, a potência média global de rack único dos data centers atingiu 16,5 kW, um aumento de 175% em comparação com 2008. De acordo com a CCID Consulting, com o rápido aumento na potência de computação dos data centers, alta racks únicos de energia se tornarão difundidos. Espera-se que, até 2025, a potência média global de rack único dos data centers atinja 25 kW.

 

A tecnologia de resfriamento líquido, com seu efeito de resfriamento altamente eficiente, pode melhorar significativamente a eficiência e a estabilidade dos servidores, ao mesmo tempo que permite que mais servidores sejam organizados em um determinado espaço do data center, melhorando assim a eficiência operacional do data center.

 

▲ Correspondência entre densidade do rack e métodos de resfriamento

 

 

IV Perspectiva e aplicação do mercado de refrigeração líquida

 

1. O mercado de servidores de refrigeração líquida da China deverá atingir US$ 8,9 bilhões até 2027

À medida que o desenvolvimento verde dos centros de dados se torna uma tendência e a concorrência no domínio da inteligência artificial se intensifica, levando a um salto na procura de potência computacional de alto desempenho, o mercado de servidores de refrigeração líquida na China tem registado um crescimento explosivo nos últimos anos.

 

De acordo com dados da IDC, a escala do mercado de servidores de refrigeração líquida da China atingiu US$ 1,01 bilhão em 2022, um crescimento anual de 189,9%. Em 2023, espera-se que o mercado mantenha um rápido crescimento, com o tamanho do mercado projetado para atingir US$ 1,51 bilhão. Até 2027, o tamanho do mercado de servidores de refrigeração líquida da China deverá atingir US$ 8,9 bilhões.

 

▲ Tamanho do mercado e previsão de servidores de refrigeração líquida na China (Unidade: 100 milhões de dólares)

 

2. Estrutura de aplicação industrial de data centers de refrigeração líquida na China

Em combinação com a refrigeração a ar, os data centers com refrigeração líquida capacitam o desenvolvimento de vários setores. No futuro, o mercado de refrigeração de data centers verá um padrão de desenvolvimento colaborativo de “resfriamento a ar + resfriamento líquido”. A tecnologia de refrigeração a ar não será totalmente substituída pela refrigeração líquida, mas será selecionada de acordo com as diferentes necessidades dos clientes, com diferentes soluções de refrigeração para data centers.

 

Em 2019, data centers com refrigeração líquida eram usados ​​principalmente em aplicações representadas por supercomputação. À medida que os volumes de negócios das indústrias da Internet, das finanças e das telecomunicações crescem rapidamente, a procura de refrigeração líquida nos centros de dados destas indústrias continuará a aumentar. Espera-se que até 2025, os data centers com refrigeração líquida representem 24,0% da indústria da Internet, 25,0% da indústria financeira e 23,0% da indústria de telecomunicações. Entretanto, indústrias como a energia, a biotecnologia, a saúde e o governo verão uma aceleração na integração de centros de dados de refrigeração líquida no novo ecossistema de centros de dados de uso geral, com um ligeiro declínio na escala global. Espera-se que, até 2025, os data centers de refrigeração líquida representem 10,5% da indústria de energia, 8,5% da indústria de biotecnologia, 6,5% da indústria de saúde e outros negócios, como o governo, caiam para 2,5%.

 

▲ Estrutura e previsão de aplicações do setor para data centers de refrigeração líquida na China (2019-2025)

 

3. Cenário competitivo do mercado de servidores de refrigeração líquida da China: Sugon lidera, seguida por Huawei, Alibaba e outros

Os fabricantes nacionais, liderados pela Sugon, acumularam experiência comercial substancial e, com base na receita do produto, participação de mercado, feedback dos clientes e outros indicadores, a Sugon é um líder de mercado importante, com Huawei, Alibaba e Lenovo logo atrás. A IBM China está posicionada como um desafiante potencial.

 

A indústria de servidores de refrigeração líquida na China tem grandes barreiras técnicas e os pioneiros têm uma vantagem. Atualmente, os principais fabricantes nacionais ainda estão nos estágios experimentais ou iniciais de aplicação da tecnologia de refrigeração líquida, e o cenário competitivo ainda não foi claramente definido. Além disso, devido a preocupações com a segurança dos dados, existem certas barreiras geográficas ao fornecimento de infra-estruturas de centros de dados na China, dificultando a entrada de fabricantes estrangeiros no mercado chinês.

 

▲ Matriz de competitividade de fornecedores de data centers de refrigeração líquida na China (2020)

 

4.Operadoras de TelecomunicaçõesProporuma visão de três anos para refrigeração líquida em data centers

Como líderes da indústria no setor de data centers, as três principais operadoras de telecomunicações estão na vanguarda da exploração e aplicação de tecnologia de refrigeração líquida. Em junho de 2023, as três principais operadoras lançaram em conjunto o "Livro Branco sobre Tecnologia de Refrigeração Líquida para Operadoras de Telecomunicações (2023)" e delinearam uma visão e um roteiro de três anos para aplicações de refrigeração líquida.

 

O objetivo geral da visão de três anos é reunir as forças da indústria, enfrentar desafios, construir um ecossistema e expandir as aplicações, unindo os setores a montante e a jusante da indústria, do meio académico e da investigação. O foco estará em atacar as principais tecnologias essenciais com originalidade e liderança, e na construção completa de um ecossistema de refrigeração líquida de alto nível. O objetivo é estabelecer um ecossistema aberto, promover a dissociação de gabinetes de refrigeração líquida e servidores e liderar a formação de padrões unificados que reduzam a PUE (Eficácia no Uso de Energia) e, ao mesmo tempo, alcancem o menor TCO (Custo Total de Propriedade). Aproveitando as vantagens de escala, eles pretendem expandir significativamente as aplicações.

 

Em termos de cronograma de implementação, as três principais operadoras estabeleceram planos detalhados para 2023-2025.

 

• 2023:Realizar verificação técnica, testando minuciosamente o desempenho do resfriamento líquido, reduzindo a PUE e preparando capacidades técnicas de planejamento, construção e manutenção;
• 2024: Realizar testes em larga escala, promover a dissociação de gabinetes e servidores de refrigeração líquida, incentivar a concorrência, amadurecer o ecossistema da indústria e reduzir os custos totais do ciclo de vida;
• Até 2025:Alcançar aplicação em larga escala, com a tecnologia de refrigeração líquida sendo usada em mais de 50% dos projetos, e promover conjuntamente a formação de um ecossistema de refrigeração líquida unificado, padronizado, com ótimo custo-benefício e amplamente aplicado. A indústria de telecomunicações pretende tornar-se líder em tecnologia de refrigeração líquida, líder na cadeia industrial e líder na promoção de aplicações.

 

▲ Visão de três anos para refrigeração líquida por operadoras de telecomunicações

 

 

V Conclusão

 

Grande potencial de desenvolvimento na indústria de refrigeração líquida, juntamente com desafios e oportunidades

Atualmente, a indústria de refrigeração líquida da China está em seus estágios iniciais e a taxa de penetração das aplicações de refrigeração líquida permanece relativamente baixa. No entanto, como a tecnologia de refrigeração da próxima geração para centros de dados e clusters de servidores, o potencial de mercado e as perspectivas futuras da refrigeração líquida atraíram uma atenção considerável, prevendo-se que a penetração das aplicações aumente rapidamente.

 

No entanto, a indústria de refrigeração líquida na China ainda enfrenta vários desafios de desenvolvimento:

 

1. Ecossistema industrial imaturo

Embora a tecnologia de refrigeração líquida esteja em desenvolvimento há mais de uma década, tanto a nível nacional como internacional, o ecossistema permanece incompleto. Os produtos variam muito e falta padronização. Atualmente, não existe um padrão de interface unificado para servidores e gabinetes na indústria. Gabinetes e servidores são fortemente acoplados e os formatos de produtos de diferentes fabricantes, como servidores, refrigerantes, tubulações de refrigeração e sistemas de fonte de alimentação, diferem, tornando as interfaces dos produtos incompatíveis entre si. Isto limita a concorrência e dificulta o desenvolvimento da indústria de alta qualidade.

 

2. Evolução da arquitetura do sistema de refrigeração líquida

As arquiteturas de sistemas de refrigeração líquida na indústria diferem, com variações entre configurações de refrigeração e fonte de alimentação distribuídas e centralizadas. Os servidores de alguns fabricantes evoluíram para servidores de alta temperatura, o que permite a redução de unidades de resfriamento de água, simplificando ainda mais a arquitetura da fonte de resfriamento e promovendo redução de custos e eficiência.

 

3. Altos custos de sistemas de refrigeração líquida

Em comparação com produtos tradicionais de refrigeração a ar, a refrigeração líquida ainda apresenta desafios em termos de elevado investimento inicial e custos totais do ciclo de vida. Esta questão pode afectar a adopção e promoção em larga escala de produtos de refrigeração líquida nas fases iniciais.