Когда несколько лет назад Дэниел Поуп впервые выдвинул идею погружения серверов в жидкость в качестве энергоэффективного способа их охлаждения, его предложение было встречено крайне скептически производителями оборудования для центров обработки данных. Но сейчас стартап Поупа – базирующийся в Барселоне, компания Submer – представляет собой многомиллионный бизнес, сотрудничающий с такими технологическими гигантами, как Intel Corp. и Dell Technologies Inc.
Изменение отношения отражает насущную проблему: выяснить, как управлять центрами обработки данных с меньшими затратами энергии. Согласно апрельскому отчету Международного энергетического агентства, объекты, поддерживающие цифровые сервисы, от TikTok до ChatGPT и Google Maps, в прошлом году потребляли больше электроэнергии, чем Польша, Бельгия и Норвегия вместе взятые. Ожидается, что к 2030 году этот показатель увеличится более чем вдвое, что в значительной степени обусловлено высокими требованиями к вычислительной технике со стороны искусственного интеллекта. До 40% энергии, потребляемой центрами обработки данных, идет на охлаждение компьютерного оборудования, что делает их идеальным местом для инноваций.
По мнению Schneider Electric, ведущей компании по управлению энергопотреблением, жидкостное охлаждение — обобщающий термин, который включает в себя такие решения, как от компании Submer, — вероятно, поможет снизить энергопотребление центров обработки данных более чем на 10% среди возможных путей повышения эффективности.
“Хотя 10% может показаться небольшим количеством, учтите тот факт, что крупный центр обработки данных с искусственным интеллектом может потреблять более 100 мегаватт электроэнергии, что эквивалентно примерно 75 000 домов в США”, – сказал Стивен Карлини, специализирующийся на решениях для центров обработки данных в Schneider Electric. “При таком масштабе сокращение энергопотребления на 10% – это прогресс, которому стоит радоваться”.
Энергозатратность центров обработки данных сделала их нежелательными соседями. В прошлом году местные власти Дублина отклонили заявку Google, принадлежащей Alphabet Inc., на строительство там центра обработки данных, сославшись на опасения по поводу его потенциального воздействия на и без того перегруженную электрическую сеть. В последние месяцы в сообществах по всей территории США появились объявления о борьбе с центрами обработки данных.
В то время как крупные технологические компании тратят миллиарды долларов на финансирование проектов в области экологически чистой энергетики, их усилия по увеличению производства электроэнергии, не содержащей углекислого газа, значительно отстают от того, что необходимо. Например, в прошлом году выбросы углекислого газа корпорацией Microsoft выросли на 23% по сравнению с 2020 годом, отчасти из-за быстрого расширения центров обработки данных. Аналогичным образом, за последние пять лет выбросы углекислого газа в атмосферу компанией Google выросли на 48%.
Охлаждающая жидкость, похожая на детское масло.
Чтобы решить эту проблему, производители полупроводников и операторы центров обработки данных в последние годы изучают возможность использования жидкости для непосредственного охлаждения чипов. Например, Чип Microsoft, Maia 100, предназначен для подключения к охлаждающей пластине – металлическому устройству, охлаждение которого обеспечивается протекающей под его поверхностью жидкостью. Технологическая компания также выразила заинтересованность в дальнейшем развитии центров обработки данных, где все вычислительное оборудование может работать в жидкостных ваннах.
Технология, известная как иммерсионное охлаждение, предполагает погружение всей серверной стойки – корпуса, в котором находятся серверы, коммутаторы, маршрутизаторы и другие вычислительные компоненты, – в специальную жидкость, которая не проводит электричество. По мнению специалистов отрасли, такой подход может быть более эффективным, чем охлаждение непосредственно на кристалле, но иммерсионное охлаждение не обходится без проблем, и зарождающемуся сектору предстоит пройти долгий путь, прежде чем он достигнет значительных масштабов.
Submer использует негорючую синтетическую жидкость, похожую на детское масло. Охлаждающая жидкость, созданная в лаборатории стартапа из сырья нефтегазовой промышленности, также может быть изготовлена с использованием пальмового масла, говорит Поуп, соучредитель компании. Многие иммерсионные охлаждающие жидкости, представленные на рынке, содержат PFAS, также известные как “вечные химикаты”, которые не разлагаются естественным путем, но Поуп говорит, что охлаждающая жидкость компании Submer поддается биологическому разложению. Жидкость поглощает тепло, выделяемое электроникой, отводит его через теплообменник, встроенный в охлаждающий контейнер, а затем возвращается в стойку для следующего цикла охлаждения.
Такой подход не только сокращает потребление энергии, но и решает другую проблему. По данным МЭА, в США центр обработки данных мощностью в 100 мегаватт в среднем потребляет около 2 миллионов литров воды в день, большая часть которой используется для охлаждения. Высокая потребность в воде стала еще одной причиной разногласий между разработчиками центров обработки данных и местными жителями, хотя некоторые операторы начали оснащать центры обработки данных системами повторного использования или рециркуляции воды, чтобы смягчить их воздействие на окружающую среду.
В некотором смысле компьютерное оборудование подобно человеческому телу: оно лучше всего функционирует при определенных температурах. Чтобы предотвратить перегрев серверов, во многих центрах обработки данных используется мощная система кондиционирования воздуха, которая обеспечивает подачу охлажденного воздуха в огромные серверные помещения. Но жидкости могут отводить тепло от твердых частиц более эффективно, чем воздух, и компания Submer утверждает, что ее охлаждающий контейнер способен выполнять ту же задачу при более высокой температуре.
По словам Поупа, такая разница температур в сочетании с тем фактом, что иммерсионное охлаждение предназначено для оборудования, вырабатывающего тепло, а не для всего помещения, означает, что эта стратегия потребляет меньше энергии. В ходе исследования, проведенного в 2023 году при финансовой поддержке правительства Нидерландов, исследователи из Университета Гронингена обнаружили, что центры обработки данных, оснащенные иммерсионным охлаждением, потребляют примерно на 50% меньше энергии, чем традиционное воздушное охлаждение. По словам исследователей, это также позволяет центрам обработки данных занимать меньше площади.
Слишком жарко для работы.
Жидкости используются для охлаждения высоковольтного оборудования, такого как трансформаторы, уже более ста лет, но в центрах обработки данных этот метод практически не применялся, пока недавний компьютерный бум не начал доводить традиционные методы охлаждения до предела.
По словам Карлини из Schneider Electric, потребность всего мира в высокопроизводительных инструментах искусственного интеллекта не только привела к массовому строительству центров обработки данных, но и значительно усложнила поддержание оптимальной температуры работы вычислительного оборудования. Например, новейший чип искусственного интеллекта Nvidia, графический процессор Blackwell B200, потребляет почти в два раза больше энергии, чем его предшественник, Hopper H200. Чем больше энергии потребляет чип, тем больше тепла он выделяет и, следовательно, тем больше ему требуется охлаждения. И центр обработки данных может использовать сотни или даже тысячи таких чипов.
На данный момент компания Submer установила свои охлаждающие контейнеры в десятках центров обработки данных в 17 странах. По словам Поупа, выручка стартапа в прошлом году выросла до более чем 150 миллионов евро (169 миллионов долларов) по сравнению с примерно 600 000 евро в 2018 году, когда начались его коммерческие продажи. “За последние два года этот показатель вырос в геометрической прогрессии”.
Другие компании также присматриваются к этому развивающемуся рынку. В этот список входят нидерландская Asperitas, техасская LiquidStack и японская Fujitsu. Но, несмотря на это, рынок этой технологии по-прежнему составляет лишь малую долю от того, что отрасль тратит на охлаждение: в 2023 году мировой рынок погружного охлаждения достиг 400 миллионов долларов по сравнению с почти 13 миллиардами долларов на охлаждение центров обработки данных в мире.
На пути к более широкому внедрению стоят некоторые препятствия. Хотя иммерсионное охлаждение может помочь центрам обработки данных снизить расходы на коммунальные услуги, оно обходится недешево. По оценкам компании, развертывание системы от компании Submer может стоить на 25% дороже, чем при существующем режиме, хотя в ней говорится, что она достигла паритета затрат по сравнению с воздушным охлаждением в центрах обработки данных со значительным спросом на охлаждение.
А для операторов центров обработки данных с существующими мощностями переход на совершенно иную технологию охлаждения не только требует модификации компьютерного оборудования, но и вызывает опасения по поводу безопасности инфраструктуры: выдержат ли их полы вес всех охлаждающих емкостей, заполненных жидкостями?
Отсутствие отраслевых стандартов в решениях для погружного охлаждения создает еще один уровень сложности. Поскольку центры обработки данных, как правило, заменяют серверы через каждые несколько лет, операторам, например, придется задуматься о том, как обеспечить совместимость используемых ими сегодня охлаждающих контейнеров с будущим компьютерным оборудованием. Замачивание серверов в жидкости также затрудняет техническое обслуживание.
“Как только вы помещаете их в емкости, любая замена становится очень грязной работой”, – сказал Карлини.
Это не беспокоит Поупа, который сравнивает серверы, предназначенные для воздушного охлаждения, с автомобилями. “Не стоит ставить машину в воду”, – говорит он. С этой целью Submer сотрудничает с полупроводниковой промышленностью в разработке “лодок” – серверов нового поколения, предназначенных для нового метода охлаждения.