Ученые используют суперкомпьютер, чтобы найти самые эффективные лекарства против болезней. Менеджер экономит время, поручая ChatGPT составить черновик письма. Умный холодильник, анализируя содержимое полок, подсказывает, что нужно купить в магазине. Что общего у этих трех сценариев? Все они возможны благодаря центрам обработки данных — фундаменту цифрового мира.
Но дата-центры выделяют тепло. Много тепла.
Как охлаждать серверы? Если вы не сталкивались с промышленным охлаждением, то, возможно, не знаете, что традиционные методы охлаждения начинают устаревать. Перед строителями ЦОДов стоит задача разработать современные технологии охлаждения. Они должны справиться с нагревом от высокопроизводительных операций, чтобы не допустить сбоев в работе вычислительной техники, и при этом отводить тепло энергоэффективно.
Чем скорее появится новая технология, тем лучше. Спрос на дата-центры будет только расти: ожидается, в США с 2022 по 2030 год количество электроэнергии, которое будет им необходимо, удвоится.
Как охлаждают дата-центры
Поддержание оптимальной температуры полностью зависит от законов физики. Когда электричество проходит через полупроводник, он выделяет тепло. Чем мощнее чип, тем сильнее он нагревается. Последний графический процессор, GPU, от Nvidia, на котором построено множество систем искусственного интеллекта, содержит 80 миллиардов (!) транзисторов, требующих охлаждения. Ему требуется столько же энергии, сколько среднему домохозяйству в США.
При этом воздух в качестве охлаждающей среды имеет ограничения – после определенного момента никакое количество холодного воздуха не получится пропустить через чипы настолько быстро, чтобы охладить их до нужной температуры. По словам производителей систем жидкостного охлаждения, операторы дата-центров уже выжали максимум из систем воздушного охлаждения.
До сих пор индустрия дата-центров в основном полагалась на воздушное охлаждение. Эта технология использует две системы воздуховодов: одна подает воздух снаружи и направляет его на переднюю часть оборудования, а другая отводит нагретый воздух к задней части для его удаления.
Минусы этой технологии? Помимо потребления энергии и воды, типичная система воздушного охлаждения громоздка и занимает ценное пространство. Из-за множества движущихся частей она может ломаться.
Проблемы с устойчивостью и надежностью подтолкнули исследователей к разработке альтернатив воздушному охлаждению. Рост популярности графических процессоров, которые выполняют вычисления с высокой скоростью, и другого оборудования, выделяющего много тепла, подталкивают инновации в охлаждении уже на протяжении нескольких лет.
Жидкостное охлаждение — начало
Все чаще дата-центры обращаются к жидкостному охлаждению, которое давно используется в обычных автомобилях для охлаждения двигателей.
И снова физика! Вода лучше, чем воздух, отводит тепло, что делает ее идеальной для GPU и другого высокопроизводительного оборудования. Историческим аргументом против жидкостного охлаждения была необходимость держать воду и электронику отдельно друг от друга. Однако огромный спрос на чипы Nvidia и другие решения для ИИ отодвинул эти опасения на второй план.
Системы жидкостного охлаждения также потребляют меньше энергии и, что удивительно, меньше воды, чем их воздушные аналоги. У них также меньше движущихся частей. С точки зрения обслуживания, это как разница между электромобилем и автомобилем с двигателем внутреннего сгорания.
Microsoft уже применяет прямое жидкостное охлаждение чипов в серверах своих ЦОД. Более того, компания разрабатывает новую архитектуру дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Понадобится внести изменения в конструкцию серверов и серверных стоек – чтобы внедрить новые методы терморегуляции и управления энергией.
В докладе, посвященном экологии 2023 года, Microsoft заявила, что использовала в 2022 году 6,4 млн м3 воды, преимущественно для своих ЦОД. В таком же ESG докладе за 2024 год показатель увеличился до 7,8 млн м3 в 2023 году. Интересно, что Microsoft расширила использование восстановленной и переработанной воды на площадках в США и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на другие страны, включая Италию и Южную Африку.
Жидкостное охлаждение — технология будущего?
Для клиентов и инвесторов жидкостное охлаждение означает меньшие капитальные затраты при том же уровне производительности. Переход на жидкостное охлаждение также означает улучшение показателей эффективности использования воды и энергии. Согласно исследованиям, по сравнению с воздушным охлаждением, жидкостное может сократить общее энергопотребление дата-центра на 10%.
Специалисты указывают, что переход на жидкостное охлаждение произойдет практически незаметно. По мере того как все больше дата-центров будут охлаждаться водой, устаревшее холодильное оборудование будет постепенно меняться. Процесс будет похож на замену старых самолетов или автомобилей на новые.
Этому изменению способствуют огромные инвестиции в инфраструктуру. С $250 миллиардов в 2022 году годовые капитальные затраты на дата-центры, по прогнозам, вырастут до более чем $500 миллиардов к 2027 году. При этом инвестиции в высокопроизводительные серверы для ИИ растут в 5 раз быстрее, чем в их универсальные аналоги.
Минусы жидкостного охлаждения
Тепловая инерция, способность сопротивляться изменению температуры за определенное время, в системах жидкостного охлаждения значительно ниже, чем в воздушных системах. А значит, даже кратковременное нарушение потока воды может привести к резкому скачку температуры, который скажется на работе серверов.
Скорость накопления тепла в системах жидкостного охлаждения делает сбои в охлаждении гораздо более критичными, чем при воздушном охлаждении. Без запаса прочности и активного мониторинга риск отключения в эту новую эру высокопроизводительных вычислений значительно возрастает.
Одним из ключевых аспектов при проектировании отказоустойчивости водяных контуров является выбор между системами с высоким или низким давлением воды, а также между использованием крупных или узких труб. Также важно учитывать, из каких материалов делаются шланги: просто резина или с металлической оплеткой?
Также встает вопрос герметичности: в случае утечки надо предусмотреть запасные варианты, чтобы не отключать всю систему.
Специалисты полагают, что переход на жидкостное охлаждение будет сопряжен с рядом трудностей. Прежде всего, потребуются существенные инвестиции. Также необходимо разработать стандарты этой относительно новой технологии, переучивать персонал. Возможно, большинство объектов продолжат использовать воздух для охлаждения оборудования с низкой плотностью вычислений, и не все компании готовы к радикальным изменениям.
Однако поскольку ИИ продолжает развиваться и к нему подключаются все больше отраслей экономики, инновации, с помощью которых компьютеры работают быстрее и эффективнее, тоже должны набирать обороты.
