실리콘 밸리 공동

기업이 실제로 AI 인프라를 통해 무엇을 하고 있는지, 그리고 기업이 직면한 처리 및 네트워크 용량, 전력, 냉각 문제에 대해 알고 싶다면 코로케이션 데이터센터 제공업체와 대화해야 합니다. 그래서 우리는 실리콘 밸리의 중심부이자 아마도 데이터 센터를 운영하기에 최악의 장소인 산타 클라라에 본사를 둔 Colovore부터 시작하여 이를 수행할 것입니다.

또는 올바르게 수행한다면 고객 요구가 엄청나게 높기 때문에 가장 좋은 장소일 수도 있습니다. 이것이 바로 Colovore의 공동 창업자이자 회장이자 최고 재무 책임자인 Ben Coughlin의 견해입니다.

Colovore는 Cerebras Systems가 AI 모델 훈련을 위해 1엑사플롭 이상의 반정밀도 FP16 부동 소수점 연산을 제공하는 CS-2 웨이퍼 규모 컴퓨팅 시스템 16개로 구성된 "안드로메다" 클러스터를 호스팅하는 곳이기 때문에 우리의 관심을 끌었습니다. 위의 특집 이미지에서 볼 수 있듯이 산호세 미네타 국제 공항 근처 Space Park Drive에 있는 데이터 센터에 있습니다. 그리고 이상하게도 UNIXSurplus Computer Store 길 건너편에 있고 Digital Realty, Equinix, Evocative가 운영하는 데이터 센터와 매우 가깝습니다. , 타타 커뮤니케이션즈.

GPU 가속 AI 붐이 시작되던 2012년에 설립된 Colovore는 현재까지 800만 달러의 자금을 조달했으며 지금까지 단 하나의 데이터 센터만 보유하고 있습니다. 회사의 SJC01 데이터 센터 무게는 24,000평방피트로 액체 냉각 덕분에 컴팩트하며 2014년부터 운영되었습니다. SJC01 시설은 2022년 2월에 시설 내부를 2MW 확장하여 점진적으로 확장되었습니다. 전체 9메가와트 부하에 더 가까워졌습니다. 랙은 20킬로와트의 전력 및 냉각으로 시작하여 35킬로와트로 확장되었습니다. 2024년 2분기에 개장할 예정인 SJC02 데이터 센터는 Ellis Partners로부터 임대 중인 UNIXSurplus 건물을 차지할 예정입니다. (우리가 한 번 본 적이 있다면 은유가 있습니다.) 약 29,000 평방 피트의 공간을 가지고 있으며 SJC01과 마찬가지로 고객이 요청한 경우 액체 냉각 랙과 직접 액체 냉각 만 제공 할 것입니다. (그리고 그렇게 될 것이라고 생각합니다.) 새 데이터 센터의 랙은 처음부터 50kW까지 확장됩니다.

Colovore는 Evocative의 운영 부사장이자 Pacific Bell을 위해 샌프란시스코에서 여러 중앙 사무소를 운영한 후 Emerytech Data Center라는 또 다른 데이터 센터 운영자를 설립한 Sean Holzknecht가 공동 창립했습니다. Coughlin은 금전적인 사람이며 통신 및 디지털 미디어에 초점을 맞춘 자본금 50억 달러의 사모펀드 회사인 Spectrum Equity Investors의 파트너였습니다. Colovore의 세 번째 공동 창업자인 Peter Harrison은 Google의 글로벌 데이터 센터 공간, 광섬유-프레미스 프로젝트 및 YouTube의 콘텐츠 전송 네트워크를 관리했습니다. Harrison은 eBay의 운영 이사였으며 Netflix의 스트리밍 비디오 서비스 출시를 도왔습니다.

Coughlin은 모두가 AI를 사용하기를 원하지만 추천 엔진과 대규모 언어 모델을 구동하는 데 필요한 매트릭스 수학 괴물의 냉각 문제를 제대로 파악하지 못하고 있기 때문에 우리에게 연락했습니다. Colovore는 작업의 중심에서 9메가와트 규모의 시설을 운영하고 있습니다. 이 시설은 완전히 수냉식이며 회사가 수행해야 하는 가장 밀도가 높은 컴퓨팅을 수행할 준비가 되어 있습니다. 요즘 직접 연결된 수냉식 냉각판을 갖춘 대규모 엑사급 슈퍼컴퓨터에 필요할 수 있는 랙당 100킬로와트를 말하는 것은 아니지만, 그 수준이 가까워지고 있습니다. 그리고 그것이 필요하다면 Coughlin은 실리콘 밸리의 중심부에서 그 한계를 뛰어넘을 수 있는 팀과 시설을 보유하고 있습니다.

벤 코플린: 우리는 한동안 이 업계에 대한 귀하의 보도를 지켜봐 왔습니다. 그리고 우리는 여기 Silicon Valley에서 많은 새로운 AI 인프라를 지원하기 때문에 Colovore에서 흥미로운 교차점에 있습니다. 부분적으로는 액체 냉각을 제공하기 때문입니다. AI의 성장과 기본 서버 플랫폼에서 AI가 어떻게 혁신하고 있는지에 대해 많은 논의가 있지만 데이터 센터에 대한 논의는 매우 제한적입니다. 대다수의 데이터 센터는 이러한 AI 시스템을 지원하도록 구축되지 않았습니다. 데이터 센터가 이를 지원할 수 없다면 휴스턴은 여기에 약간의 문제가 있는 것입니다.