구글은 매일 30억 건 이상의 검색, 4억2500만 명의 지메일, 수천만 건의 유튜브 비디오, 지도 데이터, 200억 웹페이지 인덱싱을 처리한다고 한다. 이러한 방대한 규모의 데이터 처리를 위해 150만대의 서버가 세계 32곳 데이터센터에 설치돼 있다. 이처럼 고속의 데이터 처리를 가능케 한 것은 무엇보다도 CPU 성능의 놀라운 발전에 기인한다.
무어의 법칙에 따라 컴퓨터 반도체의 성능은 18개월마다 2배의 성능을 제공해 왔지만 반도체 공정의 물리적 한계인 10나노에 이르면서 속도를 더 이상 높이는 것이 어려워지면서 칩 하나에 메모리를 공유하는 두개의 프로세서를 집어넣는 혁신적인 ‘듀얼 코어’가 만들어 졌다. 이를 시작으로 현재는 4개를 연결하는 쿼드 코어, 8개를 연결하는 옥타 코어까지 출시됐다.
구글은 어떻게 0.1초 만에 검색을 할까?
그러나 코어 2개를 연결해도 속도가 2배가 되지 않는다는 점은 문제였고, 그 이유를 분석해 보니 병렬처리 시스템이 돼 있지 않은 것이었다. 여기서 암달의 법칙이 나오게 되는데 아무리 많은 자원을 투입해도 순차적으로 처리해야 하는 부분이 많으면 한계가 있을 수밖에 없고, 최대한 병렬로 설계해야 한다는 것이다.
병렬처리가 성능을 높일 수 있는 관건이 되면서 병렬처리를 할 수 있는 슈퍼컴퓨터가 방대한 데이터를 처리하는 솔루션이 됐다. 슈퍼컴퓨터를 구성하는 핵심인 코어의 가격이 비싼 것은 단점으로, 이를 대체할 솔루션으로 엔비디아의 그래픽카드를 채택하게 된다.
엔비디아 그래픽카드에는 2000개 정도의 간단하고 저렴한 코어가 장착돼 있어 병렬처리를 가능하게 하고 이를 이용해 저렴한 슈퍼컴퓨터 버전인 쿠다를 구현했다. 구글은 하나의 시스템에 적용되는 병렬처리를 맵리듀스(Mapreduce)를 통해 32곳에 설치된 데이터센터의 장비에 구현해 ‘어떻게 0.1초 만에 검색을 할까’라는 의문에 대한 답을 제시한다.
빠르고 안정적인 데이터센터 네트워크 구현
4차 산업혁명에서 방대한 양의 빅데이터를 처리하는 기술 역시 다르지 않다. 4차 산업혁명을 뒷받침하는 기술들이 HPC의 영역인 하이퍼스케일, 금융, 데이터베이스, 임베디드 어플라이언스, 스토리지 솔루션과 관련이 있고, HPC의 기술들이 인공지능(AI) 분야인 머신 러닝과 딥 러닝으로 확장는 추세다.
현재 HPC 솔루션이 머신 러닝과 딥 러닝 적용 산업군인 IoT, 자율주행, 헬스케어, 리테일, 제조업으로 확산되면서 고속의 엔드투엔드 인터커넥트 솔루션의 중요성 역시 한층 높아졌고, 관련 기술을 선도하고 있는 멜라녹스의 역할 또한 커지고 있다. SC(Super Computing) 2016의 톱500 HPC 플랫폼 중 65%는 멜라녹스의 표준화된 엔드투엔드 인터커넥트 인피니밴드 기술을 통해 고속의 HPC 솔루션을 제공하고 있다.
빠르고 안정적인 고속의 데이터센터 네트워크에 대한 요구는 더욱 증가할 전망으로, 이러한 네트워크 구현을 위해서는 초고속(200GB/s), 저지연(90ns), 패킷 무손실, 저전력, 고밀도 포트 등을 제공할 수 있는 벤더와 솔루션을 선택하는 것이다. 2017년 정유년은 새벽을 깨우는 우렁찬 닭의 울음소리 같이 더욱 빠르고 안정적인 고속 데이터센터 네트워크가 구현되는 원년이 되기를 기대한다.
