GPU를 지나 TPU로? 최근 TPU가 각광받는 이유
GPU의 비싼 가격과 막대한 전력 소모가 AI 산업의 발목을 잡으면서, 구글이 만든 고효율 딥러닝 전용 반도체인 TPU가 다시금 주목받고 있습니다.
딥러닝 연산에만 집중해 비용 대비 압도적인 성능을 보여주는데, 이는 이제 AI 산업이 성능을 넘어 비용 효율에 중점을 두고 있음을 보여줍니다.
특히 TPU 한 대당 6~8개의 HBM이 탑재되는데 이를 대부분 공급하는 삼성전자와 SK하이닉스에게도 새로운 성장의 기회가 되고 있습니다.
최근 다시 언급되고 있는 TPU
AI가 발전하면서 가장 주목을 받은 것은 한 번에 여러 개의 연산 작업을 처리할 수 있는 GPU입니다. 따라서 GPU를 주로 제작하는 Nvidia의 가치도 급상승했구요. 하지만 최근 들어 GPU 못지 않게 자주 언급되는 이름이 있으니 바로 TPU 입니다. 대규모 학습 모델 부터 관련 주식 시장 이야기까지 AI를 이야기할 때 TPU는 이제 빠지지 않는 단골 소재가 되었습니다.
그런데 생각해보면 TPU는 최신 기술이 아닙니다. TPU는 이미 2016년 5월에 구글이 발표한 기술입니다. 당시 구글은 전 세계인이 구글 어시스턴트를 3분씩만 써도 전 세계의 서버를 두 배로 늘려야한다는 계산이 나왔고, 이를 해결하기 위해 만든 자체 칩입니다. 하루가 다르게 변해가고 6개월이면 강산이 바뀌는 AI분야에서 왜 오래된 기술이 이제서야 주목을 받고 있을까요?
모델의 성능보다 크기가 중요하게 된 세상
요즘 AI 분야에서 성능 못지 않게 중요하게 된 것이 바로 모델의 크기입니다. 파라미터 수는 이미 수백B는 될 정도로 걷잡을 수 없이 커져버렸고 학습에 필요한 단계는 전과는 비교할 수 없을 정도로 길어졌습니다.
전에는 GPU를 여러장으로 연결하는 것으로 이 문제를 해결하려고 했지만, 막대한 전기 비용과 그래픽 카드 비용이 발목을 잡게 되었습니다. 엔비디아의 최신 GPU인 H100은 한 대당 수천만 원이나 하며, 소비 전력은 웬만한 가정용 에어컨 여러 대를 동시에 돌리는 수준입니다. 이러한 GPU를 수만 대 연결한 데이터 센터의 전기료는 중소도시 하나를 운영할 정도입니다. 기업들에게 이제 성능은 당연한 것이고, 전기 소모량 대비 성능도 중요한 과제가 된 것입니다. 따라서 "더 효율적인 것은 없을까?" 라고 고심 끝에 나온 것이 바로 TPU를 사용하는 것이었습니다.
딥러닝만을 위해 태어난 TPU
TPU는 구글이 만든 딥러닝 연산용 ASIC(주문형 반도체) 입니다. 우리 말로는 텐서 처리 장치라고 부를 수 있겠네요. 이 장치는 CPU나 GPU처럼 여러 가지 작업에 사용할 수 있도록 만든 장치는 아닙니다. 작업별 유연성은 낮고, 범용 연산에는 적합하지 않습니다. 하지만, 대규모 딥러닝에서 발생하는 밀집 연산 만큼은 현존하는 어느 장치보다 싸고, 빠르고, 안정적으로 처리할 수 있도록 설계되었습니다.
TPU가 필요한 이유
TPU는 연산 구조가 고정되어있고, 대규모 데이터를 안정적으로 학습시켜야 하는 환경에서 엄청난 효과를 발휘합니다. 즉, 이미 구조가 정해진 대형 모델의 학습이나 실제 운영 단계에서 진가를 발휘합니다.
딥러닝은 사실 거대한 행렬 곱셈의 반복입니다. TPU는 이러한 행렬 계산기를 일렬로 배치해 한꺼번에 처리하는 시스템을 갖췄기 때문에 성능이 뛰어난 것입니다.
최근에는 GPU로는 버티기 힘들 정도로 모델 장치가 커지고, GPU를 구하기도 힘들어졌으며, 막대한 전기비 때문에 TPU가 필요하게 되었습니다. 이미 구글은 자사 서비스를 중심을 TPU로 운영하며 그 효과를 증명하고 있습니다.
거기다가 GPU는 돈이 있어도 구하기 힘든 상황입니다. 2023년 2024년 당시에는 H100 그래픽 카드를 주문 후 받는 시간이 거의 1년이나 걸렸습니다. 지금 2025년에는 상황이 나아졌지만, 대량 주문시에는 여전히 수개월의 대기시간은 걸립니다. 돈이 있어도 못 구한다는 말이 과장이 아닌 상황입니다.
한국 반도체 기업에게는?
엔비디아가 밀리면 삼성전자나 SK하이닉스는 손해라고 생각할 수 있는데, 오히려 기회입니다. 엔비디아 한 곳에만 의존하던 시장 구조에서 벗어나 새로운 고객을 맞이하게 된 것입니다. 그 배경은 바로 HBM(고대역폭 메모리)입니다.
GPU나 TPU 모두 고성능 AI 반도체를 만들려면 데이터를 초고속으로 실어 나를 HBM이 무조건 들어가야 합니다. 실제로 TPU 한 개를 만들 때 보통 6~8개의 HBM이 한 세트로 묶여 들어갑니다.
HBM 시장은 삼성전자와 SK하이닉스의 양강 체제입니다. 2025년 들어 구글 TPU에 들어가는 HBM 물량은 우리 두 기업이 사실상 독점하고 있다고 봐도 무방합니다. 특히 최근 보도를 보면, 삼성전자가 구글 TPU용 HBM 물량의 60% 이상을 책임지며 1위 자리를 꿰찼고, SK하이닉스 역시 구글과 브로드컴의 핵심 파트너로 탄탄하게 자리를 잡았습니다. 미국의 마이크론이 뒤쫓고는 있지만, 생산 능력의 격차가 3배 이상 나기 때문에 너무 큽니다. 거대한 물량을 안정적으로 공급받아야 하는 빅테크 입장에선 한국 반도체 기업이 꼭 필요한 상황입니다.
GPU를 대체할 것인가?
TPU가 GPU를 완전히 밀어내지는 않을 것입니다. 새로운 연구나 실험적인 작업에서는 유연한 GPU가 여전히 유리하기 때문입니다. 하지만 점차 실험과 연구는 GPU로, 대규모 학습과 실제 운영은 TPU로 하는 이원화 체제로 갈 것입니다. 8년 전 구글이 생존을 위해 던졌던 효율성이라는 승부수가, AI 거대화 시대를 맞아 산업 전체의 표준으로 돌아온 것입니다. 결국 앞으로의 AI 전쟁은 누가 더 똑똑한가는 당연하고, 누가 더 영리하게 비용을 아끼는가가 될 것 같습니다.
