삼성전자 HBM-PIM 이론 및 실습

💙 프로그램 소개

- 주제 : AI 가속환경에서 HBM과 HBM-PIM의 성능 비교

- KAIST PIM 반도체설계연구센터 교육 프로그램

 

💙 소감

 오전에는 HBM-PIM Archtecture에 대한 이론 수업을 진행하고 오후에는 실습을 진행했다. 오전 수업에서는 DRAM 기반의 hierarchy 설명으로 시작되었는데 익숙한 듯 낯선 내용들이 많았다. Channel, Chip(Die), Bank, Column, Row 이렇게 하나씩 개념을 살펴보았는데 최근에 많이 공부하던 내용이 나와서 반가웠다. Bank는 Row로 이루어진 계층을 뜻하는데 이번에 처음 들어봤다. Row를 Column의 집합, Column을 a atom of data로 보는 개념도 신기했다. 이 부분을 설명할 때 Row decoder에서 Row buffer로 넣고 Colum mux에서 data를 골라내는 과정을 자세히 보여주는 애니메이션이 나왔는데 Row buffer hit이라는 게 있다고 해서 여기서도 뭔가 성능 개선을 할 수 있는 건가 생각했다. 이외에도 DRAM의 큰 특징 중 하나인 Refresh에 대해서 자세히 설명해주신 게 기억에 남는다. Refresh를 이렇게 자주 해야 할 정도로 Leakage가 심하다고 생각해본 적 없었고 온도에도 그렇게 많이 영향 받는지 몰랐어서 놀라웠다.

 전체 개념을 다 훑고 나서는 Memory in AI라는 챕터로 넘어갔는데 핵심은 Memory wall을 어떻게 해결하냐이다. Memory bandwidth(Memory access 시에 읽어오는 bit 수)를 늘려야 하는데 GPU를 늘리는 건 가격의 문제도 있고 전력 소모의 한계가 있어 가성비가 안 좋은 방법이라고 한다. Memory bandwidth = Pin speed * # of IO 라서 Pin speed를 늘리거나 # of IO를 늘리거나 둘 중 하나인데 Energy cost 측면에서 나온 게 High Bandwidth Memory(HBM)... 마지막으로 Processing in Memory(PIM)는 말 그대로 Memory 내 연산인데 LLM이 나오면서 다시 각광을 받고 있다고 한다. DRAM bank 내에서 간단한 연산을 해서 Interface에 연결하는 에너지를 줄일 수 있고 평소에는 Normal memory로 쓰고 특정 상황에서 PIM 모드를 켜는 식이라고 한다. 그래서 PIM-HBM의 구성은 Dram die 4 stack과 PIM Dram die 4 stack...

 오후 실습은 정말 정신없이 지나갔던 것 같다. 연사님 속도도 엄청났다. 실무에서 쓰시는 분은 정말 다르시구나... 라고 생각했다. 정말 아무렇지 않게 이렇게 이렇게~ 처음에 세팅하는 것까지는 NVMeVirt랑 뭔가 비슷해서 잘 따라갔는데 `vivado &`하고 나서부터는 이제 뚝딱대기 시작했다. Block design diagram에서 틀린 그림 찾기처럼 열심히 선 연결하고... Verilog HDL에서 비슷한 걸 조금 만져보긴 했지만 낯선 툴이라... 같이 실습 조를 하셨던 분과 머리를 맞대 열심히 시그널을 분석하고 제대로 나와있는지 확인했다. 지난 강의에서는 실제 장비가 같은 강의실 안에 들어와 있었다고 하는데 지금은 서버실에 있는 게 좀 아쉬웠다. 소리도 크고 열도 많이 나서 서버실로 옮겼다고...

 전체 교육은 너무 신기하고 재미있었다. 그리고 회사에서 쓰시는 내용들을 기반해서 그런지 공유하면 법적 처벌 받는다고 쓰여 있었다... 그만큼 뭔가 디테일하고 현장감(?) 있는 시간이었다. 이런 교육을 무료로 받을 수 있는 게 너무 좋았다. 우리가 잘 몰라서 그렇지 정말 다양한 지원과 교육 프로그램들이 있는 것 같다. 이상 삼성전자 메모리사업부 감사합니다... KAIST PIM 반도체설계연구센터 감사합니다... 어느 쪽이 본체인지 잘 모르겠으나 어쨌든 이런 저를 선발해주셔서 감사합니다... 내용이 어려웠던 건 사실이지만... 어려워도 늘 (i + 1)의 법칙이라고 생각하는 중.

 

💙 개별 과제

+++