한양대 서지원 교수 대규모 딥러닝 모델 학습 가속기술 개발

한양대 컴퓨터소프트웨어학부 서지원 교수팀이 최근 BERT, GPT-3 등의 대규모 딥러닝 모델 학습을 가속하는 최적화 기술을 개발했다. 해당 기술은 딥러닝 모델을 학습하는 그래픽카드(GPU) 등의 하드웨어 가속기 사용률을 높여 학습을 가속시킨다. 이를 통해 서 교수팀은 상대적으로 적은 수의 하드웨어 가속기로 대규모 모델 학습을 가능하게 만들었다.이번 연구는 컴퓨터시스템 분야 세계최고 학술대회 ‘EuroSys(The European Conference on Computer Systems)’에 발표됐으며, 대규모 신경망 모델 학습을 가