한국연구재단

메인으로

구독신청 독자의견

작은 칩에 담긴 큰 생각
저전력 인공지능의 미래를 보다

서울대학교 김재준 교수

HOME 흔히 어려운 문제를 마주하게 되면 답을 찾아야 한다는 일념에 빠져들기 마련입니다. 그렇게 문제에 깊이 매몰되면, 한 분야에 갇혀 해결책을 모색하려 애쓰게 되죠. 하지만 생각의 범위를 넓히면 뜻밖의 세계에서도 실마리를 찾을 수 있는데요. 지난 5월 과학기술인상을 받은 김재준 교수의 이야기입니다. 5월호 스토리R에서는 연구 분야를 넘나들며 전력 소모가 적은 인공지능 기술을 개발한 그의 연구 이야기에 귀 기울여 봅니다.

Scroll Down
이달의 과학기술인상 우수한 연구개발 성과로 과학기술 발전에 공헌한 연구개발자를
매월 1명 선정하여 과학기술정보통신부 장관상과 상금 1천만 원을 수여하는 상

Chapter 01 인물탐구

김 재 준 1971년생

소속 서울대학교 주요학력
  • 1999.08. ~ 2004.05. 퍼듀대학교 전기및컴퓨터공학과 박사 (Purdue University Electrical and Computer Engineering Ph.D)
  • 1996.03. ~ 1998.02. 서울대학교 전기공학부 석사
  • 1990.03. ~ 1994.02. 서울대학교 전자공학과 학사

Chapter 02 더 작게, 더 효율적으로!
저전력 연구에 빠져들다

바야흐로 인공지능 시대입니다. 일상 및 산업 전반에 인공지능이 확산되며, 많은 사람들이 도움을 받고 있는데요. 하지만 이면에는 전력 사용의 급격한 증가라는 문제점이 존재하는 상황. 이에 인공지능 모형의 효율을 높이기 위한 연구가 활발하게 진행되고 있죠.   김재준 교수 또한 오래전부터 비슷한 고민에 빠져있었던 터. 그가 학위를 마치고 미국의 아이비엠(IBM) 연구소에 재직할 당시는 컴퓨터가 처리해야 하는 데이터의 양이 폭발적으로 증가하던 시기였는데요. 자연스레 대규모 데이터를 효과적으로 다루는 기술에 관심을 갖게 되면서, 저전력 집적 회로 설계 연구에 빠지게 됩니다.   “휴대폰을 한 시간에 한 번씩 충전하며 사용해야 한다고 생각해보세요. 상상만으로도 불편함이 몸소 전해지는데요. 저는 시대변화에 발맞춰, 기존 회로와 동일한 성능과 동작을 구현하면서 소비 전력은 최소화할 수 있는 기술을 개발하는 것을 목표로 연구에 임하고 있습니다.”

인공지능 저전력·경량화 연구가 관심 받는 이유 인공지능(AI) 모델이 여러 응용 분야에 사용되면서 높은 정확도 달성을 위해 모델의 규모가 커지고 있습니다.
AI 모델이 커지면 연산에 필요한 메모리 용량과 컴퓨팅 자원이 함께 증가하고, 전력 소모도 증가하는데요.
특히 메모리와 컴퓨팅 연산장치 간 대용량 데이터 통신이 필수적으로 뒤따릅니다. 이러한 대용량 데이터 이동에 따른 비효율성을 해결하는 방안 중 하나로 인공지능 모델의 정확도 저하를 최소화하면서 모델의 크기를 압축하는 '경량화' 연구가 주목 받고 있습니다. 대규모 언어 모델(Large Language Model, LLM)의 크기가 기하급수로 커짐에 따라 AI의 지속 발전과 활용 확대를 위한 핵심기술로 더욱 부각되고 있습니다.

Chapter 03 하드웨어와 소프트웨어,
교집합 속에서 해답을 찾다

전 세계적으로 인공지능 모형의 효율을 높이기 위한 연구가 활발하게 진행되고 있습니다. 대표적으로 인공지능 모형의 크기를 압축하는 소프트웨어(S/W) 중심의 '경량화 기술'과 경량화한 모형을 효율적으로 연산하는 하드웨어(H/W) 중심의 '반도체 가속기 기술'이 주목받고 있는데요. 그간 양 분야 연구는 독립적으로 진행되어 경량화 모델을 실제 하드웨어에 적용할 경우 연산 속도가 저하되는 등 아쉬움이 한계점으로 지적되어 왔습니다.

반도체 가속기란? 범용 계산이 아닌 특정 응용의 연산에 최적화된 반도체 칩

김재준 교수 연구팀은 이 두 가지 축을 통합 연구하는 방향으로 생각을 확장해 문제 해결의 돌파구를 찾아냅니다. 하드웨어의 특성을 고려하여 인공지능 모형 경량화 기법을 새롭게 연구하는 동시에 경량화 모형을 효율적으로 지원하는 전용 반도체 가속기(칩)를 개발하는, 새로운 연구방법을 고안하기에 이르죠.   기존 반도체칩 설계는 각각의 정밀도를 지원하는 회로를 독립적으로 구현하여 조합하는 방식이 일반적이었습니다. 김 교수는 전체 연산순서를 바꾸는 방법을 새롭게 적용하여, 이전보다 간단한 연산기 구조를 사용하면서 가변적인 비트 정밀도*를 효율적으로 지원하는 인공지능 모형 경량화 기법과 전용 반도체칩을 개발하는 성과를 이뤄냈는데요. 가변적인 비트 정밀도 : 연산의 정확도 요구 수준이나 계산 자원의 한계에 맞춰 컴퓨터 연산에 사용하는 비트의 숫자를 조절하는 방법   김 교수는 인공지능 모형 경량화와 함께 연산의 정확도를 높이기 위해 정수형 연산기를 접목했습니다. 그간 인공지능 반도체 가속기에는 연산의 정확도를 유지하기 위해 면적과 전력 소모가 상대적으로 큰 부동소수점 연산기를 사용해왔는데요. 연구팀은 여러 차례 시험을 통해 정수형 연산기를 사용해 부동 소수점** 연산을 처리하는 새로운 방법을 제시, 해당 방식으로도 기존 부동소수점 연산 결과와 유사한 수준의 정확도를 달성할 수 있음을 최초로 증명했습니다. 부동 소수점(floating point) : 소수점 위치를 고정하지 않아 넓은 범위의 수 표현이 가능

가변정밀도를 가지는 인공지능 경량화 모델 예시
연구팀이 개발한 반도체 가속기 모식도

Chapter 04 기술 확장

지난 2022년 6월, 가변 정밀도 지원 경량화 인공지능 반도체 연구 성과가 세계적 권위 반도체 회로 설계 국제 학술지 JSSC (Journal of Solid-State Circuits)에 게재되며 학문적 의의를 인정받았습니다. 또한 저전력 인공지능 반도체 관련 성과는 20 23년 5월 표현학습국제학회(ICLR)에서 발표하며 혁신적 연구로서의 존재감을 드러내기도 했죠.   나아가 김 교수의 연구 성과는 인공지능 기술의 빠른 확산 이후 산업계에서도 많은 관심을 받고 있습니다. 인공지능 모델을 휴대폰 등 디지털 디바이스에서 구동시키는 온-디바이스 AI(On-device AI) 분야, 대규모 언어 모델(LLM) 모델에서 연산량 및 전력을 최소화하기 위한 분야에서 지속적인 관심이 예상되는데요. 연구가 진정으로 즐겁다고 말하는 그의 이야기는 이제 첫 번째 챕터에 불과합니다.   "과거 범용 컴퓨터가 휴대폰으로 발전해 손 안의 컴퓨팅이 가능해졌잖아요. 훗날 이 기술이 휴대기기 또는 로봇과 같은 다양한 응용 환경에서도 인공지능 연산이 이루어지게 하는 발판이 될 것이라 기대합니다!"

속닥속닥! 못 다한 이야기 연구진 인터뷰

2025년 5월 과학기술인상 수상을 진심으로 축하합니다.

이달의 과학기술인상을 받게 되어 매우 기쁘고 감사한 마음입니다. 연구 과정에서 어려움이 생길 때마다 함께 고생하며 극복해 준 연구실 학생들과 졸업생들, 그리고 항상 아낌없는 도움을 주신 동료 연구자 여러분 덕분에 과분한 상을 받았습니다. 이 자리를 빌려 모두에게 감사의 인사를 전합니다.

올해 연구년을 맞이하셨다고 들었는데요. 어떤 일상을 보내시는지 궁금합니다.

인공지능과 가속기 반도체 관련한 연구 결과들이 쏟아져 나오고 있습니다. 시간적 제약 때문에 해야만 하는 일들에 시간을 쓰다 보니 조급함이 생기던 차에 감사하게도 연구년을 맞았는데요. 관련 흐름을 차분하게 관찰하고 미래에 대해 생각하는 기회로 삼으려 합니다. 지난달에는 프랑스에서 열린 학회에 참석해 연구 결과를 발표하고 해외 연구자들과 의견을 나눴는데요. 다음 달에는 미국에서 열리는 인공지능 시스템 학회에서 관련 연구자들과 공동연구 기회를 모색해볼 계획입니다. 특히 연구년 동안 인공지능 컴퓨팅에 최적화된 차세대 반도체 메모리 구조에 대해 산업계 분들과 의견을 나누면서 생각을 가다듬어보려 합니다.

연구자인 동시에 후학을 양성하는 스승이십니다.
평소 연구실 학생 및 연구원들에게 강조하는 자세가 있다면요?

학생들이 이미 체계를 갖춘 기존 지식에 순응하기보다는 해당 지식체계가 어떠한 역사적 흐름 속에서 성립되었는지 깊이 이해하려는 태도를 가지도록 장려합니다. 연구실 생활을 시작할 때는 관련 분야의 배경을 충분히 공부하기를 권합니다. 연차가 올라간 뒤에 그러한 이해를 바탕으로 지도교수나 동료 연구자들과 함께 건강한 비판과 토론을 나누며 지적 성장을 이루는 과정을 중요하게 생각합니다. 이 같은 학습과 소통의 과정이야말로 창의적이고 주체적인 연구자로 성장하는 데 필요한 밑바탕이라고 믿고 있습니다.

연구가 실제 사용까지 이어지기까지 오랜 시간이 걸릴 것 같은데요.
경쟁력 있는 연구를 위해 어떤 노력을 하시나요?

단지 논문 발표만을 위한 연구가 아닌 실제 산업 현장에서 쓰일 수 있는 연구를 하려고 노력합니다. 개인적으로는 가장 간단한 구조를 찾는 일에 많은 신경을 쓰는데요. 복잡한 구조로 좋은 결과를 구현할 수 있다고 해도, 실제 사용에는 한계가 있기 때문이죠. 결과가 덜 좋더라도 실제 산업에서 사용 가능한 단순한 구조를 고안·설계하는 게 오히려 더 의미 있다고 생각합니다. 또한, 연구실 운영에서도 구성원들이 본질적으로 중요한 연구에 집중할 수 있는 환경을 조성하려고 노력하고 있습니다. 중요성이 낮은 업무에 소모되는 시간을 줄이고, 긴 호흡으로 깊이 있는 연구에 집중할 때 장기적으로 좋은 성과가 이어진다고 생각합니다.

과학자로서 궁극적으로 해결하고 싶은 연구 목표는 무엇인가요?

동일한 연산을 수행하는 데 필요한 컴퓨터의 전력 소모가 꾸준히 낮아진 이유는 '작아진 반도체' 덕입니다. 하지만 이제 물리적 한계로 인해 반도체를 작게 만드는 게 어려워졌는데요. 이를 극복하기 위해 현재 수준보다 전력 소모가 극적으로 작은 컴퓨터를 구현하는 새로운 방향을 계속해서 고민하고 싶습니다.

스토리R