다가올 미래

이러한 인간의 신경 구조를 CMOS 집적회로 기술 기반 하드웨어로 모방하는 것을 뉴로모픽 기술이라고 한다. 뉴로모픽 기술 연구가 필요한 이유로 기존 폰노이만 컴퓨팅 아키텍처 기술은 인지처리 기능을 수행함에 있어서 인간의 뇌에 비해 효율성이 매우 낮고, 인간의 뇌는 2L 정도의 용량에 1011개의 뉴런과 1015개의 시냅스가 병렬적으로 연결돼 약 20W 수준의 전력으로 기억, 연산, 추론, 학습 등을 동시에 수행할 수 있기 때문이다.
이를 위해서는 시냅스의 다양한 기능들을 전기적인 소자로 모방하는 기술이 필요하다. 시냅스는 화학적, 전기적 반응을 통해 뉴런에서 발생하는 스파이크 신호를 다른 뉴런으로 전달해주는 역할을 하며, 흥분성과 억제성 시냅스로 나뉘어져 단‧장기 기억 강화 또는 약화시키는 기능을 수행한다. 또한, 스파이크 신호의 타이밍에 따른 가소성(Spike Timing Dependent Plasticity, STDP)을 가지고 있다.

현재 뉴로모픽 기술은 기존 메모리인 SRAM을 활용하는 ‘신경 모방 회로기술’과 멤리스터, FET를 이용한 ‘시냅스 모방 소자기술’로 나눌 수 있는데, 두 기술 모두 스파이크 신호 기반 ‘인공신경망(Spiking Neural Network)’을 구현하는데 초점을 맞추고 있다. 또한 ‘심층신경망(Deep Neural Network)’으로 대표되는 소프트웨어 기반 기계학습 분야는 수학적 알고리즘으로 다양한 인지 학습 응용이 가능하지만, 기존 폰노이만 아키텍처를 활용하기 때문에 수많은 슈퍼컴퓨터를 사용해야 하고 그로 인한 전력 소모도 매우 크다는 단점이 있다. 따라서 시냅스 모방 소자를 심층신경망의 가중치를 합한 모델에 활용하는 연구도 진행되고 있다. 가트너에서 발표한 2016년 10대 전략기술 중의 하나로 선정된 뉴로모픽 아키텍처 기술은 인간의 뇌신경 구조를 모방한 고도화된 컴퓨팅 구조로서 스마트 머신이 실용화되기 위한 필요요건을 제공해 준다.

1
SRAM
시냅스
모방 소자

SRAM은 실리콘 기반으로 대량 생산에 용이하고 높은 신뢰성을 가지는 장치다. 메모리 저장에 있어 주기적으로 초기화 작업이 필요 없고 메모리 접근 속도가 매우 빨라 실제 캐시 기억 장치로 널리 사용되고 있는 소자다. 최근 2008년에 시작된 IBM SyNAPSE 프로젝트는 본격적으로 뉴로모픽 컴퓨팅, 인지 컴퓨팅의 가능성을 열었다고 할 수 있다. 더불어 2014년 8월, 인간의 뇌가 가지고 있는 SRAM기반 시냅스의 지속적인 변화까지 모방해 트루노스 칩을 개발했고, 이는 인간의 뇌를 모방함에 있어 큰 성과를 보여줬다. 연구진은 트루노스로 물체를 식별하는 데 성공했으며, 초당 30프레임씩 움직이는 동영상을 처리할 때 63mW 정도의 저전력 성능을 갖췄음을 증명했다.
특히 시냅스를 모방한 트루노스 칩은 28nm 소자 공정 기술을 사용해 54억 개의 트랜지스터와 4,096개의 코어를 내재하고 있다. 게다가 약 100만 개의 디지털 뉴런과 2억 5600만 개의 디지털 시냅스로 이뤄져 정보를 처리하고 저장한다. 각 코어 모듈은 메모리, 연산, 통신이 통합된 형태로 2011년 초기 시냅스 모방 칩에 비해 크기는 15배 작고 전력 소모도 100배 적다.
그러나 IBM이 발표한 트루노스 칩의 시냅스 웨이트(weight)는 멀티 레벨(Multi-level)의 세 가지 단계로(+1, 0, -1) 제한됐지만, 시냅스 모방소자로 SRAM을 사용해 다른 시냅스 모방 소자들에 비해 매우 넓은 면적(~150F2/셀)을 가졌다. 즉 2.56억 개 시냅스 모방소자를 포함하는 칩 하나의 면적이 무려 4.3㎠에 달하면서 다른 시냅스 모방 소자들에 비해 전력소모가 크다는 단점을 가졌다. 계속적인 연구 개발이 요구되는 이유다.

그림 3. 시냅스를 모방한 IBM의 트루노스 칩

(P. A. Merolla et al., Science, vol.345, p.668, 2014)

2
Memristor 시냅스
모방 소자

1. RRAM
저항 메모리(Resistive RAM, RRAM)는 물질의 산소 간극(Oxygen vacancy) 필라멘트를 이용해 소자와 양이온 통로를 이용한 소자를 가졌다. 주로 외부 전압 펄스를 인가하면서 저항이 변해 비휘발성 메모리로 활용됐고,주로 아날로그 형태의 시냅스 모방에 적용됐다. 저항 메모리는 2단자 소자로 크로스바(Crossbar) 구조 구현이 가능해 확장성 측면에서 장점을 가지고 있고, 저전력 구현도 가능하다. 현재 DRAM과 플래시 메모리를 대체할 수 있는 비휘발성 메모리로서 연구가 많이 진행돼 왔고, 저항 메모리를 활용해 뉴로모픽 기술을 연구 중이다.
시냅스 모방소자로 활용하기 위해서는 아날로그 저항 변화 특성과 확장성이 필수다. 따라서 필라멘트가 형성되는 위치, 길이 등을 제어하는 연구와 선택소자 없이 Sneak path를 줄이기 위한 연구가 진행되고 있다. 특히 TiOx, HfOx, AlOx, WOx, PCMO 등의 금속산화물과 Ag/a-Si/W 및 Ag/GeS2/W를 활용함으로써, STDP 기능을 구현해 전기적인 시냅스 특성을 나타내는 연구 결과들이 많이 보고됐다. 또한 소규모 저항 메모리 배열을 제작해 실제 패턴 학습에 응용한 결과도 보여주며 뉴로모픽 기술의 가능성을 지속적으로 드러냈다.

그림 4. 저항 메모리를 활용한 STDP 구현 결과

(D. Kuzum et al., Nanotechnology, vol.24, no.38, p.382001, 2013)

그림 5. 저항 메모리 배열을 활용한 패턴 학습 시스템

(M. Chu et al., IEEE Trans. Ind. Electron., vol.62, no.4, p.2410, 2015)

그림 6. GeSbTe의 상태 변화(비정질/다결정질) TEM 분석

(D. Kuzum et al., Nano Lett., vol.12, no.5, p.2179, 2012)

상 변화 메모리(Phase Change RAM, PCRAM)는 외부 전압 펄스를 통해 물질의 비정질(Amorphous) 상태와 다결정질(Polycrystalline) 상태간 저항 변화를 이용하는 비휘발성 메모리 소자다. 이러한 저항 변화를 정교하게 제어해 생물학적 시냅스의 아날로그 저항 특성을 모방할 수 있다. 또한 상 변화 메모리는 저항 메모리와 같은 2단자 소자로 크로스바 구조 구현이 가능하며 전력 소모 또한 적어 시냅스 모방 소자로 활용이 가능하다. 지금도 이를 이용한 여러 전기적인 시냅스 특성에 대한 연구결과가 발표되고 있다. 특히 스탠포드 대학 연구그룹은 GbSbTe 물질의 상 변화 특성을 이용해 STDP 기능을 구현하고, 저전력 및 고집적 소자 제작 연구를 진행했다.(<그림 7> 참조) 하지만, 저항 변화를 조절할 때 저항이 급격하게 변하는 문제가 드러났다. 따라서 앞으로 RRAM과 더불어 선택소자 없이 Sneak path를 줄이기 위한 연구 진행이 필요하다.

그림 7. 상 변화 메모리를 활용한 STDP 구현 결과

(D. Kuzum et al., Nanotechnology, vol.24, no.38, p.382001, 2013)

그림 8. 시냅스 모방소자를 위한 Ferroelectric device의 특성 분석

(D. Kuzum et al., Nano Lett., vol.12, p.2179, 2012)

3
FET 기반
시냅스
모방 소자

기존 폰노이만 아키텍처 기반의 컴퓨팅은 현재 전력소모 한계에 직면해 있다. 특히 패턴인식, 실시간 인식, 판단 등에서 많은 문제를 보이고 있다. 그러나 1980년대부터 연구를 통해 신경과학과 반도체 칩 기술이 발전했고, 현재 인간의 뇌를 모방하는 단계에 들어서 있다.
2006년, 뉴로모픽 칩을 사용하지 않았지만 병렬처리 프로세서를 이용해 구현한 딥 뉴럴 네트워크(deep neural network) 트레이닝 방법은 통해 음성인식이나 물체인식 등 단일 인지 성능을 현격히 높여 뉴로모픽 접근법의 실용화 가능성이 커졌다. 2008년에 시작된 IBM SyNAPSE 프로젝트는 본격적으로 뉴로모픽 컴퓨팅, 인지 컴퓨팅의 가능성을 열었으며, 2014년 8월, 인간의 뇌가 가지고 있는 시냅스의 지속적인 변화까지 모방한 트루노스 칩을 개발해 인간의 뇌 모방에 있어 큰 성과를 거두었다.
하지만 이 칩을 활용할 수 있는 학습 등 응용 기술이 없어서 응용으로 연결되기까지는 많은 시간이 필요하다. 특히 실생활 속에서 연속적으로 들어오는 영상 스트림을 실시간으로 처리하기에는 불가능한 수준이고, 그에 따른 전력소모도 매우 커 스마트 기기에 탑재해 사용하기에는 어려움이 따른다. 결론적으로 뉴로모픽 칩의 성공을 위해서는 고집적 반도체 칩을 실현해야하고, 이를 쉽게 활용할 수 있는 툴의 개발과 응용 알고리즘이 완성되어야만 본격적인 뉴로모픽 칩의 시대가 열릴 것으로 예상된다.
현재 신경망 모방 어레이 회로 연구를 통해 IC 총 면적은 줄이고 메모리 셀 개수는 늘리는 고집적화 추세로 나아가고 있다. 이에 따라 다양한 고집적 신경망 모방 회로 및 하드웨어 구조가 제안되고 있다.
특히 신경모방 컴퓨팅 분야에 대한 연구는 미국과 유럽을 중심으로 대규모 연구 프로제트가 진행되고 있다. 대표적인 신경망 모방 IC 프로젝트들 중 하나는 미국 방위고등연구계획국(DARPA)의 SyNAPSE (Systems of Neuromorphic Adaptive Plastic) 프로젝트다. 2008년에 시작한 이 프로젝트는 IBM과 HRL을 중심으로 대학, 연구소, 기업체가 공동 연구를 진행하고 있으며, 2013년까지 1억 달러 이상이 투입됐다. IBM에서 2014년에 트루노스 칩을 발표한 것도 이 프로젝트의 일환이었다.
유럽에서는 독일의 하이델베르크 대학을 중심으로 ‘BrainScaleS’라는 프로젝트를 진행 중이며, 인텔(Intel), 퀄컴(Qualcomm) 등의 기업에서도 뉴로모픽 시스템에 대한 연구를 활발히 진행하고 있다.
국내 GIST 연구팀은 멤리스터를 이용한 뉴로모픽 시스템을 개발해 영상인식 실험에 성공했다. 하지만, 대표적인 멤리스터의 한 종류인 RRAM은 오랜 연구와 많은 투자에도 불구하고 신뢰성과 재현성의 문제로 현재 국내외 업체에서 연구를 축소하거나 양산을 포기하는 추세다.
SyNAPSE 프로젝트와 HBP 프로젝트를 통해 제안된 고집적 신경망 모방 IC들은 내부에 STDP나 딥 러닝과 같은 고차원 알고리즘 방식의 학습 회로를 가지고 있지 않다. 따라서 복잡한 응용에 대한 학습을 위해 별도의 하드웨어 및 소프트웨어 환경을 구축해야 한다는 한계를 가지고 있다. 이는 학습을 통해 각 뉴런 회로에 저장되는 전기적 데이터를 IC 외부에서 계산한 뒤 다시 뉴런 내부로 전송하기 때문에 내부에 학습 기능 내장 회로를 갖추고 있는 경우에 비해 성능이 현저히 저하될 수밖에 없다.

그림 15. 기존 신경망 모방 IC 연구의 알고리즘 복잡도 및 뉴런 집적도 분포도

국내 신경모방 칩 및 코어 관련한 연구는 대학을 중심으로 이뤄지고 있다. 대표적인 그룹인 포항공대 황현상 교수팀은 저항변화 물질을 기반으로 2층 티타늄 산화막 기반 저항변화소자를 만들고 STDP 성능을 측정하고 발표했다.(출처: Nanotechnology 2011). 최근 광주과기원과 SK-Hynix의 협력으로 PCMO 기반의 시냅스 어레이 및 뉴런 어레이를 구성해 뉴럴 신호 인식 시스템(neural signal recognition system)을 구현해냈다. (출처: IEDM 2015).

나노 소재와 구조 기반의 인간 두뇌를 모방하는 뉴로모픽 기술에 대한 국내 연구 개발 과제는 아직 실용화 목적보다는 대학 중심의 기초‧응용 연구를 중심으로 이루어지고 있다.

현재 뉴로모픽 소자 및 회로 연구는 IC 총 면적은 줄이고 메모리 셀 개수는 늘리는 고집적화에 초점이 맞춰져 있다. 따라서 전 세계적으로 다양한 고집적 신경망 모방 회로 및 하드웨어 구조가 제안되고 있다. 세계적으로 대표적인 뉴로모픽 프로젝트로는 미국 방위고등연구계획국 (DARPA)의 SyNAPSE(Systems of Neuromorphic Adaptive Plastic Scalable Electronics) 프로젝트와 EU에서 진행하는 HBP(Human Brain Project)가 있다.
DARPA는 SyNAPSE 프로젝트를 통해 포유류의 뇌를 모방한 전자두뇌시스템 개방을 진행 중이다. IBM은 SyNAPSE의 후속으로 SRAM 어레이를 시냅스 모방 소자로 활용한 트루노스(TrueNorth)라는 칩을 개발했다. 이 외에도 해외 많은 대학과 연구소들은 멤리스터 기반의 뉴로모픽 프로세서 연구에 집중하고 있다.
국내의 경우, 대학 및 연구소 중심으로 딥 러닝 및 인지 컴퓨팅 분야에 대한 연구가 진행되고 있다. 하지만 주로 소프트웨어적인 구현에 있어 한계가 있다. 하드웨어적인 뉴로모픽 프로세서 연구는 몇몇 대학을 중심으로 진행되고 있으나 이는 세계적인 추세인 멤리스터 및 SRAM을 이용한 뉴로모픽 프로세서를 뒤따라 모방하는 수준에 그치고 있다. 따라서 기존의 멤리스터 기반의 뉴로모픽 프로세서 연구는 공정 및 소재에서 야기되는 문제점을 해결하지 않는 한 지속적인 발전에 한계가 있다고 보여진다. 또한 고신뢰성, 고내구성의 뉴로모픽 프로세서를 제작하기 위해서는 기존 CMOS 및 메모리 기술을 활용한 새로운 뉴로모픽 프로세서 플랫폼이 필요하다고 판단된다.
다양한 소재 및 구조를 갖는 뉴로모픽 프로세서 연구가 전세계적으로 진행되고 있으나 아직 독보적인 경쟁력을 가진 선두 그룹은 없는 것으로 판단된다. 따라서 세계 시장을 선도할 수 있는 고집적‧고효율 뉴로모픽 프로세서를 개발하기 위해 소자‧회로‧컴퓨팅 분야를 융합하는 국가적 차원의 연구가 절실히 필요하다고 판단된다.

최근 신경모방 기술은 인식, 판단, 저전력 등이 가능한 수준에 이르러 관련 기술의 패러다임을 바꾸어 놓을 수 있을 것으로 예측된다. 게다가 이 기술의 성공적인 개발 여부에 따라 국가 간 기술경쟁력의 순위가 바뀔 수도 있을 만큼 잠재력을 가진 매우 중요한 분야다. 이에 다수의 세계적 연구기관이 관련 연구를 수행하고 있으나, 아직까지 실용성이 담보된 고집적 신경망 기술은 없으며, 대부분 초기 수준이라 볼 수 있다. 해외 뉴로시냅틱 인지컴퓨팅 관련 연구는 주로 미국과 유럽을 중심으로 대규모 국가 연구 프로젝트가 진행되고 있다. 퀄컴과 IBM 에서는 뉴로시냅틱 칩을 개발 중이며, 구글은 영상인식의 인식률을 높이기 위해 대규모 심층신경망 개발을 진행 중이다.
Hype Cycle에 따르면 딥 러닝 및 인지컴퓨팅 기술은 약 5년, 뉴로모픽 하드웨어는 10년 정도 후에 본격적인 시장이 형성될 것으로 예상되는 가운데, 뉴로시냅틱 인지 컴퓨팅 기술이 활용될 예상 제품시장은 크게 IoT 디바이스, 웨어러블 디바이스, 자율주행 자동차, 인지로봇, 그리고 모바일 단말 분야로 구분할 수 있다.
국가적 지원 속에서 다학제간 융합적 연구를 통해 뉴로모픽 분야의 선도 그룹으로 나아갈 기회를 얻을 경우 기존의 폰노이만 구조의 한계를 뛰어넘는 새로운 개념의 컴퓨터 구조를 연구하고, 기존의 계산‧제어 기반이 아닌 인지기반의 새로운 응용을 구현하며, 딥러닝을 포함한 통합형 뉴로모픽 기술을 구현함으로써, 소자에서 응용까지 통합된 차세대 뉴로모픽 기반 컴퓨팅 구조의 연구를 선도할 것으로 예상된다. 또한 계층 간 조합‧연계 알고리즘을 소프트웨어로 구현하는 대신 하드웨어로 구현함으로써 에너지소모 및 속도 측면에서 비약적인 발전도 예상된다. 소프트웨어 시뮬레이션 형태의 개발에 머무르고 있는 뇌 모방 인지컴퓨팅 기술이 효율적인 새 하드웨어와 융합되면 향후 컴퓨팅 환경의 변혁적인 발전을 견인할 수 있다고 사료된다.
특히 인지지능컴퓨터 기술을 발달시켜 사회 현상 분석에 직접적으로 활용할 수 있고, 바이오 데이터를 포함한 빅데이터 분석, 얼굴인식, 보행자인식, 로봇, 무인 자동차, 드론, 곤충로봇, 지능형 센서, 휴대용 기기, 실시간 학습을 필요로 하는 다양한 분야에 파급돼 엄청난 효과를 가져 올 것으로 기대된다. 소재, 부품, IT 소프트웨어‧하드웨어, 자동차, 로봇, 환경, 사회연결망, 전자결제, 전자정부 등 다양한 영역에서 인지기반 응용을 통한 새로운 일자리 창출도 함께 기대된다.

결론 및 정책적 시사점

기존의 폰노이만 아키텍처 기반의 컴퓨팅은 현재 전력소모의 한계에 직면해 있다. 특히, 패턴인식, 실시간 인식, 판단 등에서는 많은 문제를 보이고 있다. 이러한 문제를 해결하기 위해 유력한 대안으로 신경모방 기술이 1980년대부터 연구되었지만 나노 반도체 기술 부족 등의 이유로 높은 집적도를 얻을 수 없었고, 컴퓨팅 능력과 학습 알고리즘 상의 문제로 약 30여 년간 뚜렷한 결과가 없었다.
하지만 지난 5년간 신경 과학과 반도체 칩 기술의 발전, 컴퓨팅 속도의 발전, 그리고 2006년 힌튼 교수가 발표한 Deep Neural Network의 트레이닝 방법을 통해 음성인식이나 글자인식 등 단일 인지 기능의 수행에 있어 매우 큰 진전이 있었다고 말할 수 있다. 또한 빅 데이터, 그리고 이를 활용한 인공지능 시스템이 최근에 전 세계적인 화두가 되고 있는 가운데, 구글, 페이스북, 바이두 등 IT 기업들이 이 분야에 대한 연구자 고용을 늘리고 투자를 강화하고 있다.
최근 신경모방 기술은 인식, 판단, 저전력 등이 가능한 수준에 이르면서 관련 기술의 패러다임을 바꾸어 놓을 수 있을 것으로 예측된다. 기술의 성공적인 개발 여부에 따라 국가 간 기술경쟁력 순위를 바뀔 수 있어 잠재력을 가진 매우 중요한 분야로 여겨지고 있다. 이에 다수의 세계적 연구기관이 관련 연구를 수행하고 있으나, 아직까지 실용성이 담보된 고집적 신경망 기술은 개발되지 않았고, 그나마 개발된 결과물도 대부분 초기 수준이다. 이는 기술의 깊이가 깊고 난이도가 있으며, 소자 및 회로, 시스템 및 아키텍처, 그리고 알고리즘에 이르기 까지 다양한 분야의 전문가가 오랫동안 협력해야 기술완성이 가능함을 의미한다.
창의적이고 경쟁력이 있는 새로운 뉴로모픽 아키텍처 기반의 최적화된 알고리즘 개발은 기존 CMOS 기술대비 패러다임을 바꾸는 것으로 많은 시행착오가 필요하며, 아울러 분야가 다른 하드웨어와 소프트웨어를 동시에 최적화해야 효율이 뛰어나고 경쟁력 있는 기술로 개발할 수 있다. 따라서 앞으로 국가 차원의 장기적인 연구지원을 위한 정책적 유도가 필요하다.