앨런 튜링이 시작한 컴퓨팅, 인공지능과 딥러닝으로 진화하다

딥러닝deep-learning이란 말을 한번쯤 들어보았을 것이다. 기계가 인간의 두뇌를 모방하여 행하는 자율적 학습기제를 가리키는 말이다. 이 딥러닝이 많은 것을 바꿔놓고 있다. 딥러닝의 기본은 뇌의 신경망을 기계적으로 재현하는 것이다. 수조 개가 넘는 뇌의 시냅스 연결망이 어떻게 인공지능으로 가능할까. 과거엔 불가능했지만, 지금은 가능해지고 있다. 엄청난 연산을 감당해줄 빅 컴퓨팅이 뒷받침을 해주고 있기 때문이다. 과히 인공지능 혁명이라고 할 만한 딥러닝까지 오기까지 인공지능의 기술발전은 어떤 과정을 거쳤을까.

[su_quote]최근의 심층학습의 발전과 이를 이용한 기술의 발달을 보면, 과거 디지털 혁명의 시기와 많은 부분 공통점을 가짐을 발견할 수 있다. 아날로그 정보를 디지털 정보로 바꾼 후 정보처리를 수행하는 변화의 구조가 디지털 혁명의 핵심이었다면, 향후의 정보처리의 흐름은 디지털 정보에서 의미Semantic 정보로 바꾼 후 그 의미에서부터 정보처리가 일어나는 방식으로 큰 흐름이 바뀔 것으로 보인다. 디지털 정보를 의미정보로 바꾸는 기술의 핵심에 바로 심층학습 기술이 존재한다. (12-13쪽)[/su_quote]

정상근 SKT 미래기술원 연구원의 「인공지능과 심층학습의 발전사」(『정보과학회지』,  33(10), 2015)는 제목처럼 그 역정을 핵심만 추려 보여주고 있다. 인공지능의 시작부터 규칙기반의 인공지능과 연결주의 인공지능, 통계 기반의 인공지능을 거쳐 심층학습이라는 신경망 기반 AI의 부활이라는 과정을 눈에 잡힐 듯 들려주고 있어 이 분야 초심자들에게 매우 유용한 정보가 되어준다.

인공지능의 시작

시작은 앨런 튜링이었다. 영화 <이미테이션 게임>에서 그려졌듯이 제2차 세계대전이 한창일 때 앨런 튜링은 적군의 암호를 해독하기 위한 기계장치를 고민하다가 컴퓨터를 만들어버렸다. “기계가 스스로 저장공간에 저장된 기호들을 읽어 들여 처리하고, 그 상태에 따라 다른 상태로 전이가 가능하도록 한다면, 어떠한 연산이던지 스스로 처리 가능하다는 것을 이론적으로 증명”한 것이다. 이 개념은 이후 폰 노이만 구조라는 프로그램 저장방식으로 개량되어 컴퓨터의 기본구조에 적용되었다. 이에 고무된 과학자들은 1950년대에 이르러 “사람의 머리에서 일어나는 일도 수학, 물리, 화학처럼 기계적 계산과정을 통해 설명할 수 있을 것”이라고 생각하게 되었고, 결국 “마음은 정보처리과정의 산물”이라는 생각이 시작되었다. 이것이 인지과학과 인공지능의 시작이었다.

규칙 기반에서 연결주의를 거쳐
통계 기반으로

인공지능의 첫 단계는 지능을 기계적 계산과정으로 설명할 수 있다는 “계산주의”에 근간하여 진행되었다. 규칙기반의 AI는 “실세계의 사물과 사상을 어떻게 기호화 할 것인가”에 대한 물음과 이렇게 표현된 “기호들 과 규칙을 활용해 어떻게 지능적 추론을 할 수 있을 것인가”에 대한 물음에 답변하려고 노력했다. 프로그래밍과의 유사성, 인간이 작성하고 읽을 수 있는 형태라는 특징 때문에 규칙기반 AI 는 1950년대부터 1980년대까지 전성기를 누렸다. 그러나 사람의 지능을 이식한 기계를 만들 수 있을 것이라는 초기의 믿음은 좌절했다. 수준 미달 성능과 범용성 부족으로 쇠락의 길을 걸은 규칙기반 AI는 연결주의라는 사고의 흐름으로 발전하게 되었다.

연결주의Connectionism는 기호화나 조작만으로는 지능을 충분히 설명할 수 없다고 생각했다. 이들은 사람의 지능이 두뇌Brain를 이루는 신경들 사이의 연결에서부터 출발한다고 보고, 뇌구조 자체를 저수준에서 모델링하여 외부의 자극(학습 데이터)을 통해 인공두뇌의 구조와 가중치 값을 변형시키는 방식으로 학습을 시도했다.

[su_quote]연결주의에서는 사과라는 사물은 ‘사과’ 하나로 따로 떼서 생각할 수 없으며 다른 모든 정보와 연결되어 있다고 생각한다. 즉, 사과라는 ‘개념’은 필연적으로 과일, 배, 사과나무, 빨간색 등 사과와 연관된 모든 정보와 연결되어 있어야 한다고 보고, 이를 실수 행렬 형태Real value vector form로 표현하려고 한다. 예를 들어, 3차원의 행렬로 사물을 표현하자고 했을 때 사과는 [45.6, -21.3, 64.2]와 같은 형태로 표현될 수 있으며, 이러한 표현 방식을 q분산 표상Distributed Representation라고 부른다. (11쪽)[/su_quote]

연결주의에서 시작한 신경망 기반 AI는 “신경망의 깊이가 깊어지면 깊어질수록, 차원수가 높으면 높을수록 성능이 올라간다는 것을 이론적으로 증명”했으나 당시 컴퓨팅 파워의 한계로 인해 좌절을 맛봐야 했다.

사람들은 이후 실용적으로 나아갔다. 바로 통계 기반의 인공지능으로, 인간의 지능과 두뇌구조에 대한 고찰이 아닌 인공지능이 풀고자 하는 ‘문제 자체’를 통계적으로 어떻게 풀어내는가에 더 관심을 가졌다. 이를테면 통계 기반의 인공지능을 극단적으로 응용하면 투자회사에 고용된 물리학자들이 주식을 팔 것인가, 말 것인가의 판단을 광범위한 통계 학습으로 도출해내는 프로그램을 만드는 것이 될 수 있다.

[su_quote]일반적으로 순수 통계 기반의 인공지능은 실제 사물을 표현하는 자질의 설계Feature Design, 통계적 모델에 기반하여 문제를 풀어서 정답과 비교해보는 평가 과정Evaluation, 정답과의 차이를 반영하여 통계 모델을 계속 갱신해나가는 최적화 과정Optimization/ Parameter Update의 세 가지로 구성된다.(11쪽)[/su_quote]

그러나 이러한 통계 기반 인공지능도 한계가 명확했다. 결정적으로 자질 설계를 직접 사람이 해야 하기 때문에 자질 설계의 수준이 천차만별이 되며, 풀어내는 과정에서 생기는 결과물을 다른 분야에 활용하는 게 어려웠다. 또한 새로운 문제를 풀고자 할 때 기존에 해왔던 과정을 다시 반복해야 했다. 이 엄청난 한계를 어떻게 넘어설 것인가.

심층학습,
신경망 기반 AI의 부활

그렇게 딥러닝의 시대가 왔다. 심층학습Deep Learning은 신경망 기반 AI의 부활이라고 할 수 있다. 2000년대 초반부터 최근까지 현대 사회는 인터넷과 모바일 기기 등으로 인한 수많은 연결이 새로 생겨났고, 이로써 대량의 데이터가 확보되었다. 충분한 양의 데이터와 이를 처리할 만큼의 컴퓨팅 파워의 확보, 신경망에 대한 이해와 기술발달은, 이론적으로는 훌륭했으나 시대를 앞서 나갔던 신경망 기반 AI를 성공적으로 부활시켰다. 이것은 과거의 기술과는 달랐다.

첫째, 사람이 자질을 직접 디자인하지 않아도, 충분한 데이터만 있다면 심층학습 스스로 사물의 특징을 발견해낼 수 있게 되었다. 숫자 9와 6을 예로 든다면, 다수의 ‘9’ 이미지를 활용해 학습된 딥러닝 숫자 인식 모델은, 소량의 추가 학습을 통해 숫자 6 역시 잘 인식하게 만들 수 있다.

둘째, 사물을 분산 표상Distributed Representation 방식으로 학습해 표현함으로써, 사물의 유사도 정보를 표현 체계 자체에 포함시킬 수 있게 되었다. 이는 인공지능이 ‘사과와 배의 차이’를 수학적 방식의 유사도 계산을 통해 파악할 수 있게 됨을 의미한다.

셋째, 심층학습은 어느 한 문제를 잘 풀면, 이 과정에서 학습된 데이터를 다른 문제에 그대로 재활용할 수 있다. 예를 들어, 심층학습 방식을 이용해 언어모델을 만드는 과정에서 생성된 임베딩 결과물은 바로 형태소 분석기 혹은 구문 분석기에 그대로 활용될 수 있다. 또한 형태소 분석 훈련을 통해 학습 된 중간단계의 결과물들은 그대로 구문분석이나 번역 문제에 재활용되거나 직접적으로 연결해서 사용 가능하다. 최근 구글은 이미지 분석의 심층학습 결과물 과 언어처리용 심층학습 결과물을 하나로 묶어서 이미지를 텍스트로 설명하는 새로운 기술을 선보였다.

구글이 선보인 이미지 오토 캡션. AI가 자체적으로 사진을 분석해 문장으로 표현하고 있다. 출처: 리뷰아카이브

처음에 인용했듯, 정상근 연구원은 이런 과정이 디지털 혁명 때와 매우 유사한 구조를 지닌다고 지적한다. 즉, 디지털 혁명이 아날로그 정보를 디지털화하여 정보를 수행하는 변화의 구조를 그 핵심으로 지니고 있었다면, 지금의 AI 혁명은 “디지털 정보에서 의미 정보로 바꾼 후 그 의미에서부터 정보처리가 일어나는 방식”인 것이다. 필자는 아래와 같이 ‘아이디어’와 ‘창업’을 제언하며 글을 마무리한다.

[su_quote]심층학습 기술은 신경망을 어떻게 디자인하고 어떤 종류의 신경망과 연결하느냐에 따라 과거에는 상상할 수 없었던 서비스를 개발해낼 수 있는 기회 역시 제공한다. 기술 자체가 여러 연구자들에 의해 오픈소스 형태로 배포되고 있고, 데이터 역시 인터넷을 활용한다면 쉽게 모을 수 있기 때문에 아이디어와 창의력만 있다면 얼마든지 ‘지능’을 만들어 볼 수 있는 시대가 되었다. 심층학습 기술을 활용한 다양하고 참신한 지능의 개발과 서비스 발굴을 기대해본다. (13쪽)[/su_quote]

강성민 리뷰위원  paperface@naver.com

<저작권자 © 리뷰 아카이브, 무단 전재 및 재배포 금지>