강화학습의 역사 — 1961년 성냥갑 실험부터 시뮬레이션으로 배운 휴머노이드 로봇 축구까지

핵심 메시지

• 초기 대규모 언어 모델은 결과에 무관심했다. 셰익스피어를 넣든 의미 없는 문자열을 넣든 똑같이 패턴을 이어 쓸 뿐이어서, 사실과 환각을 구분할 이유가 없었다.
• 이를 고치기 위해 도입된 것이 일종의 '합성 고통'이다. 실패를 벌하고 성공을 보상함으로써 기계에 실패를 피하고 성공을 좇는 원시적인 성향을 심어 준 것이다.
• 감정이 판단을 흐린다는 통념은 뒤집혔다. 감정 처리 영역이 손상된 환자는 말도 유창하고 퍼즐도 풀지만 어떤 결정도 내리지 못했고, 이는 느낌이 학습과 선택의 엔진임을 시사한다.
• 강화학습의 역사는 '무엇을 특징으로 삼을 것인가'를 사람이 정해 주다가 기계가 스스로 찾아내게 만든 과정이었다. 신경망이 그 전환점이었다.
• 로봇을 현실로 옮기는 결정적 열쇠는 더 정밀한 시뮬레이션이 아니라 일부러 흐트러뜨린 시뮬레이션이었다.

쉽게 이해하기

이 영상은 '기계에게 느낌을 가르친 역사'라는 틀로 강화학습의 60년을 정리한다. 출발점은 초기 언어 모델이 왜 환각 기계였는지에 대한 진단이다. 입력된 텍스트의 패턴을 이어 쓰는 것이 전부였던 모델에게는 출력의 결과가 어떻든 차이가 없었고, 그래서 무엇이 옳은지 신경 쓸 이유 자체가 없었다는 것이다.

이야기는 1961년으로 거슬러 올라간다. 컴퓨터 과학자 도널드 미치는 컴퓨터 없이 성냥갑 수백 개로 틱택토를 학습하는 기계를 만들었다. 각 성냥갑은 판의 한 상태를 나타내고 그 안의 색깔 구슬은 다음 수를 뜻한다. 무작위로 구슬을 뽑아 두다가 지면 그 게임에 쓰인 색 구슬을 하나씩 빼고 이기면 하나씩 더해 주는 식이다. 이 단순한 방법만으로 기계는 경험을 통해 완벽하게 두는 법을 익혔고, 미치는 같은 알고리즘을 막대 균형 잡기 같은 제어 문제에도 적용했다.

한계도 분명했다. 모든 상태를 여러 번 방문해야 학습이 되는 방식이라 체스나 보행처럼 상태가 폭발하는 문제에서는 우주에 담을 수 없을 만큼 많은 성냥갑이 필요해진다. 돌파구는 1950년 클로드 섀넌이 제안한 평가 함수였다. 모든 수를 끝까지 계산하는 대신, 지금 판이 얼마나 좋은지를 점수로 매기고 가장 점수가 높은 수를 두면 된다는 발상이다. 다만 섀넌 자신도 이 방식의 약점을 알고 있었다. 기계가 실수로부터 배우지 못한다는 것이었다.

그 숙제를 이어받은 사람이 아서 새뮤얼이다. 그는 체커에서 각 특징의 중요도를 사람이 정하는 대신 자기 자신과 두는 대국을 통해 학습하게 했고, 여덟 시간 남짓 만에 프로그램을 만든 사람보다 잘 두게 됐다. 남은 문제는 특징 자체를 기계가 만들어내는 것이었는데, 이 문제가 풀리기까지 30년 넘게 걸렸다. 얀 르쿤의 손글씨 숫자 인식 신경망을 본 제럴드 테사우로가 '숫자를 알아볼 수 있다면 좋은 국면도 알아볼 수 있지 않을까' 생각했고, 백개먼에서 원시 판 정보를 신경망에 넣어 수천 개의 특징을 스스로 학습하게 만들었다. 여기에 시간차 학습이 결합된다. 승패가 날 때까지 기다리는 대신 한 수를 두기 전과 둔 뒤의 평가값을 비교해 그 차이만큼 조정하는 방식이다. 종료 국면 근처부터 정확해진 판단이 거꾸로 초반까지 번져 나가는 이 구조 덕분에, 약 30만 판의 자기 대국 뒤 신경망은 사람을 넘어섰다. 흥미로운 것은 그 강점이 계산이 아니라 판단이 중요한 중반전이었다는 점, 즉 고수의 직관에 해당하는 무언가가 생겨났다는 점이다.

이후의 역사는 게임에서 몸으로 넘어오는 과정이다. 상태의 가치 대신 행동의 가치를 배우자는 Q 함수 제안, 알렉스넷 이후 대형 신경망과 결합한 심층 Q 네트워크, 그리고 버튼 몇 개가 아니라 연속적인 힘 조절이 필요한 로봇 제어에서 드러난 한계가 차례로 이어진다. 마지막 관문을 연 것은 역설적이게도 시뮬레이션의 정밀도를 낮추는 접근이었다. 중력과 마찰, 크기와 조명을 일부러 무작위로 흔들어 놓고 학습시키자 로봇은 훨씬 강인해졌고, 이렇게 훈련된 정책은 추가 학습 없이 실제 로봇으로 옮겨져도 작동했다.

주요 인사이트

• 강화학습의 발전사는 결국 '특징을 누가 정하는가'의 역사로 읽힌다. 섀넌은 기물 수와 기동성 같은 특징을 직접 설계했고, 새뮤얼은 그 중요도를 학습시켰으며, 신경망은 특징 자체를 데이터에서 만들어냈다.
• 시간차 학습의 핵심은 정답을 기다리지 않는다는 점이다. 한 걸음 차이로 떨어진 자기 자신의 추정끼리 비교하는 것만으로 학습 신호가 생기며, 이는 보상이 아주 늦게 오는 문제를 다루는 일반적인 전략이 됐다.
• 시뮬레이션에서 배운 것이 현실에서 무너지는 문제를 더 정밀한 시뮬레이션으로 풀려던 시도는 잘 되지 않았다. 오히려 환경을 어지럽혀 다양한 경험을 만들어 준 쪽이 통했다는 점은 일반화에 관한 시사점을 준다.
• 로봇 손의 큐브 조작이나 휴머노이드 로봇 축구에서 관찰된 슛 예측과 차단 같은 행동은 사람이 규칙으로 넣어 준 것이 아니라 학습 과정에서 생겨난 것이다. 영상은 이를 물리적 지능의 창발로 설명한다.
• 영상이 마지막에 제시하는 방향은 상상과 고통의 결합이다. 로봇이 행동하기 전에 앞으로의 몇 초를 머릿속에서 돌려 보고, 그 결과에 대해 실패의 신호를 미리 느끼게 하는 방식이다. 시뮬레이션만으로는 의미가 없고 결과에 대한 선호가 있어야 한다는 논리다.

자주 묻는 질문

관련 AI 소식