머신러닝 딥러닝 기초 개념 정리 - 가중치와 편향, 오차 줄이기로 이해하는 학습 원리

핵심 메시지

• 사람이 규칙을 일일이 지정하는 대신 기계가 데이터에서 스스로 규칙을 찾게 하는 것이 머신러닝이라는 정의에서 출발한다.
• 정답이 붙은 데이터로 학습하면 지도학습, 정답 없이 비슷한 것끼리 묶게 하면 비지도학습, 보상과 감점을 정해두고 점수를 높이게 하면 강화학습이다.
• 예측 모델은 각 입력에 곱하는 미지수를 두고 그 값을 기계가 찾게 하는 구조이며, 이 미지수를 가중치라고 부른다.
• 입력과 무관하지만 결과에는 영향을 주는 요소를 담기 위해 마지막에 상수 하나를 더하는데 이것이 편향이다.
• 학습의 기준은 예측값과 실제값의 차이인 오차이며, 이 오차를 최소화하는 방향으로 가중치를 수정하라고 지시하는 것이 학습의 전부다.

쉽게 이해하기

머신러닝이라는 말은 자주 들리지만 기계가 정확히 무엇을 어떻게 학습한다는 것인지는 잘 설명되지 않는다. 이 강의는 그 지점을 중학교 수준의 수식 하나로 풀어낸다. 출발점은 간단하다. 사진을 보고 사람인지 판단하는 문제를 사람이 규칙으로 짜 넣는 대신, 수많은 사진을 보여주고 기계가 스스로 판단 기준을 만들게 하는 것이 머신러닝이라는 설명이다.

스팸메일 분류가 좋은 예로 등장한다. 예전에는 사람이 제목에 특정 단어가 들어가면 스팸으로 빼라는 식의 단순한 규칙밖에 만들 수 없었지만, 학습을 시키면 기계가 수백에서 수만 건의 메일을 스스로 분석해 어떤 글자가 있을 때 스팸일 확률이 높은지 알아내고 규칙을 만든다. 학습 방식은 데이터의 생김새에 따라 세 갈래로 나뉜다. 사진마다 개와 고양이라는 정답표가 붙어 있으면 그것으로 학습시키는 지도학습이고, 정답표가 없는 데이터 수백만 건을 주고 비슷한 것끼리 묶어보라고 시키는 것이 비지도학습이다. 후자는 영상 추천이나 기사 추천처럼 유사도를 찾아 묶는 알고리즘에 쓰인다.

세 번째는 강화학습이다. 벽돌깨기 게임을 컴퓨터에게 가르친다고 하면, 언제 왼쪽이나 오른쪽 방향키를 눌러야 할지 규칙을 직접 짜 넣기는 어렵다. 대신 벽돌을 깨면 점수를 얻고 공을 놓치면 점수를 잃는다는 보상 체계를 정해둔 뒤 최종 점수를 최대한 높이는 방향으로 움직여보라고 시킨다. 컴퓨터는 수만 번의 시행착오를 거쳐 스스로 방법을 익힌다.

학습의 실제 과정은 수능 성적 예측이라는 예시로 설명된다. 6월과 9월 모의고사 성적으로 수능 점수를 예측한다고 할 때, 사람이라면 두 성적에 각각 0.5씩 곱해 더하는 정도의 모델을 세울 수 있다. 60점과 80점이면 70점으로 예측하는 식이다. 이 0.5라는 값이 정확할 리 없으니, 사람이 정하는 대신 기계에게 적당한 숫자를 찾아보라고 시키는 것이 머신러닝이다.

여기서 각 입력에 곱해지는 미지수를 가중치라고 부른다. 6월 성적이 결과에 얼마나 영향을 주는지를 나타내는 값이다. 여기에 두 성적과는 무관하지만 수능 점수에는 영향을 주는 요소, 이를테면 난이도 같은 것을 담기 위해 마지막에 상수 하나를 더하는데 이것이 편향이다. 이렇게 만든 예측 구조를 여러 개 연결해 중간에 층을 만들면 그것이 신경망이고, 그렇게 설계한 것이 딥러닝이다.

주요 인사이트

• 기계에게 아무 기준 없이 숫자를 찾으라고 하면 아무 값이나 내놓을 뿐이다. 실제 사람들의 6월·9월 성적과 실제 수능 점수가 담긴 데이터를 함께 줘야 비교 대상이 생기고, 그때 비로소 학습이 성립한다는 설명이 핵심이다.
• 학습 명령의 실체는 한 문장으로 요약된다. 네가 예측한 값과 실제 값의 차이를 최대한 작게 만들어보라는 지시이며, 이 차이가 곧 오차다.
• 오차를 재는 방법은 하나가 아니다. 강의에서는 크로스 엔트로피나 바이너리 크로스 엔트로피 같은 여러 함수가 있다고만 언급하고 자세한 설명은 뒤로 미룬다.
• 지도·비지도·강화라는 분류는 참고 사항일 뿐 크게 중요하지 않다고 강의는 못 박는다. 실제로 중요한 것은 기계가 어떤 기준으로 무엇을 조정하며 학습하는지의 구조다.
• 딥러닝은 머신러닝과 별개의 무엇이 아니라, 예측 구조를 여러 개 연결해 중간에 층을 둔 형태다. 학습하는 방식 자체는 앞서 설명한 것과 동일하다.

자주 묻는 질문

관련 AI 소식