머신러닝 기초 총정리 — AI 엔지니어를 위한 모델·딥러닝·강화학습·데이터

핵심 메시지

• 지능은 세계가 작동하는 방식을 압축한 "모델"을 만들고 그것으로 예측하는 능력이며, 컴퓨터도 같은 방식으로 모델을 학습할 수 있다.
• 머신러닝은 학습(training)과 추론(inference) 두 단계로 이뤄지며, 핵심은 손실 함수를 최소화하도록 데이터에 모델을 맞추는 것이다.
• 딥러닝은 신경망이 원시 데이터에서 유용한 특징을 스스로 학습해, 사람이 직접 입력 변수를 고르는 특징 공학의 부담을 줄여준다.
• 강화학습은 시행착오와 보상으로 학습해 사람의 라벨이나 전문성의 한계를 넘어설 수 있고, 알파고가 대표적 사례다.
• 아무리 정교한 알고리즘도 나쁜 데이터를 이기지 못한다 — 결국 데이터의 양과 질이 모델을 결정한다.

쉽게 이해하기

발표자는 교과서 대신 "만드는 사람"의 시각에서 머신러닝의 가장 핵심적인 개념만 추려 설명합니다. 출발점은 지능에 대한 정의입니다. 세상은 너무 복잡하기 때문에, 우리는 그것을 머릿속에 담을 수 있도록 압축한 "모델"을 만들고, 그 모델로 예측을 합니다. 먹구름을 보면 비가 올 것이라 예측하는 것처럼요. 사람이 타인에게 배우거나 경험으로 배우듯, 컴퓨터도 비슷한 방식으로 세계의 모델을 학습할 수 있습니다.

컴퓨터가 명시적 지시 없이 일을 하게 만드는 방법으로 머신러닝, 딥러닝, 강화학습 세 가지가 제시됩니다. 머신러닝은 전체를 아우르는 상위 개념이고, 딥러닝과 강화학습은 그 특수한 형태입니다. 머신러닝은 학습 단계(데이터로 모델의 파라미터를 맞춤)와 추론 단계(맞춰진 모델로 새 데이터를 예측)로 나뉩니다. 영상은 내일 기온을 예측하는 단순한 선형 모델을 예로 들어, 예측값과 실제값의 차이를 정량화한 "손실 함수"를 최소화하는 파라미터를 찾는 것이 학습의 본질임을 보여줍니다.

전통적 머신러닝(선형·로지스틱 회귀, 결정 트리, 랜덤 포레스트, XGBoost, SVM 등)은 강력하지만, 좋은 입력 변수를 고르는 "특징 공학"에 많은 시간과 전문성이 필요하다는 한계가 있습니다. 2020년 무렵부터 딥러닝이 부상하며 이 부담이 줄었습니다. 신경망은 원시 픽셀 같은 데이터를 받아 초기 층에서는 경계·질감을, 중간 층에서는 눈·귀 같은 부위를, 후반 층에서는 사물 전체 같은 고수준 개념을 스스로 표현하도록 학습합니다.

신경망의 기본 단위인 뉴런은 입력에 가중치를 곱해 더하고, 편향을 더한 뒤 비선형 활성화 함수를 통과시킵니다. 이 비선형성 덕분에 신경망은 사실상 어떤 함수든 근사할 수 있습니다. 신경망 학습은 선형 모델처럼 손실을 줄이지만, 손실 지형이 울퉁불퉁해 한 번에 정답을 계산할 수 없기에 경사하강법을 씁니다. 기울기의 반대 방향으로 조금씩 이동하며 최솟값에 다가가는 방식이며, 학습률·미니배치·Adam 같은 최적화 기법과 에폭·드롭아웃 같은 하이퍼파라미터가 학습 성패를 좌우합니다.

강화학습은 사람이 예시를 정해주는 지도학습과 달리, 모델이 환경과 직접 상호작용하며 좋은 행동에 보상을 받아 학습합니다. 사람의 라벨이나 전문성에 묶이지 않기에 인간 고수를 능가할 수도 있는데, 딥마인드의 알파고가 스스로와 대국하며 그랜드마스터를 넘어선 것이 대표적입니다. 영상은 손실을 최소화하는 대신 보상을 최대화하는 "경사상승법"과 REINFORCE, TRPO, PPO, GRPO 같은 발전된 기법까지 짚은 뒤, 결국 아무리 화려한 알고리즘도 나쁜 데이터를 이기지 못한다는 점을 강조하며 마무리합니다.

주요 인사이트

• 학습이란 결국 "데이터와 수학으로 모델을 현실에 맞추는 것"이며, 단순한 선형 모델부터 거대한 신경망까지 이 원리는 동일하게 관통한다.
• 딥러닝의 진짜 힘은 사람이 특징을 일일이 설계하지 않아도, 라벨이 붙은 원시 데이터만으로 신경망이 유용한 특징을 스스로 찾아낸다는 데 있다.
• 지도학습의 성능은 사람의 라벨링 능력에 묶이지만, 강화학습은 환경에서 스스로 방법을 찾기 때문에 인간 전문가를 뛰어넘는 새 전략을 발견할 수 있다.
• 데이터 품질의 핵심은 정확성(현실을 올바르게 반영)과 다양성(쓰일 모든 상황을 대표)이며, 양이 많아도 쓰레기 데이터면 쓰레기 모델이 나온다.
• 하이퍼파라미터(학습률, 배치 크기, 드롭아웃 등)는 데이터로 학습되는 값이 아니라 개발자가 직접 조정하는 값이라, 모델 성능에 큰 영향을 준다.

자주 묻는 질문

관련 AI 소식