머신러닝이란? 분류와 예측, 학습 과정과 알고리즘 핵심 100초 요약

핵심 메시지

• 머신러닝은 작업을 일일이 프로그래밍하지 않고, 데이터를 알고리즘에 넣어 경험으로 결과를 점점 개선하는 방식이다.
• 이 용어는 1959년 IBM의 아서 새뮤얼이 체커 게임 AI를 개발하며 처음 사용했다.
• 예측 모델의 두 가지 핵심 역할은 데이터를 분류하는 것과 미래 결과를 예측하는 것이다.
• 과정은 데이터 수집·정제, 특성 공학, 학습/테스트 분리, 알고리즘 선택, 오차 함수로 성능 검증 순으로 진행된다.
• 결과물인 모델은 학습된 형태의 입력을 받아 오차를 최소화한 예측을 내놓는 하나의 파일이다.

쉽게 이해하기

머신러닝은 컴퓨터에게 작업 수행 방법을 일일이 명시적으로 프로그래밍하지 않고도 작업을 처리하게 하는 기술입니다. 대신 데이터를 알고리즘에 넣어, 마치 생명체가 학습하듯 경험을 통해 결과를 점차 개선합니다. 이 용어는 1959년 IBM의 아서 새뮤얼이 체커 게임을 두는 인공지능을 개발하면서 처음 만들었습니다.

오늘날 예측 모델은 우리가 매일 쓰는 제품 곳곳에 들어 있습니다. 이 모델이 하는 일은 크게 두 가지입니다. 하나는 '도로에 다른 차가 있는가', '이 환자가 암에 걸렸는가'처럼 데이터를 분류하는 일이고, 다른 하나는 '주가가 오를까', '다음에 어떤 영상을 볼까'처럼 미래 결과를 예측하는 일입니다.

첫 단계는 데이터를 확보하고 정제하는 것입니다. 데이터가 문제를 잘 대표할수록 결과도 좋아지며, 쓰레기를 넣으면 쓰레기가 나옵니다. 데이터 과학자는 특성 공학(feature engineering)을 통해 원시 데이터를 문제를 더 잘 표현하는 특성으로 바꿉니다. 이후 데이터를 학습용과 테스트용으로 나누어, 학습 데이터로 모델을 만들고 테스트 데이터로 정확도나 오차를 검증합니다.

알고리즘은 선형·로지스틱 회귀 같은 단순한 통계 모델일 수도, 특성마다 가중치를 부여하는 결정 트리일 수도 있습니다. 더 나아가 합성곱 신경망(CNN)은 입력 데이터에서 추가 특성을 자동으로 만들어내, 이미지나 자연어처럼 사람이 직접 특성을 설계하기 어려운 데이터에 특히 유용합니다.

모든 알고리즘은 예측을 오차 함수와 비교하며 성능을 높입니다. 고양이냐 개냐 같은 분류 문제에서는 정확도가, 빵값이 얼마나 오를까 같은 회귀 문제에서는 평균 절대 오차가 기준이 될 수 있습니다. 데이터 과학자들은 주로 파이썬을 쓰지만 R과 줄리아도 인기가 있으며, 최종 결과물인 모델은 기기에 탑재되거나 클라우드에 배포되어 실제 제품이 됩니다.

주요 인사이트

• 머신러닝의 본질은 규칙을 직접 코딩하는 대신 데이터로부터 규칙을 학습시키는 발상의 전환에 있다.
• 데이터 품질이 결과를 좌우한다. 'garbage in, garbage out'이라는 원칙처럼 정제와 특성 공학이 모델 성능의 토대가 된다.
• 학습용과 테스트용 데이터를 분리해 검증하는 절차는 모델이 실제 상황에서도 통할지 확인하는 핵심 단계다.
• 이미지나 자연어처럼 수동 특성 설계가 사실상 불가능한 영역에서는 특성을 자동 생성하는 신경망이 큰 힘을 발휘한다.

자주 묻는 질문

관련 AI 소식