머신러닝이란? 지도·비지도·강화학습과 신경망까지 한 번에 이해하기

핵심 메시지

• 전통 프로그래밍이 '이렇게 풀어라'라고 절차를 지시한다면, 머신러닝은 정답이 붙은 예시를 잔뜩 보여주고 방법 자체를 스스로 찾게 한다.
• 학습의 재료는 데이터이며, 데이터의 질이 모델의 질을 결정한다. 편향되거나 부실한 데이터는 그대로 편향된 결과로 이어진다.
• 머신러닝은 크게 지도학습, 비지도학습, 강화학습 세 갈래로 나뉘고, 층을 깊게 쌓은 신경망(딥러닝)이 오늘날 대부분의 돌파구를 이끈다.
• 의료 진단, 단백질 구조 예측(알파폴드), 데이터센터 냉각 효율화 등 실제 성과가 뚜렷하지만, 환각·편향·프라이버시라는 과제도 함께 따라온다.

쉽게 이해하기

영상은 컴퓨터에게 모든 동작을 명시적으로 프로그래밍하던 시대가 저물고 있다는 문제의식에서 출발한다. 전통적인 방식은 '사용자가 이걸 누르면 저걸 하라'처럼 개발자가 모든 상황을 미리 예상해 규칙을 짜야 하므로 유연성이 떨어진다. 머신러닝은 이 접근을 뒤집어, 문제를 푸는 방법을 알려주는 대신 '풀린 문제'가 어떻게 생겼는지 예시로 보여주고 기계가 방법을 직접 알아내게 한다. 완성된 케이크 수천 개를 보여주고 레시피를 스스로 유추하게 하는 것에 비유된다.

이 모든 학습의 바탕은 훈련 데이터다. 고양이를 알아보게 하려면 수천 장의 고양이 사진이, 주가를 예측하려면 수년치 시장 데이터가 필요하다. 영상은 '쓰레기를 넣으면 쓰레기가 나온다'는 원칙을 강조하며, 데이터의 품질이 곧 모델의 품질이라고 설명한다. 그래서 데이터가 기업에게 큰 가치를 지니게 되었고, 학습이 개인 정보에 의존할수록 프라이버시 문제가 중요해진다.

학습 방식은 세 가지다. 지도학습은 정답이 붙은 데이터로 배우는 가장 흔한 방식으로 스팸 필터부터 의료 진단까지 쓰인다. 비지도학습은 정답 없이 데이터 안의 구조를 스스로 찾아 고객 세분화나 사진 자동 정리에 활용된다. 강화학습은 행동에 대한 보상과 벌을 통한 시행착오로 배우며, 체스와 바둑을 정복하고 자율주행과 로보틱스를 이끈다.

현대 AI의 힘은 신경망에서 나온다. 신경망은 여러 입력에 가중치를 곱해 조합하고 다음 층으로 출력을 넘기는 디지털 뉴런들이 층층이 쌓인 구조다. 학습 과정에서 오차를 줄이도록 가중치가 조정된다. 층 하나는 이미지의 경계 같은 단순 패턴만 잡지만, 층을 여러 개 쌓으면(딥러닝) 고양이, 자동차, 암세포까지 인식할 수 있다. 층이 깊을수록 더 복잡한 패턴을 다룬다.

영상은 활용 사례와 그림자를 함께 짚는다. CT 영상에서 조기 폐암을 숙련된 영상의학과 의사보다 정확히 잡아낸 사례, 단백질 3차원 구조를 아미노산 서열만으로 예측해 2023년 노벨 화학상을 받은 딥마인드의 알파폴드, 데이터센터 냉각 에너지를 40% 줄인 사례 등이 소개된다. 동시에 그럴듯하지만 거짓 정보를 자신 있게 만들어내는 '환각', 딥페이크, 편향, 프라이버시 문제를 경고하며, AI의 처리 능력과 인간의 판단을 결합하는 것이 가장 효과적이라고 강조한다.

주요 인사이트

• 머신러닝의 본질적 전환은 '소프트웨어가 우리에게 맞추는 것'이다. 사람이 경직된 규칙에 적응하던 방식에서, 시스템이 사용자의 습관과 취향을 학습해 적응하는 방식으로 바뀐다.
• 데이터는 계속 생성된다는 점에서 석유와 다르다. 서비스를 쓸수록 데이터가 쌓이고, 그 데이터가 서비스를 개선해 다시 사용을 부르는 피드백 고리가 성공한 AI 시스템을 더욱 공고히 한다.
• 개인화와 프라이버시는 근본적으로 맞바꿈 관계다. 이를 완화하려는 기법으로 원본 데이터를 저장·접근하지 않고도 학습하는 차등 프라이버시와 연합학습(기기에서 익명화된 개선분만 공유)이 떠오르고 있다.
• 대형 언어모델은 세상을 이해하는 것이 아니라 학습에서 본 텍스트 패턴을 예측할 뿐이라, 존재하지 않는 논문이나 판례를 그럴듯하게 지어낼 수 있다. 중요한 사실은 사람이 반드시 검증해야 한다.
• 머신러닝 역량은 산업을 가리지 않고 쓰이며, 문제를 '기계가 배울 수 있는 형태'로 정의하는 능력이 코드를 쓰는 능력만큼 가치 있어지고 있다. 박사 학위가 없어도 온라인 강의로 시작할 수 있다.

자주 묻는 질문

관련 AI 소식