AI와 수학 함수: 손실함수와 엔트로피, 삼각함수 위치 인코딩, 강화학습 보상함수 정리

핵심 메시지

• AI에 목표를 주는 방법은 결국 수학 함수이며, 무엇을 잘한 것으로 볼지 정하는 일이 통제의 출발점이다.
• 정답이 있는 학습은 평균제곱오차로 정답과의 거리를 줄이고, 정답이 없는 생성에서는 엔트로피 같은 기준으로 선명함을 점수화한다.
• 단어의 순서는 사인·코사인 함수를 이용한 위치 정보로 전달되며, 직선 대신 굽은 곡선을 쓰는 이유는 직선에는 담을 정보가 없기 때문이다.
• 강화학습의 핵심 질문은 보상함수를 어떻게 설계했느냐이며, 끝까지 가보지 않고 미래를 앞당겨 평가하는 데 점화식이 쓰인다.
• 사랑이나 희생, 유머처럼 아직 함수로 표현되지 못한 가치가 AI 통제의 남은 과제로 남는다.

쉽게 이해하기

카이스트 전자및전기공학부 김정호 교수가 언더스탠딩에서 이어 온 수학 연작의 세 번째 편은 함수를 다룬다. 출발점은 기술적 호기심이 아니라 통제다. AI끼리 소통하고 서로 영향을 주고받는 상황에서 인간이 AI를 어떻게 길들일 것인가 하는 질문에, 그는 함수를 잘 쓰면 된다는 답을 내놓는다. 프롬프트는 벡터이고 단어 사이 관계는 행렬이며, 학습은 미분으로 최적화되는데, 그 모든 흐름에 목표를 심는 자리가 함수라는 것이다.

본론에 들어가기 전 그는 메모리 이야기를 길게 곁들인다. 입력을 해석해 쌓아 두는 KV 캐시가 커지면서 메모리 수요가 늘고, GPU 안의 SRAM은 빠르지만 트랜지스터를 여러 개 써야 해 비싸고 면적을 많이 차지한다는 것이다. 그래서 대부분은 HBM처럼 바깥에 두는데, 최근에는 HBM 쪽에 연산 기능을 넣으려는 시도가 나오고 있다고 설명한다. 세레브라스처럼 12인치 웨이퍼 전체를 하나의 칩으로 쓰는 접근도 결국 메모리를 가까이 두려는 선택으로 소개된다.

함수 이야기의 첫 번째는 평균제곱오차다. 정답 벡터와 생성 결과 벡터의 차이를 제곱해 더하고, 그 값이 0에 가까워지도록 학습 변수를 바꾼다. 번역을 잘한다는 것은 잘 번역된 문장을 많이 읽고 그것과의 거리를 줄인 결과라는 설명이다. 다만 정답이 하나가 아닐 때는 더 많이 언급된 쪽을 정답으로 삼게 되고, 인용이 많거나 방문이 잦은 출처에 가중치를 둔다는 점도 함께 언급된다. 대중이 잘못 아는 사실이 그대로 학습된다는 문제 제기가 여기서 나온다.

두 번째는 엔트로피다. 물감 한 방울이 대야에 퍼지면 엔트로피가 높고 한 점에 맺혀 있으면 낮다는 비유로 시작해, 그림 생성에서는 엔트로피가 낮은 쪽, 즉 흐릿하지 않고 누가 봐도 무엇인지 알 수 있는 결과에 점수를 준다고 설명한다. 세 번째는 소프트맥스다. 지수함수를 써서 점수의 합을 1로 만드는 이 함수 덕분에 출력이 확률로 나오는데, 지수함수를 쓰는 이유 중 하나는 미분해도 지수함수라 계산이 편하기 때문이다. 그는 AI의 최종 출력은 결정론적이지 않고 언제나 확률을 거친다고 정리한다.

마지막은 순서와 보상이다. 단어 순서를 알려 주려면 위치도 벡터로 넣어야 하는데, 1·2·3처럼 자연수를 쓰면 숫자가 지나치게 커지고 직선에는 기울기 하나 말고 담을 정보가 없다. 그래서 0에서 1 사이를 오르내리는 사인·코사인을 쓰는 것이 포지셔널 인코딩이다. 강화학습에서는 알파고가 이길 확률을 높이는 쪽으로 보상을 받듯 보상함수가 행동을 결정하는데, 바둑을 끝까지 두어 보지 않고도 중간에 점수를 주려면 현재 상태와 다음 상태의 관계를 잇는 점화식이 필요하다. 그의 연구실은 이 방식으로 HBM 설계 자체를 AI에 맡기는 실험을 하고 있으며, 전력 소모가 적거나 속도가 빠르면 점수를 주는 식으로 보상을 설계한다.

주요 인사이트

• AI 통제를 규범이나 선언이 아니라 함수 설계 문제로 옮겨 놓으면, 무엇을 잘한 것으로 볼지 수식으로 못 적는 가치는 학습에 들어가지 못한다는 사실이 분명해진다.
• 정답이 있는 과제와 없는 과제에 서로 다른 함수가 필요하다는 구분은, 번역과 그림 생성이 같은 모델에서도 다른 기준으로 평가되는 이유를 설명한다.
• 위치 인코딩에 곡선을 쓰는 이유를 '직선에는 정보가 없다'로 정리한 대목은, 기울기 하나로 전부 결정되는 함수는 위치마다 다른 신호를 줄 수 없다는 뜻이다.
• 박사 과정 연구에서 핵심 질문이 보상함수를 어떻게 설계했느냐라는 말은, 강화학습의 난이도가 알고리즘보다 목표 정의에 있다는 현장 감각을 보여 준다.
• 미분 가능한 함수로 표현할 수 없으면 역전파로 학습시킬 수 없다는 제약은, 유머나 감동을 다루기 어려운 이유가 AI의 한계인 동시에 인간이 스스로를 아직 설명하지 못하는 문제이기도 하다는 점을 시사한다.

자주 묻는 질문

관련 AI 소식