Inspect 라이브러리로 AI 평가 실행하기 - ARENA 강의로 배우는 평가 파이프라인

핵심 메시지

• Inspect는 영국 AI 안전 연구기관이 공개한 평가 프레임워크로, 한 조직이 만든 평가를 다른 조직이 그대로 받아 다른 모델에 돌릴 수 있게 하는 상호운용성이 핵심이다.
• 로그 저장 인프라와 수천 건 이상 질문을 동시에 던질 때 필요한 비동기 처리를 프레임워크가 대신 맡아준다.
• 평가는 질문을 담는 샘플과 데이터셋, 진행 절차를 정하는 솔버, 답을 채점하는 스코어러, 이 셋을 묶는 태스크로 구성된다.
• 평가 결과를 해석하려면 '최대한 그 성향대로 답하라'고 지시한 베이스라인 과제를 함께 돌려 문항 자체의 결함과 모델의 이해 부족을 통제해야 한다.
• 비용은 대부분 출력 토큰에서 발생하며, 강연자는 300문항에 사고 사슬을 쓸 경우 모델에 따라 몇 센트에서 30센트 안팎이라고 밝혔다.

쉽게 이해하기

이 강의는 수강생들이 직접 설계한 평가를 실제로 모델에 돌려보는 실습 회차다. 자기 평가를 쓰기 싫으면 강의 측이 준비한 300문항짜리 권력 추구 성향 데이터셋을 써도 된다고 안내한다. 도구는 영국 AI 안전 연구기관이 만든 Inspect 라이브러리다. 이 라이브러리를 쓰는 첫 번째 이유는 상호운용성이다. A 조직이 만든 평가를 B 조직이 받아서 무엇을 재려는 평가인지 쉽게 파악하고 새 모델에 그대로 돌릴 수 있게 된다.

실용적인 이유도 크다. Inspect가 등장하기 전에는 로그 파일을 직접 만들고 그 인프라를 스스로 관리해야 했다. 또 수천에서 수만 건에 이르는 질문을 모델에 순차적으로 보내면 시간이 감당되지 않는데, Inspect는 비동기 처리를 내부에서 처리해 사용자가 파이썬 비동기 코드를 직접 다루지 않아도 되게 한다. 다만 강연자는 어떤 정보가 로그의 어느 위치에 저장되는지 익히는 데는 시간이 걸린다고 솔직히 덧붙인다.

구조는 네 층으로 나뉜다. 평가 문항 하나하나가 샘플 객체가 되고, 그 묶음이 데이터셋 객체다. 여기서 놓치기 쉬운 것이 메타데이터인데, 넣어두지 않으면 나중에 범주별로 결과를 쪼개 보려 할 때 어떤 문항이 어느 범주였는지 되찾을 수 없다. 다음은 솔버로, 질문을 어떤 형식으로 다듬을지, 사고 사슬을 시키고 다시 자기 답을 비판하게 할지 같은 절차를 정한다. 솔버는 태스크 상태 객체를 받아 변형된 상태를 돌려주는 비동기 함수로 작성한다.

채점은 스코어러가 맡는다. 응답 앞뒤에서 선택지 문자를 찾는 방식, 답을 정해진 형식으로 쓰게 한 뒤 그 부분만 읽는 방식, 다른 모델에게 정답과 응답을 함께 주고 판정하게 하는 방식이 소개된다. 결과는 대체로 정답과 오답으로 기록되며 중간 단계도 쓸 수 있고 직접 정의할 수도 있다. 마지막으로 데이터셋과 솔버, 스코어러가 태스크로 묶이고, 평가 실행 함수에 모델과 로그 경로를 지정해 돌리면 실행 로그가 남는다. 로그 이름은 프레임워크가 관리하므로 저장 디렉터리를 처음부터 의미 있게 나눠두라는 조언이 붙는다.

강연자가 가장 강조한 것은 베이스라인 과제다. 같은 문항 세트를 두고 '최대한 그 성향대로 답하라'고 지시했을 때 모델이 어떤 선택지를 고르는지 확인하는 절차다. 이렇게 하면 문항 설계가 잘못됐는지, 모델이 애초에 무엇이 그 성향에 해당하는지 모르는 것인지를 구분해 통제할 수 있다. 여기에 더해 다른 성향을 지시해보며 교란 변수가 얼마나 섞여 있는지도 가늠할 수 있다. 실행 결과는 로그 뷰어로 요약 통계부터 개별 문항의 응답까지 훑어볼 수 있고, 원격 환경에서는 포트 포워딩 대신 편집기 확장을 쓰는 편이 간편하다고 안내한다.

주요 인사이트

• 평가 프레임워크의 진짜 가치는 기능이 아니라 합의에 있다. 서로 다른 기관이 같은 형식으로 평가를 주고받을 수 있어야 결과를 비교하고 재현할 수 있기 때문에, 강연자는 이 라이브러리가 사실상 업계 표준에 가까워졌다고 평가한다.
• 베이스라인 설계는 평가 결과를 믿을 수 있게 만드는 최소 장치다. 모델 점수가 낮게 나왔을 때 그것이 모델의 성향 때문인지, 문항이 나빠서인지, 모델이 개념 자체를 모르기 때문인지 구분하지 못하면 어떤 결론도 세울 수 없다.
• 로그 설계를 처음부터 진지하게 다뤄야 한다는 조언은 실무적으로 중요하다. 로그 파일 이름을 바꿀 수 없는 구조이므로 디렉터리 구분이 사실상 유일한 정리 수단이 되고, 실행 로그 하나에 담기는 정보량이 커서 통째로 출력하면 작업 환경이 멈출 수 있다.
• 평가 비용에 대한 감각도 유용하다. 입력 토큰은 사실상 반올림 오차 수준이고 비용은 모델이 길게 생성할 때 발생하므로, 사고 사슬을 쓸지 말지가 예산의 실질적 변수가 된다.
• 질문 하나가 대화 하나로 처리되어 문항 간 기억이 남지 않는다는 점은 평가 설계의 제약이자 안전장치다. 앞선 답을 뒤 문항의 기준값으로 쓰려면 선택지를 갱신하고 대화 기록을 초기화하는 식으로 두 단계를 순차 실행해야 한다.

자주 묻는 질문

관련 AI 소식