AI VIDEO BRIEFING

데이터 시각화와 텍스트 결합 연구 정리 — 스탠퍼드 CS547 HCI 세미나 강연

스탠퍼드 CS547 HCI 세미나 강연은 차트에 글을 많이 넣을수록 사람들이 더 선호했고 상당수는 그래프 없이 문장만 원했다는 실험 결과를 소개하며, 이를 설명하려는 인지 이론들과 멀티모달 언어 모델의 결합 구조까지 함께 짚었다.

출처: Stanford Online2026년 7월 31일AI 보조 요약

차트에 글자는 적을수록 좋다? 스탠퍼드 HCI 세미나가 뒤집은 통념 영상 대표 이미지

핵심 메시지

시각화 연구에서 오랫동안 곁가지로 취급돼 온 텍스트가, 정작 사람들이 가장 오래 보고 가장 잘 기억하는 요소였다.
차트에 붙는 글의 양을 단계별로 늘려 비교한 실험에서 참가자들은 일관되게 '글이 많은 쪽'을 선호했고, 연구진이 찾으려던 과잉 지점은 나타나지 않았다.
적지 않은 사람이 차트 자체를 원하지 않았다. 챗봇처럼 대화로 답을 주는 상황에서는 41%가 그래프 없이 문장만 보길 원했다.
텍스트 주석은 사람들의 예측을 거의 바꾸지 못했지만, 작성자가 어느 쪽으로 편향돼 있는지를 알려주는 신호로는 강하게 작동했다.
글과 그림을 함께 볼 때 머릿속에서 무슨 일이 벌어지는지 설명하는 인지 이론들은 서로 충돌하고 있어, 아직 확정된 답이 없다.

쉽게 이해하기

스탠퍼드 CS547 HCI 세미나에서 열린 이번 강연은 '텍스트와 시각화, 그리고 그 결합'을 주제로 삼았다. 발표자는 1995년 박사 논문에서 검색 결과를 시각화하는 문제를 다룰 때부터 이 주제를 붙들어 왔고, 시각화가 검색 결과에서 잘 통하지 않는 이유를 오래 이해하지 못한 끝에 최근에야 인지적 배경을 파고들기 시작했다고 밝혔다. 강연은 디자인에서 둘을 어떻게 결합할지, 인지 모델이 무엇을 말해주는지, 그리고 멀티모달 언어 모델과 어떤 관련이 있는지 세 부분으로 나뉜다.

텍스트가 얼마나 홀대받아 왔는지는 애플이 공개했던 차트 디자인 가이드라인이 잘 보여준다. 격자선, 플롯 영역, 마크, 눈금은 있는데 제목과 눈금 주석 항목은 아예 없었다. 반면 이른바 '기억 가능성' 연구에서는 사람들이 여러 차트를 아주 짧게 훑는 상황에서도 제목에 가장 오래 시선을 고정했고, 나중에 회상할 때도 제목을 가장 많이 언급했다. 그다음이 라벨과 문단이었다.

캡션과 그림이 서로 다른 곳을 가리킬 때 무엇이 이기는지를 본 실험도 소개됐다. 시각적으로 가장 두드러진 부분과 캡션이 짚는 부분이 일치하면 사람들은 그 내용을 말했다. 캡션이 두 번째나 세 번째로 두드러진 부분을 짚으면 이번에는 캡션 쪽 내용이 더 많이 언급됐다. 그런데 캡션이 전혀 두드러지지 않은 곳을 짚으면 사람들은 다시 그림에서 본 것을 말했다. 언어와 시각 중 어느 쪽이 우세한지가 상황마다 뒤바뀐 셈이다.

어떤 종류의 글을 얼마나 넣을지도 실험 대상이었다. 접근성 연구에서 나온 분류에 따르면 차트를 설명하는 문장은 금융위기 같은 외부 맥락을 끌어오는 높은 수준부터 특정 점의 값만 말하는 낮은 수준까지 네 단계로 나뉜다. 흥미롭게도 시각장애·저시력 독자 다수는 높은 수준의 설명을 반대하고 낮은 수준을 선호한 반면, 비장애 독자는 정반대였다. 텍스트 양을 아예 없는 것부터 아주 많은 것까지 조절한 실험에서는 글이 많은 쪽이 이겼고, 이는 '잉크를 줄이라'는 미니멀리즘 통념과 정면으로 부딪힌다.

마지막으로 발표자는 문단 한가운데에 큰 아이콘이나 작은 그래프를 끼워 넣는 최근 논문 관행에 경고를 보냈다. 읽기는 타고나는 능력이 아니라 학습된 기술이고, 눈이 다음 단어를 곁눈으로 미리 훑으면서 유창성이 확보되는데 이런 삽입물이 그 흐름을 끊는다는 것이다. 아직 증거를 모으는 중이라고 스스로 단서를 달았다. 멀티모달 언어 모델 부분에서는 이미지와 텍스트 임베딩을 단순히 이어 붙이는 구조와, 언어 모델 층 사이에 교차 어텐션 층을 끼워 넣는 구조 두 갈래가 소개됐다.

주요 인사이트

'잉크를 최소화하라'는 오랜 조언은 적어도 텍스트에는 그대로 적용되지 않는다. 실험 결과는 관련 있는 텍스트로 차트에 주석을 다는 쪽을 지지했다.
주석을 어디에 둘지는 그 문장의 의미 수준에 달렸다. 특정 지점에 대한 설명은 그 지점 가까이 두는 편이 낫고, 어떤 수준의 문장이 좋은지는 독자가 무엇을 가져가길 바라는지에 달렸다.
정보를 보여주는 화면을 설계할 때 '텍스트만 주는 안'을 후보에 반드시 넣어볼 만하다. 여러 실험에서 상당한 소수가 그래프 없는 쪽을 골랐다.
예측 과제에서 시각이 언어를 압도한 현상은, 빠르고 자동적인 사고가 느리고 의식적인 사고를 이기는 구도로 설명될 여지가 있다. 다만 해당 이론은 원래 텍스트를 전혀 다루지 않아 확장이 필요하다.
멀티모달 모델의 교차 어텐션이 인간의 이중 채널 모델과 대응되는지는 아직 아무도 모른다. 발표자 스스로도 두 그림을 나란히 놓고 생각해보는 정도가 지금 할 수 있는 일이라고 했다.

자주 묻는 질문

차트에 글을 많이 넣으면 오히려 방해되지 않나?

연구진도 '과하게 넣은' 구간이 나올 것으로 보고 실험을 설계했지만 그 지점을 찾지 못했다. 원래 '텍스트 부족과 과잉'이라는 제목을 붙이려다 과잉이 나오지 않아 제목을 바꿔야 했다고 한다. 다만 아주 소수는 제목조차 원하지 않았고, 조금만 있는 편을 좋아한 사람도 일부 있었다.

왜 어떤 사람은 그래프를 아예 원하지 않을까?

강연에서는 확정된 답이 없다고 했다. 개인 취향, 익숙함이나 읽기 능력, 작업기억 용량 등이 후보로 거론됐다. 인지부하 이론 쪽 연구에서는 시각 능력과 언어 능력이 모두 낮은 학습자가 두 양식을 동시에 받았을 때 오히려 성적이 나빴다는 결과가 있어, 한 가지 설명이 될 수 있다.

멀티모달 언어 모델은 이미지와 글을 어떻게 합치나?

크게 두 구조가 소개됐다. 하나는 이미지와 텍스트를 각각 벡터로 바꾼 뒤 그대로 이어 붙여 일반 언어 모델처럼 학습시키는 방식이다. 다른 하나는 언어 모델 층을 고정해 두고 그 사이에 교차 어텐션 층을 새로 끼워 넣어 두 흐름을 섞는 방식이다. 이미지는 픽셀이 워낙 많아 언어 임베딩과 차원을 맞추기 위해 크게 압축된다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗