온디바이스 AI 업무 활용법: 업무 분해 매트릭스와 1GB 로컬 LLM으로 보안 문제 넘기

핵심 메시지

• AI 도입이 실패하는 이유는 좋은 도구를 못 찾아서가 아니라 업무를 쪼개지 않았기 때문이다. 시장조사·기획·개발을 한꺼번에 대체하는 AI는 존재하지 않는다.
• 업무 덩어리를 세로축에, 지시·관리·실행이라는 수행 방식을 가로축에 두고 바둑판처럼 매트릭스를 만든 뒤, 교차점 하나하나에 AI를 붙인다.
• 생성형 AI를 사람처럼 보고 채용 공고를 써보면 글쓰기·요약·브레인스토밍·코딩·번역 등 약 12가지 스킬로 정리된다. 이 스킬과 업무 구성요소를 매핑하는 것이 핵심이다.
• 한 업무 구성요소에 AI 스킬이 5개 이상 걸리면 AI 전환 우선순위로 삼을 만하다. 반복성, 데이터 명확성, 책임 소재, 오류 수정 가능성을 묻는 자가진단 체크리스트도 함께 쓴다.
• 보안 때문에 AI를 못 쓰는 환경이라면 1GB 미만 젬마 모델을 로컬에 설치해 완전 오프라인으로 쓰거나, VDI 환경에서는 로그인 없이 쓰는 덕덕고의 챗 서비스가 현실적인 우회로가 된다.

쉽게 이해하기

티타임즈가 HR 전문가인 김덕중 랩스 디렉터를 다시 초대해, AI로 업무를 줄이려다 오히려 공부와 도구 탐색에 시간을 더 쓰게 되는 문제를 다뤘다. 그의 진단은 순서가 잘못됐다는 것이다. 내 일을 정확히 분석하지 않은 상태에서는 어떤 도구도 맞지 않는다. 앞 단계에서 누가 무엇을 넘겨주고, 내 결과물이 누구에게 영향을 주는지까지 보는 전체 흐름의 시야가 있어야 AI를 넣을 자리가 보인다는 것이다.

그가 제안하는 방법은 업무를 바둑판처럼 구조화하는 것이다. 세로축에는 업무 덩어리를 놓는다. 그는 자기 일을 최신 AI 기술·시장 동향 분석, 고객 미팅과 이슈 정리, 기획부터 개발·테스트에 이르는 제품 제작으로 나눴다. 가로축에는 그 일을 어떻게 하는지를 놓는데, 지시와 전략·기획을 하는 상위 영역, 통제와 관리를 하는 중간 영역, 실제로 수행하는 실행 영역으로 나뉜다. 그는 이를 축구에 비유해 위는 국제축구연맹, 중간은 코치와 심판, 아래는 선수라고 설명했다. 실제로 매트릭스를 그려보면 한 사람의 역할이 두세 영역에 복잡하게 걸쳐 있다는 사실이 드러난다. 채용 담당자라면 채용 트렌드 분석은 기획에 해당하고 면접 일정 조율은 실행에 해당하는 식이다.

다음 단계는 AI 쪽을 정의하는 일이다. 그는 AI를 의인화해 채용 공고의 직무 요건처럼 써보라고 권한다. 그렇게 정리하면 생성형 AI의 능력은 글쓰기, 요약, 브레인스토밍, 코딩, 번역 등 약 12개 스킬 영역으로 묶인다. 업무를 쪼갠 매트릭스와 이 12개 스킬을 맞대면, 어떤 교차점에 어떤 스킬을 붙일지가 구체적으로 보인다는 것이다. 그는 한 구성요소에 스킬이 5개 이상 매핑되면 AI 임팩트가 크다고 보고 우선 전환을 제안하며, 반복적인 일인지, 데이터가 명확한지, 책임 소재가 분명한지, AI가 틀렸을 때 바로잡을 수 있는지를 묻는 자가진단 체크리스트를 함께 쓴다고 밝혔다.

그는 과거의 혁신 방법론과의 차이도 짚었다. 식스 시그마, 프로세스 혁신, 애자일로 이어진 방법론들은 결과물이 파워포인트와 엑셀에 성경처럼 보관되는 데서 끝나는 경우가 많았다. 반면 지금은 분석 결과를 곧바로 도구로 만들어 쓸 수 있다는 것이다. 실제로 같은 직무의 담당자들이 모여 매트릭스를 그린 뒤, 시장의 도구가 회사 보안 정책에 걸리거나 미묘하게 맞지 않는다는 한계에 부딪혀 로우코드로 팀 내부용 앱을 직접 만든 사례도 있었다고 그는 전했다.

인터뷰 후반은 보안 제약을 넘는 실무 방법에 할애됐다. 가장 이상적인 환경은 인터넷 연결 없이 내 PC 안에서 AI를 돌리는 것이다. 그는 로컬 LLM 채팅 앱 Msty를 예로 들었는데, 설치하면 로그인 없이 10억 파라미터 규모의 젬마 모델이 자동으로 내려온다. 용량은 815MB로 1GB가 채 되지 않아 GPU가 약한 회사 지급 노트북에서도 돌아간다. 그는 허깅페이스에 올라온 모델이 이 시점 기준 170만 개에 이르고, 카카오·네이버·업스테이지의 모델도 여기에 올라온다고 소개했다. 파일 첨부로 PDF나 엑셀을 분석하고, 업무 매뉴얼 전체를 올려 지식베이스로 쓰고, 페르소나를 미리 저장하는 퀵 프롬프트도 쓸 수 있는데 이 모든 과정이 로컬에서 처리된다는 점이 핵심이다.

기본적으로 꺼져 있는 인터넷 검색 기능에 대해서도 그는 구조를 설명했다. 검색과 생성이 분리돼 있어 인터넷에서 결과를 먼저 가져와 로컬에 내려놓은 뒤 그 데이터로 답을 만들기 때문에, 내가 올린 파일이 외부로 나가는 것과는 무관하다는 것이다. 그는 네트워크 트래픽을 직접 모니터링해 외부 전송이 없음을 확인했고, 인터넷을 끊어도 파일 업로드 등 다른 기능이 정상 동작한다고 밝혔다. 회사 PC가 씬 클라이언트여서 VDI 안에서만 일해야 하는 경우에는 덕덕고가 운영하는 챗 서비스를 대안으로 제시했다. 로그인이 필요 없어 사용자를 식별할 수 없고 대화 이력은 저장을 켜더라도 내 컴퓨터에만 남으며, GPT-4o 계열 기본 모델 외에 라마·클로드 같은 모델도 무료 할당량 안에서 골라 쓸 수 있다.

주요 인사이트

• "내 일을 AI로 대체한다"는 접근이 실패하는 이유는 단위가 너무 크기 때문이다. 시장조사·영업계획·연구개발을 한 번에 대체하는 도구는 없지만, 각 업무를 모듈로 쪼개 성격을 정의하면 어떤 기술을 붙일지는 오히려 쉬워진다.
• AI를 만능으로 보거나 반대로 환각 때문에 못 쓴다고 보는 양극단 대신, 12개 스킬의 묶음으로 규정하는 것이 실무적으로 유용하다. 능력의 목록이 정해지면 매핑이라는 기계적인 작업으로 바뀐다.
• 작은 모델의 품질에 대한 그의 답은 직접 써보라는 것이다. 1GB 미만 모델이 '하늘은 왜 파란가' 같은 질문에 과학적 근거를 갖춘 답을 내고, 'AI 시대 HR 혁신 전략' 같은 업무 질문에도 출처를 가리면 상용 서비스와 구분하기 어려운 수준의 답을 냈다고 그는 평했다.
• 노트북 성능에 맞는 모델 선택은 앱이 게이지로 안내한다. 그의 노트북은 라마 3.2까지는 충분했지만 큰 모델은 부족했고, 추론이 강화된 4.7GB 규모의 딥시크 모델처럼 여유가 있으면 더 큰 모델로 올라갈 수 있다. 외부 API 키를 넣어 같은 화면에서 상용 모델을 쓰는 경로도 열려 있다.
• 온디바이스 AI의 실질적 의미는 성능이 아니라 접근성이다. 1GB 미만이면 스마트폰에도 부담이 없고, 비행기 안처럼 인터넷이 없는 상황에서도 AI를 쓸 수 있다. 보안 부서 승인과 유료 결제라는 두 장벽을 동시에 낮춘다는 점이 기업 관점의 이점이다.

자주 묻는 질문

관련 AI 소식