매일 쏟아지는 이메일 주문서와 PDF 서류들을 일일이 엑셀에 타이핑하며 귀중한 시간을 허비하고 계신가요? 이제 복잡한 코딩 한 줄 몰라도 괜찮습니다. 우리에게는 Ollama 3.2라는 강력한 두뇌와 AnythingLLM이라는 편리한 도구가 있으니까요. 이 조합만 있다면 PC는 즉시 세상에 하나뿐인 ‘AI 전용 업무 자동화 사무실‘로 거듭납니다.
무엇보다 이 방식의 가장 큰 강점은 철저한 보안과 경제성에 있습니다. 챗GPT처럼 데이터를 외부 서버로 보내지 않고 오직 내 컴퓨터 자원만 사용하는 ‘로컬 AI’ 방식이기 때문에, 소중한 고객 정보나 기업 기밀이 담긴 주문서가 외부로 유출될 걱정이 전혀 없습니다. 인터넷 연결 없이도 내 방 안에서 모든 처리가 이루어지니 보안이 생명인 업무에 이보다 완벽한 선택은 없죠.
또한, 매달 지불해야 하는 비싼 구독료 부담에서도 완전히 해방될 수 있습니다. 내 컴퓨터 사양이 허락하는 한 수십 통, 수백 통의 메일을 분석해도 추가 비용이 전혀 들지 않는 100% 무료 환경입니다. 이제 데이터 유출 걱정 없는 무제한 AI 비서를 직접 부리며, 번거로운 수작업에서 벗어나 스마트하게 업무 효율을 높이고 단 몇 초 만에 수십 통의 메일이 깔끔하게 정리할수 있어요!
목차
1. 왜 AnythingLLM과 Ollama 조합인가요?
일반적인 챗GPT나 클로드는 편리하지만, 기업의 주문서나 민감한 개인정보를 외부 서버에 올리는 것은 늘 보안 위험이 따릅니다.
- 철저한 데이터 보안: 모든 연산이 내 컴퓨터 안에서만 이루어집니다. 인터넷 연결 없이도 작동하며, 외부로 데이터가 1바이트도 유출되지 않습니다.
- 나만의 지식 저장소 (RAG 기술): 수천 개의 PDF, 엑셀, 텍스트 파일을 AI에게 학습시켜 “작년 3월 홍길동 고객이 주문한 내역 찾아줘” 같은 질문에 즉각 답변을 얻을 수 있습니다.
- 자유로운 모델 교체: 코딩은 Qwen, 대화는 Llama, 사진 분석은 Llava 등 목적에 맞는 AI 모델을 버튼 하나로 갈아 끼울 수 있는 ‘AI 허브’ 역할을 합니다.
2. 기초 공사: 프로그램 및 모델 설치하기
AI 사무자동화 비서를 가동하기 위해 엔진(Ollama)과 조종석(AnythingLLM)을 설치해야 합니다.
① Ollama 설치 및 두뇌 준비
- ollama.com에서 윈도우용 파일을 다운로드하여 설치합니다.
- 윈도우 터미널(CMD)을 열고 아래 명령어를 입력하여 필요한 모델을 미리 내려받습니다.
ollama pull llama3.2(일반적인 대화 및 요약용)ollama pull qwen2.5-coder:7b(정확한 데이터 추출 및 표 만들기용)ollama pull nomic-embed-text(문서 검색 및 학습을 위한 필수 모델)
② AnythingLLM 설치
anythingllm.com에서 데스크탑 버전을 내려받아 설치합니다. 이 프로그램은 Ollama라는 엔진을 우리가 쓰기 편한 채팅 화면으로 바꿔주는 역할을 합니다.
3. 핵심 설정: AnythingLLM과 Ollama 연동하기
설치가 끝났다면 두 프로그램을 연결해 주어야 합니다. 이 과정은 딱 한 번만 설정하면 됩니다.
- Provider 설정: AnythingLLM 실행 후 왼쪽 하단 Settings(톱니바퀴) ->LLM Preference에서 Ollama를 선택합니다.
- 주소 확인: URL은 기본값인
http://127.0.0.1:11434그대로 둡니다. - 모델 선택: 드롭다운 메뉴에서
llama3.2또는qwen2.5-coder:7b를 선택합니다. - Embedding 설정 (중요): 왼쪽 메뉴의 Embedding Preference에서도 Ollama를 선택하고, 모델은 긴 문장을 가장 잘 이해하는
nomic-embed-text로 지정합니다. 이 모델은 이메일이나 PDF의 내용을 숫자로 바꿔 AI가 검색할 수 있게 돕는 ‘사서’ 역할을 합니다.
4. 실전! 이메일 주문서 데이터 자동 추출하기
이제 워크스페이스를 만들고(예: “주문서_정리”), 실제로 데이터를 뽑아낼 차례입니다.
1단계: 마법의 명령어(프롬프트) 입력
채팅창에 아래의 명령어를 입력하세요. AI에게 우리가 원하는 결과물의 형식을 미리 알려주는 과정입니다.
“지금부터 내가 주는 이메일 본문에서 주문 정보를 추출해서 CSV 형식으로 출력해줘. 항목은 [날짜, 주문자, 상품명, 수량, 금액, 연락처] 순서로 해줘. 다른 설명은 하지 말고 오직 데이터만 출력해.”
2단계: 데이터 붙여넣기
이메일 내용을 그대로 복사해서 붙여넣습니다. 사진 형태라면 Llava 모델로 변경 후 이미지를 드래그 앤 드롭 하면 됩니다.
3단계: 엑셀 보고서로 변환
AI가 아래와 같이 답변을 줄 것입니다.
날짜,주문자,상품명,수량,금액,연락처
2026-03-24,홍길동,아이스 아메리카노,2,15000,010-1234-5678
2026-03-24,홍길동,치즈케이크,1,15000,010-1234-5678이 내용을 복사하여 메모장에 넣고 주문내역.csv로 저장한 뒤 엑셀로 열면, 칸이 딱딱 나누어진 깔끔한 보고서가 완성됩니다.
5. AnythingLLM 활용 꿀팁
- 화면 캡처 기능: 이메일 창을 띄워둔 상태에서 AnythingLLM의 스크린 캡처 기능을 쓰면 복사할 필요 없이 즉시 분석이 가능합니다.
- 멀티 업로드: 여러 개의 이메일을 PDF로 저장해 한꺼번에 업로드하면, 수십 통의 메일을 하나의 표로 합쳐서 요약해 줍니다.
- 모델 선택 방법: 단순한 내용은 Llama 3.2가 빠르고, 숫자와 항목을 정교하게 나눠야 할 때는 Qwen2.5-Coder가 훨씬 정확합니다.
AnythingLLM과 Ollama의 조합은 복잡한 파이썬 코딩 없이도 누구나 ‘개인용 업무 자동화’를 구축할 수 있게 해줍니다. 보안과 성능, 비용까지 모두 잡은 이 시스템으로 지루한 반복 업무에서 해방되어 보세요.
