로컬 컴퓨터에서 무료로 쓸 수 있는 AI는 크게 로컬 LLM 실행 도구, 로컬 챗 UI, 문서/RAG 도구, 특수 목적 도구로 나눌 수 있습니다. 아래 표에 종류, 용량, 특징, 최소 컴퓨터 사양을 정리했습니다.
로컬 AI 도구 표
텍스트 생성 로컬 AI (LLM)
가장 대중적인 모델들로, 문서 요약, 코딩, 대화 등에 사용됩니다.
| 종류 (모델명) | 특징 | 모델 용량 (Q4 기준) | 최소 사양 (VRAM/RAM) | 추천 사양 |
| Llama 4 (8B) | Meta 제작. 한국어 및 코딩 능력 최상위권 | 약 5GB | 8GB VRAM (RTX 3060) | RTX 4060 Ti 16GB |
| Gemma 4 (9B) | Google 제작. 논리적 추론과 창의적 글쓰기 우수 | 약 6GB | 8GB VRAM / 16GB RAM | RTX 4070 (12GB) |
| Mistral 7B | 가볍고 빠름. 성능 대비 효율이 매우 높음 | 약 4.5GB | 6GB VRAM (GTX 1660) | RTX 3060 12GB |
| DeepSeek-R1 | 추론(Reasoning) 특화 모델. 수학/코딩에 강점 | 약 5-10GB+ | 12GB VRAM 이상 | RTX 3090/4090 |
| Phi-4 (3B) | Microsoft 제작. 매우 작아서 구형 노트북 가능 | 약 2.2GB | 4GB VRAM / 8GB RAM | 내장 그래픽 가능 |
2. 이미지 생성 로컬 AI (Diffusion)
텍스트를 입력하면 이미지를 생성하거나 기존 이미지를 수정합니다.
| 종류 (모델명) | 특징 | 모델 용량 | 최소 사양 (VRAM) | 추천 사양 |
| FLUX.1 (Lite/Turbo) | 2026년 대세. 실사 사진 품질 및 텍스트 렌더링 최상 | 약 12GB | 12GB VRAM | RTX 4080 (16GB) |
| SDXL (Turbo) | Stable Diffusion XL. 방대한 플러그인(LoRA) 생태계 | 약 6.5GB | 8GB VRAM | RTX 3060 12GB |
| SD 1.5 | 구형 모델이나 저사양 최적화 완료. 가장 빠름 | 약 2-4GB | 4GB VRAM | RTX 2060 6GB |
| Z-Image-Turbo | 극강의 속도. 1초 내외로 이미지 생성 가능 | 약 4GB | 6GB VRAM |
AI 모델 용량 기준
모델 자체 용량은 보통 파라미터 수와 양자화 수준에 따라 달라집니다. 일반적으로 1B~3B 모델은 2~5GB, 7B~8B 모델은 5~10GB, 13B~14B 모델은 10~15GB, 30B~34B 모델은 20~30GB, 70B 모델은 40~50GB 정도가 필요합니다.
| 모델 크기 | RAM | GPU VRAM | 저장 공간 | 사용감 |
|---|---|---|---|---|
| 1B~3B | 8GB | 불필요 | 2~5GB | 아주 가볍고 빠름 |
| 7B~8B | 16GB | 6GB+ 권장 | 5~10GB | 일상 대화, 간단한 코딩 |
| 13B~14B | 16GB+ | 8GB+ 권장 | 10~15GB | 범용 성능이 괜찮음 |
| 30B~34B | 32GB+ | 16GB+ 권장 | 20~30GB | 고사양 필요 |
| 70B | 64GB+ | 24GB+ 필수 | 40~50GB | 최고급 성능, 매우 무거움 |
사양별 추천
- 최저 사양: RAM 8GB면 1B~3B급이나 CPU 실행 위주로는 가능하지만, 속도는 느릴 수 있습니다.
- 실사용 입문: RAM 16GB, GPU VRAM 6GB 정도면 7B~8B 모델을 꽤 무난하게 돌릴 수 있습니다.
- 쾌적한 사용: RAM 32GB, GPU VRAM 12GB 이상이면 13B급 모델이나 여러 작업을 같이 하기 좋습니다.
- 고성능: RAM 64GB 이상, GPU VRAM 24GB 이상이면 70B급 모델까지도 현실적으로 접근할 수 있습니다.
가장 쉬운 조합
처음 시작할 때는 Ollama + Open WebUI 또는 LM Studio가 가장 무난합니다. 완전 초보자라면 GPT4All이나 llamafile처럼 설치가 쉬운 도구가 편합니다.
