로컬 환경에서 LLM(거대 언어 모델)을 직접 구동하게 디면 “스크립트를 실행할 때마다 모델을 새로 로드해야 하는데, 이게 맞는 방식인가?” 7B 파라미터 모델 하나를 메모리에 올리는 데만 수십 초가 걸리고, 그 시간 동안 아무것도 할 수 없다면 개발 속도는 물론 사용자 경험도 크게 떨어집니다. AI를 한 번 띄워 메모리에 상주(Background Service)시키고, 필요한 모든 클라이언트 코드에서 HTTP로 호출하는 […]
1. Cloudflare Tunnel이란? ngrok 비교 Cloudflare Tunnel로 로컬 서버를 외부에 공개한다는 것은, 공인 IP나 포트 포워딩 없이 로컬 PC에서 실행 중인 서버를 인터넷에 안전하게 노출시키는 기술을 의미합니다. cloudflared 클라이언트가 Cloudflare의 글로벌 엣지 네트워크와 암호화된 아웃바운드 연결을 유지하고, 외부에서 들어오는 요청을 해당 터널을 통해 로컬 서버로 전달합니다. Quick Tunnel vs Named Tunnel Cloudflare Tunnel에는 두 가지 […]
Oracle Cloud Infrastructure(OCI) 무료 인스턴스에서 Permission denied (publickey) 오류로 SSH 접속이 막혔다면, 이 글이 가장 빠른 해결책을 제공합니다. Console Connection 생성, Cloud Shell 수정, 키 포맷 변경까지 모두 시도했지만 실패한 분들을 위해 OCI Run Command를 통한 authorized_keys 재등록 방법을 단계별로 정리했습니다. Oracle Cloud Infrastructure(OCI)에서 무료 인스턴스를 생성한 후 SSH로 접속하려 할 때, ‘Permission denied (publickey)’ […]
AI 모델을 한 번 돌릴 때마다 1~3분씩 하염없이 기다리는 시간, 정말 지루하죠. 특히 이것저것 프로젝트를 많이 벌여놓고 테스트하다 보면 로딩 속도 때문에 흐름이 다 끊기기 일쑤입니다. 게다가 여러 파이썬 프로그램에서 같은 로컬 LLM을 동시에 불러오려다 메모리 부족(OOM) 메시지를 볼 때면 정말 힘이 빠지죠. 이런 고민을 하시는 분들께 해결책이 있습니다. 바로 FastAPI를 활용한 로컬 AI 서버 […]
AI를 활용해 나만의 서비스를 구축하고 나면, 외부에서 내 AI 서비스에 접속할 수 있도록 만드는 것이 필수적입니다. 하지만 일반적인 클라우드 서비스는 무료 제공량에 한계가 있고, 유료 이용 시 매번 발생하는 비용이 부담될 수 있습니다. 이때 클라우드 서버 비용 없이 개인 컴퓨터를 활용하는 방법이 있습니다. 고성능 GPU가 탑재된 컴퓨터를 24시간 클라우드 서버에 맡기면 비용이 상당하지만, 이미 집에 […]
사무실에서 영수증을 처리하거나 또는 상품을 구매하고 영수증 OCR 자동화를 구현하고 싶은데, 일반 OCR로는 표 구조가 뭉개지거나 상품명과 금액이 뒤섞여 제대로 된 결과를 얻지 못한 경험이 있으신가요? 이번 글에서는 비전언어모델(Vision-Language Model, VLM) 기반의 PaddleOCR-VL을 활용하여 영수증 이미지에서 상품명·수량·단가·금액을 자동으로 추출하고 JSON으로 저장하는 Python 영수증 인식 자동화 GUI 프로그램을 제작합니다. 단순한 문자 인식 수준의 PaddleOCR 영수증 인식이 […]
AI 개발환경을 구축할 때 가장 자주 겪는 문제는 “분명히 패키지를 설치했는데 모델이 실행되지 않는” (예: ChatTemplateLoadKwargs 오류 해결) 상황입니다. 에러 메시지는 ChatTemplateLoadKwargs, AllKwargsForChatTemplate, ImportError 같은 생소한 이름으로 가득하고, 원인을 찾아 인터넷을 헤매다 몇 시간이 지나버리는 경우가 다반사입니다. 이 문제의 핵심 원인은 단 하나입니다. transformers 라이브러리의 버전이 실행하려는 모델의 요구사항과 맞지 않는 것입니다. 특히 HCX Vision […]
거대 언어 모델(LLM)은 수십 GB에 달하고 그 AI 모델 파일은 일반적인 그래픽카드(GPU) 메모리에 담기엔 너무나 큽니다. 이때 필요한 것이 바로 양자화(Quantization)입니다. 특히 오늘 우리가 함께 알아볼 방식은 GPTQ 양자화(Generalized Post-Training Quantization) 기법입니다. 이 방식은 모델을 처음부터 다시 학습할 필요 없이, 이미 학습이 완료된 모델의 가중치(Weight)를 정밀하게 분석하여 16비트(또는 bf16)의 무거운 데이터를 4비트의 가벼운 데이터로 압축하는 […]
양자화 방식은 생각보다 훨씬 다양합니다. 보통 GPTQ, AWQ, GGUF가 현재 가장 대중적인 3대장인 것은 맞지만, 기술의 발전과 목적에 따라 새로운 방식들이 계속 등장하고 있습니다. 양자화(Quantization)란 무엇인가? 쉽게 비유하자면 ‘사진 용량을 줄이는 과정’과 같습니다. 4K 고해상도 원본 사진(16bit 또는 32bit 정밀도)을 적당한 화질의 JPEG(4bit)로 압축하는 것이죠. 모델의 파라미터는 보통 float32라는 고정밀 숫자로 표현됩니다. 하지만 이 숫자를 […]
클라우드 API를 통해 AI 모델을 사용하는 방식은 편리하지만, 데이터 프라이버시, 비용, 인터넷 연결 의존성이라는 세 가지 근본적인 한계를 가집니다. 특히 기업 내부 문서, 개인 정보가 담긴 데이터를 처리해야 하는 경우에는 로컬 환경에서 AI 모델을 직접 구동하는 것이 유일한 선택지가 되기도 합니다. 네이버가 공개한 HyperCLOVAX-SEED-Think-14B는 140억 개의 파라미터를 가진 고성능 한국어 특화 대형 언어 모델입니다. 그러나 […]
최근 출입 통제 시스템부터 스마트폰 Face ID, 그리고 카메라 앱의 실시간 스티커 필터까지 우리 일상에서 얼굴 인식 기술을 접하는 것은 이제 매우 자연스러운 일이 되었습니다. 인공지능이나 컴퓨터 비전 분야를 공부하다 보면 가장 먼저 도전하게 되는 프로젝트 중 하나가 바로 이 ‘얼굴 인식(Face Recognition)’이기도 합니다. 컴퓨터가 이미지나 영상 속에서 사람의 얼굴을 찾아내고, 그 사람이 누구인지 식별하려면 […]
요즘 비개발자도 AI를 활용해서 자동화가 가능합니다. 특히 복잡한 앱과 워크플로우를 누구나 쉽게 만들 수 있는 시대죠. Bubble, Airtable, Zapier, Make 같은 노코드 자동화 SaaS가 등장하면서 스타트업과 개인 사업자가 IT팀 없이도 디지털 전환을 이루고 있습니다. 이번 글에서는 노코드 자동화 SaaS 최신 요금제, 기능 차이, 상호 비교를 통해 왜 이런 서비스가 뜨는지, 실제 활용법까지 실전 팁을 알아볼께요! […]
안녕하세요! 오늘은 AI 모델 학습의 핵심인 무료 한국어 음성 데이터를 찾고 계신 분들을 위해 아주 유용한 정보를 가져왔습니다. 바로 AI Hub에서 제공하는 대규모 데이터셋, KsponSpeech를 활용해 압도적인 퀄리티의 AI 목소리를 만드는 과정입니다. 보통 우리가 구할 수 있는 무료 음성 파일들은 문장이 너무 짧거나 주변 소음이 섞여 있어, 결과물이 흔히 말하는 ‘기계음’처럼 들리기 쉽습니다. 하지만 이 […]
음성 AI를 직접 만드는 방법! TTS(Text-to-Speech)를 활용해서 “내 목소리로 말하는 AI”를 직접 구현하는 단계를 알아보고 여러 모델중에서 Bert-VITS2 파인튜닝 사용법을 알아본다. 이 글에서는 한국어 TTS 만들기, 개인 음성 AI 제작, 커스텀 음성 합성 모델을 실제로 바로 따라할 수 있는 Bert-VITS2 파인튜닝 전체 과정을 정리하고, 특히 일반 PC GPU 환경에서도 충분히 실시간에 가까운 음성 생성이 가능한지를 […]
그래픽카드(GPU)가 갑자기 화면을 출력하지 못하거나, 게임 도중 기이한 색깔의 점과 줄이 생기거나, 윈도우 장치 관리자에 코드 10 또는 코드 43 오류가 뜨는 경우, 많은 사람들이 드라이버 재설치나 PCIe 슬롯 청소로 해결을 시도합니다. 하지만 이런 증상의 상당수는 사실 VRAM(비디오 메모리) 칩 자체의 물리적 불량에서 비롯됩니다. VRAM 불량은 크게 두 가지 경로로 발생합니다. 첫 번째는 납땜 불량(솔더 크랙)으로, 반복적인 열팽창과 수축으로 인해 GPU […]
내 컴퓨터에서 직접 돌리는 인공지능, AI Llama 서버 백그라운드에서 실행하는 방법을 알아보려고 합니다. Ollama나 llama.cpp 같은 도구로 나만의 AI를 구축하는 할때 요긴하게 사용할수 있습니다. AI 프로그램을 만들다 보면 한 가지 불편한 점이 생깁니다. 바로 “검은색 터미널 창이 계속 떠 있는 것”과 “내가 만든 프로그램을 껐는데 AI 서버는 뒤에서 계속 돌아가고 있는 상황”이죠. 이 문제를 해결하기 […]
영상 편집이나 콘텐츠 제작을 하다 보면 “내 목소리로 AI 더빙을 할 수는 없을까?”라는 고민을 한 번쯤 해보셨을 거예요. 성우를 고용하자니 비용이 부담스럽고, 직접 매번 녹음하자니 틀릴 때마다 다시 해야 하는 번거로움 때문에 포기하셨던 분들을 위해 준비했습니다. GPT-SoVITS 같은 기술을 활용하면, 단 1분의 짧은 녹음 데이터만으로도 나랑 똑같은 목소리를 내는 AI 성우를 만들 수 있습니다. 특히 […]
내 컴퓨터에 직접 AI 검색 시스템을 구축하다 보면 데이터는 분명히 존재하는데 AI가 답변을 못 하거나, 엉뚱한 문서를 가져오는 상황을 마주하게 됩니다. 특히 한국어 RAG(검색형 AI) 시스템에서 고유명사나 전문 용어가 많은 문서를 다룰 때 이러한 문제가 두드러집니다. AI 검색 엔진의 원리부터 실전 구축 방법까지 정리했습니다. 한국어 RAG 검색 성능이 떨어지는 3가지 핵심 원인 파일을 정상적으로 업로드하고 […]
효과적인 생성형 AI 활용을 위해 AI 모델의 성능을 높이고 최적화하는 방법은 여러 가지가 있습니다. 단순히 질문을 던지는 수준을 넘어, 목적에 맞게 AI를 최적화하는 기술적 접근이 필요합니다. 크게 구분하면 AI 자체를 공부시키는 학습(Fine-Tuning) 방식과, AI 옆에 최신 백과사전을 두고 실시간으로 정보를 찾아보게 하는 RAG(검색 증강 생성) 방식이 대표적입니다. 1. AI 학습 (Fine-Tuning / 파인튜닝) 생성형 AI […]
로컬 컴퓨터에서 무료로 쓸 수 있는 AI는 크게 로컬 LLM 실행 도구, 로컬 챗 UI, 문서/RAG 도구, 특수 목적 도구로 나눌 수 있습니다. 아래 표에 종류, 용량, 특징, 최소 컴퓨터 사양을 정리했습니다. 로컬 AI 도구 표 종류 도구/모델 예시 용량(대략) 특징 최소 컴퓨터 사양 로컬 실행 엔진 Ollama 프로그램 자체는 작고, 모델은 별도 다운로드 가장 보편적, 명령어로 바로 실행, OpenAI 호환 […]