내 노트북, PC에서 무료로 인공지능, AI, LLM을 실행시켜 보자

 

바이브 코딩, AI 에이전트 - 일이든 일상이든 코딩이든 일단 사용해보자

 

구글 제미나이는 사용료 부담이 없긴 하지만, 뭔가 민감한 정보를 바탕으로 LLM 인공지능을 돌려보고 싶다면 서버를 직접 구축해야 합니다. 공개된 인공지능 모델들이 많으니 선택해 돌리면 되는데, 어떻게 하면 되는지 실습을 하는 중인데

 

아, 생각보다 쉽지 않아요.

그래서 이 작업을 쉽게 할 수 있는 프로그램을 구해 설치해 보고, 사용을 좀 해봤어요.

 

사용 프로그램 : LM Studio - 0.3.18 (Build 3)

사용 모델 : Google Gemma 3 4b, 12b

 

같은 프로그램과 같은 인공지능 모델을 가지고 사용을 해봤는데, 윈도우 노트북에서는 많이 버거워 하네요. 게임 개발도 할 겸, LLM도 돌려볼 겸 게이밍 노트북 하나 장만해야겠습니당

 

LLM 모델들을 실행시켜 볼 수 있는 ollama 라는 유명한 프로그램이 있지만, 이 프로그램은 CLI만 지원을 해서 상당히 불편하고 불친절 합니다. GUI를 지원하면서 매우 편리하게 사용해 볼 수 있는 LM Studio 라는 아주 멋진 프로그램이 있으니, 이 프로그램을 사용해 보도록 합시당

 

LM Studio - Discover, download, and run local LLMs

 

 

윈도우 노트북에서 실행

13th Gen Intel(R) Core(TM) i5-1335U(1.30 GHz)

그래픽 : Intel(R) Iris(R) Xe Graphics 128M
메모리 : 16G

Windows 11 Pro

 

12B 모델을 아예 올리질 못하네요. 사용중이던 웹 브라우저도 모조리 닫고, 모든 프로그램들을 종료시킨 후에 간신히 12B 모델 로드가 가능합니다. 

 

아이고야, 12B 모델 올리려면 암것도 못하고, 이것만 실행시켜 사용해야 하는 상황

 

4B 모델은 12B 모델에 비해 답변이 약간 삐리합니당. 12B 모델은 사용을 못할 정도는 아니지만, 다른 프로그램들과 같이 사용을 못하고 실행 속도도 좀 느려서 답답합니다.

 

 

 

맥북 프로에서 실행

2021년 맥북 프로 M1 Pro 14인치 모델, 메모리 16G

 

12B 모델 잘 올라오고, 실행 잘 됩니당.

아무래도 비교 대상인 윈도우 노트북 보다는 훨씬 비싼 장비니 당연한 결과

 

윈도우가 좋네, 맥북이 좋네 비교를 하기 위한 것은 아니고 역시 그냥 업무용으로 막 쓰는 노트북에서는 LLM 돌리는건 여전히 무리다 라는 확인을 해보기 위한 실험 이었습니다.

 

성능 비교를 하려면 맥북 프로와 게이밍 노트북으로 비교를 해봐야지요.

 

 

 

시도해볼 만한 최고의 소규모 로컬 LLM

LLM은 모델 개발도 돈지랄, 서버 운영도 돈지랄 입니당. 모델 개발이야 내가 직접할 일 없으니 알바 없고, 서비스 사용하지 않고 로컬로 서버를 돌려보고 싶은 경우도 생각보다 비용이 많이 들어요. 대형 LLM 모델을 돌릴 수 있는 서버는 구매비용도 사용료도 굉장이 비씨거든요.

 

로컬 LLM을 저렴하게 돌리려면 양자화를 거친 경량화 모델을 이용해야 해요.

 

LLM 모델의 성능은 패러미터 갯수가 얼마나 되는지 (고려하는 변수가 몇개나 되는지)를 표시하는데 7B 라고 하면, 70억개의 변수를 고려하여 답변하는 모델이라는 의미 입니다.

AI 서비스들에서 사용되는 모델의 패러미터 크기는 400B 정도 된다고 합니다.

 

통상 로컬로 저렴하게 돌릴 수 있는 모델은 8B 이하 모델들 입니다.

 

로컬에서 돌려볼만한 후보들

• Llama 3.1 8B
• Mistral 7B
• Gemma 3:4b
• Gemma 7B
• Phi-3 Mini (3.8B)
• DeepSeek R1 7B/8B
• Qwen 1.5/2.5 7B
• BitNet b1.58 2B 4T
• Orca-Mini 7B

 

 

AI용 노트북

AI LLM 모델을 로컬에서 잘 돌릴 수 있는 노트북은 기본적으로 게이밍 노트북 입니당

맥북 프로나 맥북에어는 뭘 구입해도 얼추 잘 돌아가니, 생략했어요

• Asus ROG Strix Scar 18
• HP Omen 17
• Razer Blade 18
• DELL Alienware m18
• Legion Pro 7i

문제는 예산 입니다. 게이밍 노트북들, 오지게 비싸네요

 

제가 앱등이 등극해서 하는 말은 아니고요. 노트북을 2개 살 수는 없고. 하나로 해결을 봐야 하는데, 게이밍 노트북을 솔직히 가지고 다니기 힘들어요. 가지고 다닐만한 좋은 게이밍 노트북도 물론 있습니다. Razer Blade, 가격표 보면 기절합니다. 이거 살 수 있으면 이거 사면 고민거리 없지요.

 

이거 저거 다 해보고 싶으면 맥북 프로가 딱 입니다.

모바일 앱 개발, 웹 개발, 백엔드 개발, 게임개발, AI 개발 모두 한방에 다 해결되며, 휴대성도 훌륭합니다.

 

물론, 맥북으로 안되는 것도 있으니 본인의 상황에 맞게 선택해야지요. 아래에 해당된다면 맥북 사면 안됩니당

• 아이폰 앱 개발할 일 없음 : 매년 애플에게 개발자 등록비 15만원 절대 낼 수 없지
• 윈도우 앱을 만들어야 함
• 게임 만들건데 유니티 말고, 언리얼 해야 함
• 개발도 개발인데, 난 게임도 좋아해. 국내 온라인 게임, 스팀 게임 해야해. 특히 베그!! (LOL은 맥북에서 실행되긴 함, 블리자드 게임들도 맥북에서 돌아가긴 했는데, 디아블로 4 부터 지원 안함)

 

나의 앱등이 입문기 - 애플의 노예가 되다

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

 

 

실력 보다 흥행카드로 버티다 프로레슬러로 전직한 론다 로우지

코민스키 메소드 - 넷플릭스 오리지널, 코믹하고 감동적인 의외로 재미난 노년 이야기

엄청 뒷북, 이제야 알게된 최고의 드라마 - 나의 아저씨 시청기

JTBC 송곳 - 1화 넋놓고 봤습니다..

넷플릭스 다큐 씨스피라시, 해양 오염의 주범은 플라스틱이 아니라 어업?!