LLM | ollama 1부 - 로컬 터미널에서 실행하기 + 버전 업데이트하기

 

👉 ollama 1부. 로컬 터미널에서 실행하기 : Linux(wsl 2), MacOS & ollama version update 
- ollama 2부. 로컬 브라우저에서 실행하기 : open-webui
- ollama 3부. 온라인(내 도메인으로) 브라우저에서 실행하기 
- ollama 4부. 검색증강 RAG 적용하기
- ollama 5부. 이미지 인식 적용하기 
- (준비 중) ollama 6부. MOE mixture of exports 방식 적용하기

 

 

 

 

ollama local terminal on linux(wsl 2) in windows 11 

1. 윈도우 하위 시스템(wsl 2)으로 리눅스(우분투) 설치

1) 윈도우 검색에서 [windows 기능 켜기 끄기] 실행

2) 옵션 설정 

윈도우 11 - windows 기능 켜기 끄기

3) 재부팅 

4) 윈도우 검색에서 [cmd]를 검색해서 관리자 모드로 [터미널] 실행 

5) 터미널에서 wsl --install -d ubuntu 실행
    -> 중간에 아이디 패스워드 설정 

6) 터미널에서 wsl --update

7) 터미널에서 wsl --set-default-version 2

8) 터미널에서 wsl --set-version Ubuntu 2

9) 우분투 실행 

우분투 관리자 모드로 실행하기

 

 

 

 

2. 로컬(우분투)에 ollama 설치하기 

1) 올라마 사이트 접속 

Download Ollama on Linux

2) 우분투 콘솔(터미널 또는 cli)에서 curl -fsSL https://ollama.com/install.sh | sh

올라마 - 리눅스 설치 코드 복사하기

3) 우분투 콘솔에서 ollama serve 
    -> 키 발급  

4) 우분투 콘솔에서 ollama run mistral *설치가 안되어 있으면 설치, 설치가 되어 있으면 실행 
     -> 모델 실행 또는 설치하기
     *ollama run [모델이름] 을 실행하면 모델이 있는 경우 실행, 없으면 설치
     * 모델에 대한 정보를 검색하고 설치할 수 있는 방법을 안내하고 있는 페이지 : https://ollama.com/library    

library

5) 기타 명령어
    - 우분투 콘솔에서   /?   :help
    - 우분투 콘솔에서   /show    :주요 명령어 목록
    - 우분투 콘솔에서   /show info    :주요 명령어 목록 예
    - 우분투 콘솔에서   /bye

6) 실행 예 
    -> 질문은 한글로 "대한민국 수도에 대해 설명해줘요" 라고 입력 

ollama에 mistral 모델(3B..) 을 설치해서 실행한 결과

     -> deepL 번역

"고요한 아침의 도시" 또는 간단히 서울시라고도 불리는 서울은 대한민국의 수도이자 최대 대도시입니다. 국토의 북서쪽에 위치하고 있으며 수도권의 중심부를 형성하고 있습니다, 주변 인천광역시와 경기도를 포함하는 수도권의 심장부입니다.
서울은 작은 무역 도시에서 시작되어 2,000년이 넘는 유구한 역사를 가지고 있습니다. 역사를 통틀어 역사적으로 한국의 중요한 문화, 정치, 경제의 중심지였습니다. 오늘날 서울은 선도적인 글로벌 도시이자 교육, 연구, 금융, 기술의 주요 허브입니다.
서울에는 매년 수백만 명의 관광객을 끌어들이는 수많은 상징적인 랜드마크가 있습니다. 꼭 방문해야 할 명소 :
1. 경복궁: 조선 시대에 지어진 5대 궁궐 중 가장 크고 유명한 곳입니다. (1392-1897)에 지어졌으며 한국의 전통 건축, 정원 및 문화를 선보입니다.
2. 남산: 등산로, 케이블카, 다양한 명승지가 있는 인기 휴양지입니다, 남산 사랑의 자물쇠 광장의 유명한 사랑의 자물쇠를 포함하여 다양한 경치를 즐길 수 있습니다. 3. 명동: 길거리 음식, 화장품 가게, 한국 전통 한약재 시장으로 유명한 쇼핑 거리.
3. 인사동: 골동품 상점, 찻집, 갤러리로 유명한 지역으로 한국의 전통 문화를 엿볼 수 있습니다. 한국 문화를 엿볼 수 있는 지역입니다.
4. 동대문 디자인 플라자: 다양한 박물관, 예술 작품, 쇼핑 시설이 있는 현대식 건축 랜드마크…

 

 

 

 

 

 

 

ollama local terminal on mac

1. 로컬(mac)에 ollama 설치하기 

1) ollama 접속

2) 다운로드 

맥용 다운로드

3) 검색에서 [터미널]를 검색해서 실행

터미널 검색

4) 올라마 실행
 ollama  

Mac terminal 에서 ollama 실행

5) 모델 설치(=실행)*설치가 안되어 있으면 설치, 설치가 되어 있으면 실행 
 ollama run gemma  

gemma 설치결과

#참고. 구글 젬마에 대한 소개(구글 오피셜 블로그 링크)

구글의 최첨단 오픈 모델 ‘젬마(Gemma)’를 공개합니다

6) 그동안 설치했던 모델 검색 
 ollama list  

설치된 llm모델 목록

 

 

 

 

 

 

ollama version update 

한 주 전? 윈도우( WSL2) 에서 gemma를 설치하는 과정에서 에러 메시지가 나왔었는데 찾아보니 올라마 버전 업데이트에 의한 버그였다. https://github.com/ollama/ollama/issues/2646

Defect: EOF on running with Gemma:7b · Issue #2646 · ollama/ollama

 

그래서 수동으로 새로운 버전을 설치하려고 하는데.. 찾아봐도 잘 보이지가 않았다. 결국 찾긴 했지만.. 비슷하게 헤매는 이들이 있을지도 몰라서 포스팅으로 남겨본다. 방법은... 그냥 다시 설치(덮어쓰는)하면 된다고 한다 ㅋㅋ https://github.com/ollama/ollama/issues/763

update local ollama install · Issue #763 · ollama/ollama

 

참고로 Mac에서는 어제 기준으로.. 오랫만에 다시 실행하니까 스스로 버전을 업데이트 할지 물어봐서 쉽게 업데이트 할 수 있었다. 아마도 지금쯤이면,,, 윈도우나 리눅스에서도 자동으로 버전을 체크하고 업데이트해주는 기능이 들어갔을지도 모르겠다..