OLLAMA 설치 가이드

nVidia GPU를 사용하는 유저를 위한 간단한 OLLAMA 구축 및 관리 방법을 제공합니다.

다음 목록에 자신이 해당하는지 확인 후 진행해주세요.

• Debian linux 계열
• OLLAMA
• nVidia GPU
• Docker

1. 설정 디렉토리 준비

OLLAMA용 Docker 설정 디렉토리를 생성하고 이동합니다.

mkdir -p ~/app/ollama
cd ~/app/ollama

2. nVdia 그래픽 카드 툴 설치

드라이버 설치 상태 확인

nividia-smi

nVdia 그래픽 카드 드라이버 설치

sudo ubuntu-drivers autoinstall

nVdia 그래픽 카드 활용 모델 cuda 설치

https://developer.nvidia.com/cuda-toolkit-archive cuda

2. Docker 설정 파일 생성

OLLAMA를 실행할 docker-compose.yml 파일을 생성합니다.

nano docker-compose.yml

아래 내용을 파일에 추가합니다.

version: "3.7"
services:
  ollama-nvidia:
    container_name: ollama-nvidia
    image: ollama/ollama:0.1.24-cuda
    volumes:
      - /var/opt/ollama-nvidia:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    restart: unless-stopped

  ollama-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: ollama-webui
    ports:
      - "8080:8080"
    volumes:
      - /var/opt/open-webui:/app/backend/data
    environment:
      - 'OLLAMA_API_BASE_URL=http://ollama-nvidia:11434/api'
    restart: unless-stopped

저장 후 종료합니다. (Ctrl + o, Enter, Ctrl + x)

3. OLLAMA 실행 및 확인

OLLAMA를 시작하고, 두 개의 컨테이너가 정상적으로 실행되었는지 확인합니다.

docker-compose up -d
docker ps

웹 브라우저에서 http://<YOUR_IP>:8080로 접속하여 로그인 화면을 확인하세요. IP 주소 확인이 필요하면 ip a | grep inet를 사용하세요.