Зачем это
Ollama убирает всю кухню конвертации: одна команда — и модель отвечает в терминале или по локальному HTTP. Для Qwen3-0.6B это самый короткий путь от «хочу попробовать» до работающего локального ассистента.
Установка
Ставьте с первоисточника: https://github.com/ollama/ollama — там же инструкции под Linux, macOS и Windows. На Linux это одна команда из документации репозитория; после неё доступен демон ollama serve и клиент ollama.
Запуск модели из библиотеки
ollama run qwen3:0.6b
Первый вызов скачивает модель из библиотеки Ollama и показывает прогресс. Дальше это интерактивный чат: /bye для выхода, /show parameters — посмотреть, с какими настройками модель загружена.
Импорт своих весов
Если веса взяты из нашего зеркала или с первоисточника и сконвертированы в GGUF (см. гайд про llama.cpp), подключите их Modelfile:
FROM ./qwen3-0.6b-q8_0.gguf
PARAMETER temperature 0.4
PARAMETER num_ctx 4096
SYSTEM "Отвечай кратко и по делу."
ollama create qwen3-local -f Modelfile
ollama run qwen3-local
Так модель живёт целиком на вашем диске и никуда не звонит после загрузки.
HTTP без браузера
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "qwen3-local",
"prompt": "Сформулируй три критерия выбора кванта весов.",
"stream": false
}' | jq .response
Для структурированного вывода добавьте "format": "json" — модель будет держаться схемы ответа, а jq вытащит поле без парсинга текста.
Память и время жизни
OLLAMA_KEEP_ALIVE=0выгружает модель сразу после запроса: экономитOLLAMA_KEEP_ALIVE=30mдержит модель полчаса после последней реплики;ollama psпоказывает, что загружено и сколько памяти занимает.
память на ноутбуке ценой холодной загрузки;
Типичные грабли
- Порт 11434 занят — уже запущен другой демон:
ollama psи - Модель отвечает на английском, хотя вопрос русский — добавьте в SYSTEM
- Долгий первый ответ — нормальная цена загрузки весов в память; дальше
systemctl --user status ollama подскажут, кто держит порт.
явное указание языка ответа.
скорость упирается в CPU или GPU машины.
Лицензии
Текст гайда — наш, CC0. Ollama — MIT; веса Qwen3-0.6B — Apache-2.0. Условия смотрите в репозиториях первоисточников.