Каталог открытых моделей

Ollama: Qwen3 локально за пять минут

Зачем это

Ollama убирает всю кухню конвертации: одна команда — и модель отвечает в терминале или по локальному HTTP. Для Qwen3-0.6B это самый короткий путь от «хочу попробовать» до работающего локального ассистента.

Установка

Ставьте с первоисточника: https://github.com/ollama/ollama — там же инструкции под Linux, macOS и Windows. На Linux это одна команда из документации репозитория; после неё доступен демон ollama serve и клиент ollama.

Запуск модели из библиотеки


ollama run qwen3:0.6b

Первый вызов скачивает модель из библиотеки Ollama и показывает прогресс. Дальше это интерактивный чат: /bye для выхода, /show parameters — посмотреть, с какими настройками модель загружена.

Импорт своих весов

Если веса взяты из нашего зеркала или с первоисточника и сконвертированы в GGUF (см. гайд про llama.cpp), подключите их Modelfile:


FROM ./qwen3-0.6b-q8_0.gguf
PARAMETER temperature 0.4
PARAMETER num_ctx 4096
SYSTEM "Отвечай кратко и по делу."

ollama create qwen3-local -f Modelfile
ollama run qwen3-local

Так модель живёт целиком на вашем диске и никуда не звонит после загрузки.

HTTP без браузера


curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen3-local",
  "prompt": "Сформулируй три критерия выбора кванта весов.",
  "stream": false
}' | jq .response

Для структурированного вывода добавьте "format": "json" — модель будет держаться схемы ответа, а jq вытащит поле без парсинга текста.

Память и время жизни

Типичные грабли

Лицензии

Текст гайда — наш, CC0. Ollama — MIT; веса Qwen3-0.6B — Apache-2.0. Условия смотрите в репозиториях первоисточников.