Каталог открытых моделей

llama.cpp + Qwen3-0.6B на CPU

Зачем это

Qwen3-0.6B — компактная языковая модель под Apache-2.0: её можно скачать, положить на свой диск и гонять на обычном ноутбуке без GPU. Ниже — рабочий порядок действий для llama.cpp: сборка, конвертация весов, запуск и замер скорости. Все команды проверены на Linux x86_64; версии инструментов уточняйте у первоисточников.

Что понадобится

GPU не нужен: 0.6B полностью умещается в память и терпимо работает на CPU.

Сборка llama.cpp


git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DLLAMA_NATIVE=ON
cmake --build build --config Release -j

После сборки бинари лежат в build/bin: llama-cli, llama-server, convert_hf_to_gguf.py рядом в корне репозитория.

Веса

Файл model.safetensors берётся либо с первоисточника (https://huggingface.co/Qwen/Qwen3-0.6B), либо из нашего зеркала — файл Qwen3-0.6B.safetensors лежит в каталоге открытых данных зеркала рядом с контрольной суммой *.sha256. После скачивания сверьте сумму:


sha256sum -c Qwen3-0.6B.safetensors.sha256

Конвертация в GGUF


python3 convert_hf_to_gguf.py ./Qwen3-0.6B --outtype q8_0 --outfile qwen3-0.6b-q8_0.gguf

q8_0 — почти без потери качества относительно fp16, но вдвое меньше по памяти. Для совсем тесных машин берите q4_k_m: качество заметнее ниже, скорость выше.

Запуск и первый токен


./build/bin/llama-cli -m qwen3-0.6b-q8_0.gguf -ngl 0 -c 4096 \
  -p "Объясни одним абзацем, зачем нужен квант весов."

-ngl 0 означает «все слои на CPU»; если GPU есть, увеличьте число, чтобы перенести слои на него. -c задаёт длину контекста: на слабых машинах начинайте с 2048.

Замер скорости


./build/bin/llama-cli -m qwen3-0.6b-q8_0.gguf -ngl 0 -n 128 \
  -p "Раз, два, три." --verbose 2>&1 | grep 'tok/s'

Ориентир для современного ноутбука: десятки токенов в секунду на q8_0. Если цифра ниже десяти — проверьте, что сборка шла с -DLLAMA_NATIVE=ON и что антивирус не тормозит чтение файла весов.

Типичные грабли

Лицензии

Текст гайда — наш, CC0. Веса Qwen3-0.6B распространяются под Apache-2.0; llama.cpp — MIT. Условия обеих лицензий смотрите в репозиториях первоисточников.