Зачем это
Qwen3-0.6B — компактная языковая модель под Apache-2.0: её можно скачать, положить на свой диск и гонять на обычном ноутбуке без GPU. Ниже — рабочий порядок действий для llama.cpp: сборка, конвертация весов, запуск и замер скорости. Все команды проверены на Linux x86_64; версии инструментов уточняйте у первоисточников.
Что понадобится
- Linux или macOS с компилятором C/C++ и cmake 3.14+;
- 2 ГБ свободного места под веса и ещё 1 ГБ под сборку;
- git и python3 с пакетом numpy (его ставит pip по зависимости конвертера).
GPU не нужен: 0.6B полностью умещается в память и терпимо работает на CPU.
Сборка llama.cpp
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DLLAMA_NATIVE=ON
cmake --build build --config Release -j
После сборки бинари лежат в build/bin: llama-cli, llama-server, convert_hf_to_gguf.py рядом в корне репозитория.
Веса
Файл model.safetensors берётся либо с первоисточника (https://huggingface.co/Qwen/Qwen3-0.6B), либо из нашего зеркала — файл Qwen3-0.6B.safetensors лежит в каталоге открытых данных зеркала рядом с контрольной суммой *.sha256. После скачивания сверьте сумму:
sha256sum -c Qwen3-0.6B.safetensors.sha256
Конвертация в GGUF
python3 convert_hf_to_gguf.py ./Qwen3-0.6B --outtype q8_0 --outfile qwen3-0.6b-q8_0.gguf
q8_0 — почти без потери качества относительно fp16, но вдвое меньше по памяти. Для совсем тесных машин берите q4_k_m: качество заметнее ниже, скорость выше.
Запуск и первый токен
./build/bin/llama-cli -m qwen3-0.6b-q8_0.gguf -ngl 0 -c 4096 \
-p "Объясни одним абзацем, зачем нужен квант весов."
-ngl 0 означает «все слои на CPU»; если GPU есть, увеличьте число, чтобы перенести слои на него. -c задаёт длину контекста: на слабых машинах начинайте с 2048.
Замер скорости
./build/bin/llama-cli -m qwen3-0.6b-q8_0.gguf -ngl 0 -n 128 \
-p "Раз, два, три." --verbose 2>&1 | grep 'tok/s'
Ориентир для современного ноутбука: десятки токенов в секунду на q8_0. Если цифра ниже десяти — проверьте, что сборка шла с -DLLAMA_NATIVE=ON и что антивирус не тормозит чтение файла весов.
Типичные грабли
error while loading shared libraries— запускайте бинарь из каталога- Модель «сыпется» бессвязным текстом — почти всегда неверный шаблон чата:
- Не хватает памяти — уменьшите
-cили возьмите q4_k_m. - Конвертер ругается на transformers — обновите pip-пакет transformers до
сборки или пропишите LD_LIBRARY_PATH=build/bin.
добавьте --jinja, llama.cpp прочитает chat_template из весов.
свежей версии: парсеры форматов догоняют релизы моделей.
Лицензии
Текст гайда — наш, CC0. Веса Qwen3-0.6B распространяются под Apache-2.0; llama.cpp — MIT. Условия обеих лицензий смотрите в репозиториях первоисточников.