К содержимому
Блог

Qwen 3.8 27B локально: сколько памяти нужно и когда проще API

Qwen 3.8 27B локально: сколько памяти нужно и когда проще API

Открытая Qwen3.8-27B действительно есть: Alibaba выложила её веса 14 августа 2026 года, лицензия Apache 2.0. Если сжать модель до четырёх бит, она влезет в видеокарту или Mac на 24 ГБ. Relay не про локальный запуск, это шлюз к облачным моделям, и я скажу об этом сразу, чтобы не вводить в заблуждение. Но решение «ставить у себя или платить за токены» принимают с цифрами, поэтому ниже расчёт памяти, команды запуска и сравнение двух путей.

Коротко

  • Полные веса BF16 тянут примерно на 55 ГБ, а файл Q4_K_M укладывается в 16,5 ГБ. Сверху ложится кэш контекста.

  • Самый короткий старт даёт Ollama: ollama run qwen3.8 скачивает около 18 ГБ.

  • Запускать веса у себя Relay не умеет. В каталоге стоят облачные qwen3.8-flash и qwen3.8-max, и это другие модели, не 27B.

  • У локального запуска сильны приватность и работа без сети. У API сильна редкая или скачкообразная нагрузка без своего железа.

Что известно о модели

Карточка на Hugging Face описывает плотную модель в 27 млрд параметров с визуальным энкодером. В сети 64 слоя при скрытой размерности 5120. Внимание гибридное: после каждых трёх слоёв Gated DeltaNet идёт один слой полного внимания, и таких слоёв всего шестнадцать. Штатный контекст равен 262 144 токенам, а с расширением достигает миллиона. Модель читает текст, картинки и видео. Рассуждения включены сразу, а глубину настраивает параметр reasoning_effort.

Рядом в семействе стоят модели с похожими названиями, и это главный источник путаницы. Qwen3.8-27B вы скачиваете и запускаете сами. Qwen3.8-Flash и Qwen3.8-Max вендор держит у себя, к ним обращаются по API. Qwen3.8-Flash-Next вышла 26 августа 2026 года тоже с открытыми весами, но приравнивать её к облачной Flash нельзя. Даты и состав семейства даны по данным вендора на 29 октября 2026. Нужна именно 27B? Берите веса из аккаунта Qwen на Hugging Face. Под сторонними аккаунтами лежат копии и квантизации, в содержимом которых вы не уверены.

Сколько памяти нужно

Формула проста: число параметров, умноженное на биты на вес и поделённое на восемь, плюс кэш контекста. Загвоздка в том, что реальная ширина веса в квантизациях дробная. Реальные размеры файлов публикует Unsloth для GGUF, я беру их оттуда.

ФорматРазмер файла, ГБ
BF1654,7
Q8_029
UD-Q6_K22
UD-Q4_K_M16,5
UD-IQ3_S12

По голой арифметике четыре бита дают 13,5 ГБ, а настоящий файл весит 16,5. Разницу съедают масштабы блоков и тензоры, которые хранятся точнее остальных. Поэтому ориентируйтесь на таблицу, а не на номинал.

Теперь кэш. Пары «ключ и значение» запоминают лишь слои с полным вниманием, и у каждого из них по четыре KV-головы размерностью 256. Если хранить кэш в FP16, по параметрам карточки выходит порядка 64 КБ на токен: около 2 ГБ на 32 тысячах токенов и около 8,6 ГБ на 128 тысячах. Это оценка. Состояния слоёв DeltaNet и рабочие буферы рантайма в неё не вошли, поэтому накиньте ещё гигабайт-два.

Что брать по железу, если оставить запас:

Память видеокарты или единая память MacРазумный выборКонтекст
16 ГБ3-битная квантизациянебольшой, до 16 тысяч
24 ГБQ4_K_Mдо 64 тысяч
32 ГБQ4_K_M или Q6_K64 или 128 тысяч
48 ГБQ8_0128 тысяч
64 ГБ и большеBF16до 64 тысяч

На Mac часть единой памяти уходит системе, так что строку про 24 ГБ считайте потолком. Не хватает памяти? Модель всё равно стартует, но заметно замедлится из-за обмена с диском.

Запуск: Ollama и llama.cpp

Самый короткий путь идёт через Ollama. По странице модели в библиотеке Ollama на 29 октября 2026 там одна версия 27B с контекстом 256 тысяч, вход текст и изображения:

bash
ollama run qwen3.8

Ollama поднимает локальный сервер с OpenAI-совместимым маршрутом на своём порту, так что любой клиент, умеющий менять базовый адрес, подключается без правок кода. Порт и точный путь смотрите в документации Ollama.

Если нужен конкретный уровень квантизации, удобнее llama.cpp. Файл подтянется с Hugging Face автоматически:

bash
llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

Для генерации в режиме рассуждений карточка модели советует температуру 1.0, top_p 0.95 и top_k 20. Без рассуждений значения иные, их тоже ищите в карточке.

Когда локально, а когда через API

Ставить модель у себя имеет смысл в трёх ситуациях. Данные запрещено выпускать наружу. Сети нет вообще. Или нагрузка высока постоянно, а подходящая карта уже куплена. Везде, где этого нет, сначала посчитайте.

Если выДелайте так
не имеете права отправлять документы наружузапускайте локально
работаете без сети или в закрытом контурезапускайте локально
гоняете большую нагрузку на уже купленном железезапускайте локально
обращаетесь к модели редко или скачкамиплатите за токены через API
хотите контекст в миллион токеновберите облачные Flash или Max
не хотите покупать карту на 24 ГБберите API

В каталоге Relay облачные модели семейства представлены вариантами Flash и Max. Оригинальной 27B под своим именем в списке нет, поэтому запустить её через Relay не получится: для неё нужен собственный сервер. Цены показывают карточки, а весь набор лежит в каталоге.

Qwen 3.8 Flash0,18 $ за 1 млн входных токенов
Qwen 3.8 Max1,86 $ за 1 млн входных токенов

Сравните на своих задачах

Облачная Flash и локальная 27B это разные модели, и качество вслепую сравнивать нельзя. Возьмите пять-десять собственных задач и отправьте их в оба места. Локальный вызов:

bash
ollama run qwen3.8 "Назови три причины запускать LLM локально"

Тот же вопрос через Relay:

bash
curl https://relay-llm.ru/v1/chat/completions \
  -H "Authorization: Bearer $RELAY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3.8-flash", "messages": [{"role": "user", "content": "Назови три причины запускать LLM локально"}]}'

Сравнивайте качество, время ответа и стоимость. Для облака расход читайте из поля usage и журнала запросов, формат запроса описан на странице Chat Completions, актуальный список идентификаторов отдаёт метод моделей. Для локального запуска стоимость считайте сами: амортизация видеокарты и электричество.

Сколько памяти нужно для Qwen 3.8 27B?

Файл Q4_K_M весит около 16,5 ГБ, а вместе с кэшем на 32 тысячи токенов и буферами набегает порядка 19 ГБ. В BF16 один только вес модели тянет примерно на 55 ГБ.

Можно ли запустить Qwen 3.8 27B через Relay?

Нет, Relay не запускает веса на вашем компьютере. Это шлюз к облачным моделям: ключ, адрес https://relay-llm.ru/v1 и оплата с баланса. Семейство Qwen там представлено другими моделями.

Чем Qwen 3.8 Flash отличается от 27B?

27B вы запускаете у себя, это плотная открытая модель. Flash работает у вендора, и её контекст равен миллиону токенов. Модели разные, так что сравнивайте их на своих задачах, а не по названию.

Посмотреть модель

Модели из статьи

Готовы подключиться?Войдите в консоль, пополните баланс и создайте API-ключ.