Qwen 3.8 27B локально: сколько памяти нужно и когда проще API
Открытая Qwen3.8-27B действительно есть: Alibaba выложила её веса 14 августа 2026 года, лицензия Apache 2.0. Если сжать модель до четырёх бит, она влезет в видеокарту или Mac на 24 ГБ. Relay не про локальный запуск, это шлюз к облачным моделям, и я скажу об этом сразу, чтобы не вводить в заблуждение. Но решение «ставить у себя или платить за токены» принимают с цифрами, поэтому ниже расчёт памяти, команды запуска и сравнение двух путей.
Коротко
Полные веса BF16 тянут примерно на 55 ГБ, а файл Q4_K_M укладывается в 16,5 ГБ. Сверху ложится кэш контекста.
Самый короткий старт даёт Ollama:
ollama run qwen3.8скачивает около 18 ГБ.Запускать веса у себя Relay не умеет. В каталоге стоят облачные
qwen3.8-flashиqwen3.8-max, и это другие модели, не 27B.У локального запуска сильны приватность и работа без сети. У API сильна редкая или скачкообразная нагрузка без своего железа.
Что известно о модели
Карточка на Hugging Face описывает плотную модель в 27 млрд параметров с визуальным энкодером. В сети 64 слоя при скрытой размерности 5120. Внимание гибридное: после каждых трёх слоёв Gated DeltaNet идёт один слой полного внимания, и таких слоёв всего шестнадцать. Штатный контекст равен 262 144 токенам, а с расширением достигает миллиона. Модель читает текст, картинки и видео. Рассуждения включены сразу, а глубину настраивает параметр reasoning_effort.
Рядом в семействе стоят модели с похожими названиями, и это главный источник путаницы. Qwen3.8-27B вы скачиваете и запускаете сами. Qwen3.8-Flash и Qwen3.8-Max вендор держит у себя, к ним обращаются по API. Qwen3.8-Flash-Next вышла 26 августа 2026 года тоже с открытыми весами, но приравнивать её к облачной Flash нельзя. Даты и состав семейства даны по данным вендора на 29 октября 2026. Нужна именно 27B? Берите веса из аккаунта Qwen на Hugging Face. Под сторонними аккаунтами лежат копии и квантизации, в содержимом которых вы не уверены.
Сколько памяти нужно
Формула проста: число параметров, умноженное на биты на вес и поделённое на восемь, плюс кэш контекста. Загвоздка в том, что реальная ширина веса в квантизациях дробная. Реальные размеры файлов публикует Unsloth для GGUF, я беру их оттуда.
| Формат | Размер файла, ГБ |
|---|---|
| BF16 | 54,7 |
| Q8_0 | 29 |
| UD-Q6_K | 22 |
| UD-Q4_K_M | 16,5 |
| UD-IQ3_S | 12 |
По голой арифметике четыре бита дают 13,5 ГБ, а настоящий файл весит 16,5. Разницу съедают масштабы блоков и тензоры, которые хранятся точнее остальных. Поэтому ориентируйтесь на таблицу, а не на номинал.
Теперь кэш. Пары «ключ и значение» запоминают лишь слои с полным вниманием, и у каждого из них по четыре KV-головы размерностью 256. Если хранить кэш в FP16, по параметрам карточки выходит порядка 64 КБ на токен: около 2 ГБ на 32 тысячах токенов и около 8,6 ГБ на 128 тысячах. Это оценка. Состояния слоёв DeltaNet и рабочие буферы рантайма в неё не вошли, поэтому накиньте ещё гигабайт-два.
Что брать по железу, если оставить запас:
| Память видеокарты или единая память Mac | Разумный выбор | Контекст |
|---|---|---|
| 16 ГБ | 3-битная квантизация | небольшой, до 16 тысяч |
| 24 ГБ | Q4_K_M | до 64 тысяч |
| 32 ГБ | Q4_K_M или Q6_K | 64 или 128 тысяч |
| 48 ГБ | Q8_0 | 128 тысяч |
| 64 ГБ и больше | BF16 | до 64 тысяч |
На Mac часть единой памяти уходит системе, так что строку про 24 ГБ считайте потолком. Не хватает памяти? Модель всё равно стартует, но заметно замедлится из-за обмена с диском.
Запуск: Ollama и llama.cpp
Самый короткий путь идёт через Ollama. По странице модели в библиотеке Ollama на 29 октября 2026 там одна версия 27B с контекстом 256 тысяч, вход текст и изображения:
ollama run qwen3.8Ollama поднимает локальный сервер с OpenAI-совместимым маршрутом на своём порту, так что любой клиент, умеющий менять базовый адрес, подключается без правок кода. Порт и точный путь смотрите в документации Ollama.
Если нужен конкретный уровень квантизации, удобнее llama.cpp. Файл подтянется с Hugging Face автоматически:
llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_MДля генерации в режиме рассуждений карточка модели советует температуру 1.0, top_p 0.95 и top_k 20. Без рассуждений значения иные, их тоже ищите в карточке.
Когда локально, а когда через API
Ставить модель у себя имеет смысл в трёх ситуациях. Данные запрещено выпускать наружу. Сети нет вообще. Или нагрузка высока постоянно, а подходящая карта уже куплена. Везде, где этого нет, сначала посчитайте.
| Если вы | Делайте так |
|---|---|
| не имеете права отправлять документы наружу | запускайте локально |
| работаете без сети или в закрытом контуре | запускайте локально |
| гоняете большую нагрузку на уже купленном железе | запускайте локально |
| обращаетесь к модели редко или скачками | платите за токены через API |
| хотите контекст в миллион токенов | берите облачные Flash или Max |
| не хотите покупать карту на 24 ГБ | берите API |
В каталоге Relay облачные модели семейства представлены вариантами Flash и Max. Оригинальной 27B под своим именем в списке нет, поэтому запустить её через Relay не получится: для неё нужен собственный сервер. Цены показывают карточки, а весь набор лежит в каталоге.
Сравните на своих задачах
Облачная Flash и локальная 27B это разные модели, и качество вслепую сравнивать нельзя. Возьмите пять-десять собственных задач и отправьте их в оба места. Локальный вызов:
ollama run qwen3.8 "Назови три причины запускать LLM локально"Тот же вопрос через Relay:
curl https://relay-llm.ru/v1/chat/completions \
-H "Authorization: Bearer $RELAY_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "qwen3.8-flash", "messages": [{"role": "user", "content": "Назови три причины запускать LLM локально"}]}'Сравнивайте качество, время ответа и стоимость. Для облака расход читайте из поля usage и журнала запросов, формат запроса описан на странице Chat Completions, актуальный список идентификаторов отдаёт метод моделей. Для локального запуска стоимость считайте сами: амортизация видеокарты и электричество.
Сколько памяти нужно для Qwen 3.8 27B?
Файл Q4_K_M весит около 16,5 ГБ, а вместе с кэшем на 32 тысячи токенов и буферами набегает порядка 19 ГБ. В BF16 один только вес модели тянет примерно на 55 ГБ.
Можно ли запустить Qwen 3.8 27B через Relay?
Нет, Relay не запускает веса на вашем компьютере. Это шлюз к облачным моделям: ключ, адрес https://relay-llm.ru/v1 и оплата с баланса. Семейство Qwen там представлено другими моделями.
Чем Qwen 3.8 Flash отличается от 27B?
27B вы запускаете у себя, это плотная открытая модель. Flash работает у вендора, и её контекст равен миллиону токенов. Модели разные, так что сравнивайте их на своих задачах, а не по названию.