← sources

Best llama.cpp settings for Qwen3.8-Flash-Next on Ryzen AI Max+ 395

source: reddit (reddit:LocalLLaMA)published 2026-11-09 11:06ingested 2026-11-10 02:42

retained text

Bonjour à tous,

J'en avais un peu marre de voir tout le monde créer des forks ou de nouveaux moteurs d'inférence pour Qwen3.8-Flash-Next (QFN3.8), alors j'ai demandé à Pi d'optimiser les paramètres de llama.cpp pour une exécution d'inférence plus rapide.

Le résultat est un gain de performance de 48 % et un nombre de jetons par seconde (tok/s) plus constant lors de l'utilisation de contextes supérieurs à 64 Ko (pour la programmation et les tâches créatives).

Bien que les performances ne soient pas tout à fait celles des moteurs spécialisés, cette approche garantit un fonctionnement optimal avec la version officielle de llama.cpp.

Voici les paramètres de lancement que j'utilise sur mon Ryzen AI Max+ 395 (configuré avec 96 Go de VRAM).
En prime, j'utilise le modèle « Qwen3.8-Flash-Next-Uncensored-Gufo-Q4Mix » qui, d'après mes tests, offre un excellent compromis entre qualité et performance.



```
/app/llama-server --load-mode mmap --lazy-mode auto --metrics -lv 2 
--model /models/Qwen/Qwen3.8-Flash-Next-Uncensored-Gufo-Q4Mix.gguf 
--mmproj /models/Qwen/Qwen3.8-Flash-Next-Uncensored-F16-mmproj.gguf 
--alias unc/Qwen3.8-Flash-Next 
--ui-mcp-proxy --cpu-strict 1 
--tools all 
--fit on --flash-attn on --fit-target 256 
--jinja -ub 1024 -b 2048
-ctk q8\_0 -ctv q8\_0 --kv-unified 
--reasoning on --reasoning-preserve --reasoning-effort medium
-c 131072 --ctx-checkpoints 128 --cont-batching --parallel 2
--chat-template-file /models/Qwen/chat\_template.jinja
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0
--spec-type ngram-mod --spec-ngram-mod-n-match 24 --spec-ngram-mod-n-max 16 --spec-ngram-mod-n-min 4
--image-min-tokens 1024
```
J'espère que cela pourra aider certains d'entre vous.

EDIT :
version de llama : v271-vulkan-b12199-non-root

document fetched 2026-11-10 00:41 · canonical https://reddit.com/r/LocalLLaMA/comments/1xrowl7/best_llamacpp_settings_for_qwen38flashnext_on