Best llama.cpp settings for Qwen3.8-Flash-Next on Ryzen AI Max+ 395
retained text
Bonjour à tous, J'en avais un peu marre de voir tout le monde créer des forks ou de nouveaux moteurs d'inférence pour Qwen3.8-Flash-Next (QFN3.8), alors j'ai demandé à Pi d'optimiser les paramètres de llama.cpp pour une exécution d'inférence plus rapide. Le résultat est un gain de performance de 48 % et un nombre de jetons par seconde (tok/s) plus constant lors de l'utilisation de contextes supérieurs à 64 Ko (pour la programmation et les tâches créatives). Bien que les performances ne soient pas tout à fait celles des moteurs spécialisés, cette approche garantit un fonctionnement optimal avec la version officielle de llama.cpp. Voici les paramètres de lancement que j'utilise sur mon Ryzen AI Max+ 395 (configuré avec 96 Go de VRAM). En prime, j'utilise le modèle « Qwen3.8-Flash-Next-Uncensored-Gufo-Q4Mix » qui, d'après mes tests, offre un excellent compromis entre qualité et performance. ``` /app/llama-server --load-mode mmap --lazy-mode auto --metrics -lv 2 --model /models/Qwen/Qwen3.8-Flash-Next-Uncensored-Gufo-Q4Mix.gguf --mmproj /models/Qwen/Qwen3.8-Flash-Next-Uncensored-F16-mmproj.gguf --alias unc/Qwen3.8-Flash-Next --ui-mcp-proxy --cpu-strict 1 --tools all --fit on --flash-attn on --fit-target 256 --jinja -ub 1024 -b 2048 -ctk q8\_0 -ctv q8\_0 --kv-unified --reasoning on --reasoning-preserve --reasoning-effort medium -c 131072 --ctx-checkpoints 128 --cont-batching --parallel 2 --chat-template-file /models/Qwen/chat\_template.jinja --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --repeat-penalty 1.0 --spec-type ngram-mod --spec-ngram-mod-n-match 24 --spec-ngram-mod-n-max 16 --spec-ngram-mod-n-min 4 --image-min-tokens 1024 ``` J'espère que cela pourra aider certains d'entre vous. EDIT : version de llama : v271-vulkan-b12199-non-root
document fetched 2026-11-10 00:41 · canonical https://reddit.com/r/LocalLLaMA/comments/1xrowl7/best_llamacpp_settings_for_qwen38flashnext_on