StrataはVRAM 12GBのゲーミングPCで125BのQwenを動かすOSS、毎秒94トークン
個人開発者のNiko1221が、1250億パラメーターのQwen3.8-Flash-NextをVRAM 12GBのゲーミングPCで動かす推論エンジンStrataを公開した。RTX 5070で毎秒94トークン。GitHubのスターは公開10日で8500を超えた。
出典:GitHub Niko1221・Hugging Face Qwen・Reddit r/LocalLLaMA
Qwen3.8-Flash-Nextに関する海外の最新ニュース2本を日本語でまとめています。公式発表・論文・海外メディアの報道をもとに、ビジネスへの影響まで解説します。
個人開発者のNiko1221が、1250億パラメーターのQwen3.8-Flash-NextをVRAM 12GBのゲーミングPCで動かす推論エンジンStrataを公開した。RTX 5070で毎秒94トークン。GitHubのスターは公開10日で8500を超えた。
出典:GitHub Niko1221・Hugging Face Qwen・Reddit r/LocalLLaMA
個人開発者がApple Silicon向けの推論エンジンSlipstreamを公開した。メモリに入らない95.5GiBのQwen3.8-Flash-Nextを、専門家の重みをSSDから読み出して64GBのMacで毎秒41〜52トークンで動かす。
出典:GitHub npanj・Hugging Face・Reddit r/LocalLLaMA