Qwen3-8Bをllm-compressorでGPTQ-W4A16量子化したモデルです。
キャリブレーションにはwikimedia/wikipediaの20231101.jaを使用しています。
- Downloads last month
- 17
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Qwen3-8Bをllm-compressorでGPTQ-W4A16量子化したモデルです。
キャリブレーションにはwikimedia/wikipediaの20231101.jaを使用しています。