Hugging Face's logo

Qwen
/
Qwen-7B-Chat

Text Generation
Transformers
Safetensors
Chinese
English
qwen
custom_code
Model card Files
xet
 Community
58

存在的问题：1、bitsandbytes目前不支持windows，

#15
by windkkk - opened
Discussion
windkkk

存在的问题：1、bitsandbytes目前不支持windows，所以无法量化，希望提供量化版本的模型。
2、模型没做切割，所以专用GPU的内容满时，共享GPU无法接着加载。12G的显卡也爆。
noneUsername

bitsandbytes可以用这里的：https://github.com/jllllll/bitsandbytes-windows-webui
jklj077
 Qwen org
  1. 我们更新量化方案为基于AutoGPTQ的量化，提供Qwen-7B-Chat的Int4量化模型。相比此前方案，该方案在模型评测效果几乎无损，且存储需求更低，推理速度更优。
  2. 模型参数文件已分块，应可缓解模型加载时的显存占用问题。如问题仍存在，请重开本讨论。
jklj077 changed discussion status to closed

Sign up or log in to comment