如何偷到闭源LLM的Hidden-Dimension 挺有意思的一篇论文 Stealing Part of a Production Language Model(arxiv2403.06... 深度学习 · 2024-03-18
看点量化 SmoothQuant/AWQ 为什么开始看量化了,我也不知道 量化原理 我们一般谈LLM的精度,会涉及到FP32,FP16,BF16,INT8,INT4等字样。这些... 深度学习 · 2024-03-18