Gumbel Softmax

非引流,实在觉得这两篇Gumbel Softmax讲的不错,也就没有自己写的必要了(并不是因为懒 https://zhuanlan.z...

说说 · 2024-03-27

QLoRA

http://arxiv.org/abs/2305.14314 Quantization + LoRA,了解一下呢。 LoRA之前写过...

深度学习 · 2024-03-21

看点量化 SmoothQuant/AWQ

为什么开始看量化了,我也不知道 量化原理 我们一般谈LLM的精度,会涉及到FP32,FP16,BF16,INT8,INT4等字样。这些...

深度学习 · 2024-03-18

Axuanz的学习日记. All Rights Reserved. Theme Jasmine by Kent Liao.

鄂ICP备2023004395号