如何偷到闭源LLM的Hidden-Dimension
挺有意思的一篇论文 Stealing Part of a Production Language Model(arxiv2403.06...
深度学习 · 2024-03-18
看点量化 SmoothQuant/AWQ
为什么开始看量化了，我也不知道 量化原理 我们一般谈LLM的精度，会涉及到FP32，FP16，BF16，INT8，INT4等字样。这些...
深度学习 · 2024-03-18
Diffusion | DDIM的边界情况DDPM推导
DDPM中建模的$q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0)$满足正态分...
Pytorch 多任务训练框架
最近看到一个写的挺好的多任务框架(https://github.com/SwinTransformer/AiT，参考了detectro...
深度学习 · 2023-11-15
JJJYmmm Blog