JJJYmmm Blog

Pix2SeqV2-Pytorch

最近写的一个Multi-task框架~ 项目地址：https://github.com/JJJYmmm/Pix2SeqV2-Pytorch Simple PyTorch implementation of Pix2SeqV2. This project references moein-shariatnia's Pix2Seq and the paper A Unified Sequence Interface for Vision Tasks. Introduction Pix2Seq is a generalized framework for solving visual tasks proposed by Google. Essentially it treats visual tasks as language tasks, generating sequences of tokens by auto-regression, and obtaining the output of many visual tasks(e.g., object detection, seg

关于TLS VPN的一些个人理解

前言我认为了解VPN的基本工作原理并实现一个TLS VPN需要以下前置知识：虚拟专用网络(VPN)。既然要做一个VPN，那么首先需要了解VPN的基本概念，确认需要实现的VPN类型(IPSec VPN或TLS VPN)，并大致了解VPN的组成框架； TUN/TAP与隧道。基于TCP隧道实现TLS VPN，那么隧道的概念与分类(基于UDP/TCP)需要有一定了解；另外VPN还使用到了虚拟网卡TUN，所以还需要了解TUN/TAP的工作原理以及使用；安全套接字层(SSL)。为了保证数据传输的安全性，我们还需要使用同样用在HTTPS上的SSL，SSL介于应用层和运输层(仅限于TCP协议)之间，通过这个我们可以实现对数据的加密； PKI 和 X.509证书。这部分承接SSL，因为SSL握手认证时需要对服务器(客户端)进行身份认证，需要用到证书。既然涉及到证书还需要了解证书的签发者(CA)；身份认证。VPN的身份认证同样是一个重点部分，当然我们既然使用了SSL，说明已经对服务器进行身份认证，接下来只需要对客户端进行身份认证即可。我们这里简单使用Linux下的账户进行登录验

RoPE两种实现方式

RoPEv1: chatglm/baichuan中使用 RoPEv2: Llama中使用两者区别 v1代码较为繁琐，但是和原始算法对应 v2使用torch.complex实现，更加明了，不过没有严格遵循原算法，qk转到复数域时，并没有使用相邻的神经元作为复数的实部和虚部，而是直接在特征维度上切分，一半实部，一半虚部 Su的解释：神经元是无序的（dot attention做内积，不依赖于维度顺序） import torch import torch.nn as nn import torch.nn.functional as F import math ### RoPEv1 def sinusoidal_position_embedding(batch_size, nums_head, max_len, output_dim, device = 'cpu'): # (max_len, 1) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(-1) # (output_dim//

深度学习 · 19 天前 · 62 人浏览

为什么均匀分布初始化标准差需要乘上Sqrt(3)

Pytorch中的kaiming_uniform中标准差stdv乘了一个因子$\sqrt{3}$ def kaiming_uniform_( tensor: Tensor, a: float = 0, mode: str = 'fan_in', nonlinearity: str = 'leaky_relu' ): #...... std = gain / math.sqrt(fan) bound = math.sqrt(3.0) * std # Calculate uniform bounds from standard deviation with torch.no_grad(): return tensor.uniform_(-bound, bound) 为什么会出现这个因子，原因其实和物理实验里B类误差需要除去$\sqrt{3}$一样。均匀分布的方差是$Var = \frac {(b-a)^2}{12}$，而我们真正想要的bound是$(b-a)/2$，所以有$Var = \frac{1}{3} {bound}^2$，

深度学习 · 04-16 · 48 人浏览

Axuanz 04-05

BPE -> Transformer -> Benchmark 非常好教程
https://github.com/karpathy/minGPT (semi-archived)
https://github.com/karpathy/nanoGPT

Axuanz 03-27

非引流，实在觉得这两篇Gumbel Softmax讲的不错，也就没有自己写的必要了(并不是因为懒
https://zhuanlan.zhihu.com/p/455084077
https://zhuanlan.zhihu.com/p/633431594

QLoRA

http://arxiv.org/abs/2305.14314 Quantization + LoRA，了解一下呢。 LoRA之前写过博客了，这里主要想说一些如何与量化结合起来，以及用到的一些新的tech 当然像分页优化这种就掠过了...需要用到Nvidia统一内存去做内存/GPU交换，cuda编程不会捏，感兴趣可以看论文附的链接https://docs.nvidia.com/cuda/cuda-c-programming-guide/ 4-bit NormalFloat(NF4) 之前谈量化说到INT8/INT4，是把浮点数量化成定点数。量化操作一般是除去一个量化因子$s = \frac {2^{N-1}} {ABSMAX}$，这个其实潜在地假设了数据满足的是均匀分布，实际上LLM权重满足的是一个正态分布。那么NF4就把概率作为量化间隔，而不是把实际的数值差作为量化间隔。看以下这个图就明白了。p满足等差数列，而X明显不满足，越近0，X的分布越密集。图源 https://zhuanlan.zhihu.com/p/654967425 这个时候把X归一化到到[-1,1]，得到

深度学习 · 03-21 · 69 人浏览

QLoRA

Theme Jasmine by Kent Liao