Axuanz的学习日记

stack<int> 底层容器连续性

今日力扣是关于单调栈的，刚开始我使用stack实现，最后题目要求返回vector，因为c++把stack视为容器而不是迭代器，所以使用pointer来计算stack的起始终止位置，如以下代码。 class Solution { public: vector<int> mostCompetitive(vector<int>& nums, int k) { stack<int> stk; int n = nums.size(); for(int i=0;i<n;i++){ while(!stk.empty() && nums[i] < stk.top() && stk.size() + n - i - 1>= k) stk.pop(); stk.push(nums[i]); } int *begin = &stk.top()

其他 · 05-24 · 222 人浏览

RoPE两种实现方式

RoPEv1: chatglm/baichuan中使用 RoPEv2: Llama中使用两者区别 v1代码较为繁琐，但是和原始算法对应 v2使用torch.complex实现，更加明了，不过没有严格遵循原算法，qk转到复数域时，并没有使用相邻的神经元作为复数的实部和虚部，而是直接在特征维度上切分，一半实部，一半虚部 Su的解释：神经元是无序的（dot attention做内积，不依赖于维度顺序） import torch import torch.nn as nn import torch.nn.functional as F import math ### RoPEv1 def sinusoidal_position_embedding(batch_size, nums_head, max_len, output_dim, device = 'cpu'): # (max_len, 1) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(-1) # (output_dim//

深度学习 · 04-29 · 753 人浏览

为什么均匀分布初始化标准差需要乘上Sqrt(3)

Pytorch中的kaiming_uniform中标准差stdv乘了一个因子$\sqrt{3}$ def kaiming_uniform_( tensor: Tensor, a: float = 0, mode: str = 'fan_in', nonlinearity: str = 'leaky_relu' ): #...... std = gain / math.sqrt(fan) bound = math.sqrt(3.0) * std # Calculate uniform bounds from standard deviation with torch.no_grad(): return tensor.uniform_(-bound, bound) 为什么会出现这个因子，原因其实和物理实验里B类误差需要除去$\sqrt{3}$一样。均匀分布的方差是$Var = \frac {(b-a)^2}{12}$，而我们真正想要的bound是$(b-a)/2$，所以有$Var = \frac{1}{3} {bound}^2$，

深度学习 · 04-16 · 275 人浏览

Axuanz 04-05

BPE -> Transformer -> Benchmark 非常好教程
https://github.com/karpathy/minGPT (semi-archived)
https://github.com/karpathy/nanoGPT

Axuanz 03-27

非引流，实在觉得这两篇Gumbel Softmax讲的不错，也就没有自己写的必要了(并不是因为懒
https://zhuanlan.zhihu.com/p/455084077
https://zhuanlan.zhihu.com/p/633431594

Theme Jasmine by Kent Liao