pca
pca属于线性降维算法。可以说是在降维算法里最出名的一个算法。开始详细理解之前，首先，我们来看一下降维的形式化定义：目标：给定$X={x_{i}}^{n}_{i=1},x_{i}\in R^{d}$，寻找线性映射来将数据映射到$R^{p},p \ll d$
如何描述线性映射？
回忆：$f(x
...
交叉熵的理解
原文出处：https://blog.csdn.net/tsyccnh/article/details/79163834交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。
1.信息量信息：$i(x)=-log(p(x))$,如果说概率p是对确定性的度
...
概率统计基础（二）
Posted on
极大似然估计(MLE)已知某个随机样本满足某种概率分布，但是其中具体参数不清楚，参数估计就是通过若干次实验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率样本，所以干脆就把这个参数作为估计的真实值。（注意
...
概率统计基础（一）
Posted on
一些常见的概率联合概率：联合概率指的是包含多个条件且所有条件同时成立的概率，记作p(X=a,Y=b)或p(a,b),有的书上也习惯记作p(ab),但是这种记发个人不太习惯，所以下文采用以逗号分隔的记法。一定要注意的是所有条件同时成立。
边缘概率：边缘概率是和联合概率对应的，p(X=a)或p(Y=b)
...
深度学习之参数初始化（一）——Xavier初始化和He初始化
Posted on
Xavier初始化
条件：正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。
论文：Understanding the difficulty of training deep feedforward neural networks — by Xavier Glorot,
...
矩阵特征分解
Posted on
先看大佬是怎么说的：https://www.zhihu.com/question/21874816以下是个人的简单理解，方便记忆。
特征分解是使用最广的矩阵分解之一，即我们矩阵分解成一组特征向量和特征值。
方阵 A 的特征向量（eigenvector）是指与A相乘后相当于对该向量进行缩放的非零向
...