在聊天机器人，机器翻译，自动文摘，智能问答等众多自然语言处理任务中都可能用到seq2seq模型，google在著名的neural machine translation中也使用过这个结构的模型（当然，现在因为效率等原因，可能不少应用项目迁移到transformer结构下了），google在tenso ...

概述马尔科夫链，并不是一个完美的模型。 很明显，前后关系的缺失，带来了信息的缺失:比如我们的股市，如果只是观测市场，我们只能知道当天的价格、成交量等信息， 但是并不知道当前股市处于什么样的状态(牛市、熊市、震荡、反弹等等)， 在这种情况下我们有两个状态集合，一个可以观察到的状态集合 (股市价格成交量 ...

参考原文：https://jalammar.github.io/illustrated-transformer/ Attention机制最早应用于机器翻译的任务中，并且取得了巨大的成就，因而在最近的深度学习模型中受到了大量的关注。Transformer是一种完全基于Attention机制来加速深 ...

概述 模型目标：进行此的向量化表示，使得向量之间尽可能多地蕴含语义和语法的信息。 输入：语料库 输出：词向量 方法概述：首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。 开始->统计共现矩阵->训练词向量->结束 统计共现矩阵设共现 ...

牛顿法（Newton’s method）牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。具体步骤：首先，选择一个接近函数 f(x)零点的 x0，计算相应的 f(x0) 和切线斜率f’ ...

泰勒公式是将一个在$x=x_{0}$处具有n阶导数的函数f(x)利用关于$(x-x_{0})$的n次多项式来逼近函数的方法。若函数f(x)在包含$x_{0}$的某个闭区间[a,b]上具有n阶导数，且在开区间(a,b)上具有(n+1)阶导数，则对闭区间[a,b]上任意一点x，成立下式： f(x) ...

一、文本表示和个词向量间的对比1.文本表示进行一个归纳，也就是对于一篇文本可以如何使用数学语言表示呢？ 基于one-hot、tf-idf、textrank等的bag-of-words； 主题模型：LSA（SVD）、pLSA、LDA； 基于词向量的固定表征：word2vec、fastText、gl ...

一、AI算法基础.1、样本不平衡的解决方法？机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的，但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而‘轻视’样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。 ...

一、神经网络基础和前馈神经网络1.神经网络中的激活函数：对比ReLU与Sigmoid、Tanh的优缺点？ReLU有哪些变种？为什么引入非线性激励函数？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是 ...

Ensemble的主要思路大概可理解为‘群殴’的意思。假设你有一堆的模型，他们是各种各样的，这时，集合起来让他们各司其职，能达到更好啊效果。 Bagging回顾一下模型误差的由来。模型误差的主要原因可解析为偏差（Bias）和方差（Variance）。方差形容的是模型输出值与真实值之间的误差，方差 ...