聊天机器人（chatbot-part1）
聊天机器人概述聊天机器人（Chatbot），也被称为对话引擎或者对话系统，大家在智能客服和语音智能助手等场景下可以看到它的身影，它是目前的热点之一。微软正在聊天机器人上下大赌注，Facebook (M)、苹果(Siri)、谷歌、微信和Slack等公司也是如此。微软最近还发布了自己的bot开发框架。还
...
文本主题抽取与表示（四）LDA
Posted on
|
In
NLP
TO_DO:基础知识
plsa—涉及文档和主题和词，主题为隐变量，概率图模型，通过建模KL散度，用EM算法求解。
使用例子：12345678910111213141516171819202122232425262728293031323334353637import jieba#
...
文本主题抽取与表示（三）监督学习与文本打主题标签
Posted on
|
In
NLP
前面两中方法得出的主题都是来自于文本本身的词，而且有时会出现选出来的多个主题词其实意思相近的词。
如果不要求主题一定是文本中的词呢？
如果有已经标注好的主题的文本，可以直接用文本分类的技术来识别文本的主题。
如BOW/CNN/LSTM/BERT等
图 卷积神经网络文本分类模型
文本主题抽取与表示（二）TextRank
Posted on
|
In
NLP
TO_DO:基础知识
基于 TextRank 算法的关键词抽取longxinchen_ml)
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口
...
文本主题抽取与表示（一）TD-IDF
Posted on
|
In
NLP
TO_DO:基础知识
基于TF-IDF算法的关键词抽取import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK
...
seq2seq构建生成式的聊天机器人
Posted on
|
In
NLP
这里用的是google开源的nmt项目来简单实现的一个chatbot。很直觉的，把对话的语聊喂到nmt的模型进行训练，这样最终训练得到的模型就是一个简单的聊天机器人。
Google开源的tensorflow-nmt(seq2seq)模型，可以在下面这篇博客里详细了解下：tensorflow-nm
...
DSSM(Deep Structured Semantic Model)
Posted on
模型详解DSSM的全称是Deep Structured Semantic Model或者Deep Semantic Similarity Model。DSSM由微软研究院深度学习研究中心开发，是一个利用深度神经网络把文本（句子，queries，实体等）表示成向量，并且计算文本相似度的模型和方法。DS
...