分类： 前沿

Pycon 2016 tensorflow 研讨会总结 — tensorflow 手把手入门 #第二讲 word2vec

上一期我们讲到Pycon 2016 tensorflow 研讨会总结 — tensorflow 手把手入门 #第一讲 . 今天是我们第二讲, 来趴一趴word2vec.

什么是word2vec?

用来学习文字向量表达的模型 (相关文本文字的的特征向量).

  • 向量空间模型解决了NLP中数据稀疏问题, 如果文字是离散的. 即, 把文字映射到相邻的空间点上.

立刻上图感受一下word2vec:

1

Untitled

这里看看与文字’Cat’接近的词汇, 一目了然啊~如果一定要给’cat’一个向量描述, 上图左边这一列特征和权重是不是挺合理的呢? 嘿嘿~~~ 继续阅读Pycon 2016 tensorflow 研讨会总结 — tensorflow 手把手入门 #第二讲 word2vec

神经网络抵制过拟合神器：Dropout 手把手论文入门 — 深度学习 DL 番外篇

今天David 9要带大家读偶像Hinton等大牛的一篇论文，搞深度学习或者DL的朋友应该知道，那就是有名的Dropout方法。

学过神经网络的童鞋应该知道神经网络很容易过拟合。而且，如果要用集成学习的思想去训练非常多个神经网络，集成起来抵制过拟合，这样开销非常大并且也不一定有效。于是，这群大神提出了Dropout方法：在神经网络训练时，随机把一些神经单元去除，“瘦身”后的神经网络继续训练，最后的模型，是保留所有神经单元，但是神经的连接权重w乘上了一个刚才随机去除指数p.

废话少说，上原理图：

QQ截图20160729101338

左边是标准神经网络，右边是使用Dropout的神经网络，可见只是连接度少了一些，并不影响模型继续训练。其实，Dropout动机和初衷非常有意思。 继续阅读神经网络抵制过拟合神器：Dropout 手把手论文入门 — 深度学习 DL 番外篇

PyCon 2016 你不容错误过的演讲

小伙伴们, 一年一度的PyCon 2016盛宴错过了吗? 有没有去俄勒冈的波特兰瞻仰一下Python大神们的风采?

如果没有, 现在是机会享受视频回播啦, 如果你会翻墙, 请戳: Youtube PyCon 2016 视频集锦 . 如果你还苦于翻墙, 请戳我们的翻墙教程 .

如果你懒得翻墙, 请看我们为你搬到墙内的视频:

  1. PyCon 2016 大会 python创始人Guido van Rossum演讲 – Python Language
  2. pycon 2016 – Diving into Machine Learning through TensorFlow

有机会我们会出一期Blog专门讲一下TensorFlow.