人们的每次思考并不都是从零开始的。比如你在阅读这篇文章时，你基于对前面的文字的理解来理解你目前阅读到的文字，而不是每读到一个文字时，都抛弃掉前面的思考，从头开始。你的记忆是有持久性的。
传统的神经网络并不能如此，这似乎是一个主要的缺点。例如，假设你在看一场电影，你想对电影里的每一个场景进行分类。传统的神经网络不能够基于前面的已分类场景来推断接下来的场景分类。
循环神经网络(Recurrent Neural Networks)解决了这个问题。这种神经网络带有环，可以将信息持久化。
Steffen Rendle于2010年提出Factorization Machines[1]（下面简称FM），并发布开源工具libFM[2]。凭借这单个模型，他在KDD Cup 2012上，取得Track1的第2名和Track2的第3名。这篇文章简要介绍下这个模型。
与SVM相比，FM对特征之间的依赖关系用factorized parameters来表示。对于输入数据是非常稀疏（比如自动推荐系统），FM搞的定，而SVM搞不定，因为训出的SVM模型会面临较高的bias。还有一点，通常对带非线性核函数的SVM，需要在对偶问题上进行求解；而FM可以不用转为对偶问题，直接进行优化。
目前还有很多不同的factorization models，比如matrix factorization和一些特殊的模型SVD++, PITF, FPMC。这些模型的一个缺点是它们只适用于某些特定的输入数据，优化算法也需要根据问题专门设计。而经过一些变换，可以看出FM囊括了这些方法。
2-way FM(degree = 2)是FM中具有代表性，且比较简单的一种。就以其为例展开介绍。其对输出值是如下建模：
矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。下面先尽量避开严格的数学符号推导，直观的从一张图片出发，让我们来看看奇异值代表什么意义。
这是女神上野树里（Ueno Juri）的一张照片，像素为高度450*宽度333。暂停舔屏先(痴汉脸)
