动机

在推荐系统中，交叉特征(Cross Features)可以深入挖掘特征之间的潜在关系，提升模型效果。例如，把职业特征 o c c u p a t i o n = { b a n k e r , d o c t o r } occupation=\left\{banker,doctor\right\} occupation={banker,doctor}和性别特征 g e n d e r = { M , F } gender=\left\{M,F\right\} gender={M,F}进行交叉组合，可以得到新特征$$occupation\_gender=\left\{banker\_M,banker\_F,doctor\_M,doctor\_F\right\}$$

Factorization Machine(FM)是挖掘交叉特征有代表性的模型，它的表达式如下：
$$y_{FM}(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{v}_i^T{v}_j\cdot x_i{x}_j$$
上式中，${\sum }_{i=1}^n{w}_i{x}_i$是一阶特征，${\sum }_{i=1}^n{\sum }_{j=i+1}^n{v}_i^T{v}_j\cdot x_i{x}_j$是二阶交叉特征。FM的精髓在于用两个隐向量($v_i、v_j$)的内积来表示特征组合$<x_i,x_j>$的权重。这种通过更新隐向量来更新组合权重的方式不需要保证该组合存在，从而使模型具有一定的泛化性。

本篇论文的作者认为，FM虽然具备较好的特征交叉能力，但是它的缺点也很明显：FM的特征交叉方式本质上是线性组合，并且特征交叉的阶数也局限于二阶，原因是如果阶数过高，会引发组合爆炸问题，带来巨大的计算负担。

针对上述问题，论文作者提出了Neural Factorization Machine(NFM)。该模型使用深度神经网络(DNNs)取代上面FM式子中的二阶项，让DNNs来负责特征交叉的建模，如下面式子所示：
$$y_{FM}(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+f(x)$$
同时，为了防止网络层数过深导致的退化问题，作者还设计了一种新的特征交叉网络层——Bi-Interaction Layer。

Neural Factorization Machine

NFM的网络架构图如下所示：

其实，上图中只画出了NFM的二阶特征交叉部分，一阶部分和FM类似，这里不再赘述。在NFM中，负责特征交叉的是B-Interaction Layer和Hidden Layers。

在B-Interaction Layer中，作者提出了一种名为Bi-Interaction Pooling的操作，表达式为：
$$f_{BI}(V_x)=\sum _{i=1}^n\sum _{j=i+1}^n{x}_i{v}_i\odot x_j{v}_j$$
其中$\odot$是点对点乘积(element-wise product)，$v_i,v_j$分别是$x_i,x_j$对应的隐向量。

HIdden Layers的表达式如下：
$$\begin{gathered} z_1={\sigma }_1(W_1{f}_{BI}(V_x)+b_1) \\ {z}_2={\sigma }_2(W_2{z}_1+b_2) \\ \dots \dots \\ {z}_L={\sigma }_L(W_L{z}_{L-1}+b_L) \end{gathered}$$
最后，向量$z_L$通过预测层得到最终的预测分数：
$$f(x)=h^T{z}_L$$

总结

Neural Factorization Machine使用DNNs替换FM中的二阶交叉特征部分，使得网络能够突破阶数的限制，学习更加高阶的交叉特征。