CTR

CTR预测就是对用户是否点击广告进行预测，其实可以看成二分类问题，即点和不点。

logistics回归(LR)：

logistics输出的是概率，可以较为直观的解释用户点击广告的几率

计算目标函数的复杂度O(N)，计算速度快，所以比较适合处理大数据

没有考虑特征之间的相关性，没有特征进行组合

为了提高模型性能，在模型训练之前，需要做很多的特征工程

GDBT+LR:

使用GDBT的输出作为LR的输入

使用GDBT可以组合特征，增强特征的表达能力

通过控制GDBT中树的个数和每颗树的树叶个数来对数据进行降维

Facebook经典模型LR+GBDT理论与实践《Practical Lessons from Predicting Clicks on Ads at Facebook》

FM：

FM通过对每个特征都学习一个隐变量，从而考虑到特征之间的关系。

考虑特征之间的关系，增强了模型的泛化能力

通过对目标函数巧妙的分解合并，可以O(N)时间复杂度下完成

适合处理稀疏数据。相对来说SVM就不能用来处理稀疏的数据。

补充：FM一般结合GDBT来提高模型性能，即用GDBT的输出作为FM的输入

在这里插入图片描述

FFM：

FFM是在FM基础上进行了改进，提出了filed概念。每个特征在不同的filed中有不同的隐变量。

在FM模型的基础，模型的性能得到进一步的提高

同样适合处理稀疏数据

FFM不像FM那样可以对目标函数分解合并，在线性时间内完成函数的计算。在时间复杂度上要比FM要复杂。以二次项为例时间复杂要O(N^2)

在这里插入图片描述

DNN

在这里插入图片描述

FNN

FM与MLP的串联结合，采用 FM 预训练得到的隐含层及其权重作为神经网络的第一层的初始值，之后再不断堆叠全连接层，最终输出预测的点击率

在这里插入图片描述

PNN

对比 FNN 网络，PNN 的区别在于中间多了一层 Product Layer 层。Product Layer 层由两部分组成，左边 z 为 embedding 层的线性部分，右边为 embedding 层的特征交叉部分

在这里插入图片描述

Wide & Deep

在这里插入图片描述

DeepFM

在这里插入图片描述

NFM

前面的 DeepFM 在 embedding 层后把 FM 部分直接 concat 起来（f*k 维，f 个 field，每个 filed 是 k 维向量）作为 DNN 的输入。

Neural Factorization Machines，简称 NFM，提出了一种更加简单粗暴的方法，在 embedding 层后，做了一个叫做 BI-interaction 的操作，让各个 field 做 element-wise 后 sum 起来去做特征交叉，MLP 的输入规模直接压缩到 k 维，和特征的原始维度ｎ和特征 field 维度 f 没有任何关系。

在这里插入图片描述