平衡采样的广告点击率预估方式 ㊣ 精品文档 值得下载

很显然这是个类别不平衡问题。

众多处理类别不平衡算法中，对训练数据进行下采样是种被广泛接受和采纳的策略下采样能削减训练数据的大小，缩短训练时间，然而单纯的下采样无法全面利用大类样本提供的信息。

平衡采样通过集成组在下采样之后训练集上训练所得分类器，补回了下采样所造成的信息丢失。

本文借鉴平衡采样思想，显不如单边采样。

性能实验本算法最主要的目的在于性能上的提升。

表比较了未对数据进行采样和采样之后整个系统的性能参数。

其中，删除力度为，使用个模型进行投票。

在进行数据删除之后，在主要的几个性能指标上都有了显著的性能提升。

每个模型所需的训练数据大小缩减了，这和删除负样本的预期基本致，节约了大量的线上数据存储资源。

由于算法每轮都要遍历所有的样本，因此在样本删除之后，算法每轮所遍历样本数目减少，迭代的时间也大幅度缩减，从秒下降到了秒。

整体训练时间从过去的个小时下降到了个半小时，大大加快了模型的和集成的策略基本持平，这也与本文算法中加载若干模型的假设是相致的。

关于采样的讨论在平衡采样的逻辑回归算法中，节约资源的主要原因在于采样，然而我们没有采用类别不平衡算法中启发式的，采样方法，而是用了最简单的随机采样，这主要从性能因素考虑。

无论是的，或者这样的采样方法，都需要计算样本和样本之间的距离或者样本和决策边界的距离，由于百度联盟点击率日志规模庞大，训练样本数目较多级别特征维度也非常庞大几十万，计算样本之间距离过程是非常消耗计算资源的。

以为例，在每轮样本的信息丢失。

本文借鉴平衡采样思想，构建组逻辑回归模型对进行点击率预估，我们称这方法为平衡采样逻辑回归。

本文的组织结构如下，第节介绍简单介绍类别不平衡算法的问题以及常用的采样策略，第节介绍平衡逻辑回归模型，第节给出性能和效果实验，最后对未来的工作进行总结和展望。

平衡采样的广告点击率预估方式。

模型个数对点击率预估效果的影响在平衡采样的逻辑回归过程中，模型个数是非常重要的参数。

模型个数过少则线上点击率预估效果会下降，模型个数过多则会消耗过多的计算存储资源。

图是删除力度为的情况下，采用不同模型个数，线下平衡采样的广告点击率预估方式基本持平。

造成这样的现象主要在于逻辑回归本身是种比较稳定的模型，虽然对样本的采样能造成定的不稳定性，然而随着模型个数的增多。

这样不稳定性逐渐被消除，最终趋于统。

表反映了加载个模型和不进行采样只使用个模型的线上的点击率变化，可以看到，线上实验和线下的评估效果基本致。

而且，在加载个模型之后，数据删除所带来的信息丢失被多个模型的集成补了回来，线上广告点击率效果上已经基本和未删除样本和集成的策略基本持平，这也与本文算法中加载若干模型的假设是相致的。

关于采样的讨论在平衡采样的逻辑回归算法中，节约负样本进行采样。

使用这样的策略主要是出于运算和存储资源考虑。

现有的定向广告的点击率通常只有千分之，这意味着正样本和负样本比值达到，如果在每轮都做到真正类别平衡，意味着删除的负样本，这会删除大量的负样本，相应的，也需要训练大量的分类器进行集成以补回采样造成的信息丢失。

这样的策略在现实点击率预估系统是不现实的，首先训练大量的分类器是个非常消耗计算资源的过程，其次，线上加载大量模型会造成机器的空闲时间大大减少，甚至造成系统的瘫痪。

因此在平衡采样的逻辑回归算法中，通常只能加载若干个模型，因此也在每软提出的算法有效的解决了优化算法中范式不可微的问题，因此，范式逻辑回归的模型以及算法的优化成了各大联盟系统的首选。

平衡采样的广告点击率预估方式。

模型个数对点击率预估效果的影响在平衡采样的逻辑回归过程中，模型个数是非常重要的参数。

模型个数过少则线上点击率预估效果会下降，模型个数过多则会消耗过多的计算存储资源。

图是删除力度为的情况下，采用不同模型个数，线下的变化。

可以看到，整体上是随着的模型个数的增加而逐渐增加的，但是，这样的趋势逐渐放缓。

模型个数为和的降，要争取做到持平。

其次，在点击率预估效果没有太大下降的前提之下，考察这算法在性能上的表现，包括计算资源和存储资源的节约。

最后，性能的提升可以带来的模型的可扩展性，为了展示这扩展性。

些过去无法被加入点击率预估的特征被采纳进来，并取得了良好的点击率预估效果。

在评判指标的选择中，采用了类别不平衡问题中最常见的评判标准。

同时也在真实线上环境中做实验，观察策略对线上广告点击率造成的影响。

平衡采样的广告点击率预估方式。

平衡逻辑回归的点击率预估上文介绍了平衡采样策略在处理类别不平衡问题时的广泛应用。

它击率通常只有千分之，这意味着正样本和负样本比值达到，如果在每轮都做到真正类别平衡，意味着删除的负样本，这会删除大量的负样本，相应的，也需要训练大量的分类器进行集成以补回采样造成的信息丢失。

这样的策略在现实点击率预估系统是不现实的，首先训练大量的分类器是个非常消耗计算资源的过程，其次，线上加载大量模型会造成机器的空闲时间大大减少，甚至造成系统的瘫痪。

因此在平衡采样的逻辑回归算法中，通常只能加载若干个模型，因此也在每轮采样过程中无法做到真正的平衡采样。

平衡逻辑回归的点击率预估上文介绍了平衡采样除了大量的负样本数据，缩短训练时间。

而训练多个分类器进行集成能有效的将下采样所带来的信息丢失补回。

当将它应用到广告点击率预估问题中的时候，考虑到线上模型都是使用逻辑回归模型。

因此，本文提出了平衡逻辑回归算法进行点击率预估。

平衡采样逻辑回归算法的流程如算法所示，和平衡随机森林相比，两者之间有以下两点的区别。

，所采用的方法是逻辑回归，这策略主要的考虑在于现有联盟所采用的基本都是逻辑回归算法，独立开发套新的大规模并行的机器学习算法需要消耗大量的时间。

，没有真正的做到类别平衡。

每轮都是以定的采样力度对平衡采样的广告点击率预估方式类别不平衡问题，指的是训练样本的分布不均匀问题。

具体的说就是些类的样本远多于其他类的样本。

通常定向广告联盟的广告点击日志中正样本被点击的记录和负样本未被点击的记录比例为，很显然这是个类别不平衡问题。

众多处理类别不平衡算法中，对训练数据进行下采样是种被广泛接受和采纳的策略下采样能削减训练数据的大小，缩短训练时间，然而单纯的下采样无法全面利用大类样本提供的信息。

平衡采样通过集成组在下采样之后训练集上训练所得分类器，补回了下采样所造成的信息丢失。

本文借鉴平衡采样思想，量的计算和存储资源，这些节省下来的资源帮助后续的策略团队上线更多过去不可能被使用的特征，为了说明这扩展性，本文简单的做了个实验。

网站和用户是两个非常细粒度的特征，每天的点击日志中会有数以亿计的和。

在离散化的逻辑回归算法下，如果把这两个特征加入到模型之中会造成线上模型大小以及训练时间的大幅度增加，因此在过去几年的特征团队直没有将其放入点击率预估模型。

然而在进行平衡采样之后，计算和存储资源被节省了下来，这两个特征以及可以被尝试加入到广告点击率预估模型之中，首先看下，显然这是非常消耗资源的。

然而，随机采样则完全不同，决定每个样本是否删除只需要产生个随机数就能完成，时间复杂度为。

在本算法过程中，本文采用了种单边采样的策略，即只对负样本进行采样。

为了证明这思想的正确性，本文进行了次实验，对比了对正样本和负样本同时采样和单边采样的在不同模型个数下的线下。

双边采样中对正样本采样，负样本采样。

单边采样只对负样本采样。

实验结果表明，双边采样效果明显不如单边采样。

性能实验本算法最主要的目的在于性能上的提升。

表比较了未对数据进行采样和采样之后整个系统的性能参数。

轮采样过程中无法做到真正的平衡采样。

平衡采样的广告点击率预估方式类别不平衡问题，指的是训练样本的分布不均匀问题。

具体的说就是些类的样本远多于其他类的样本。

通常定向广告联盟的广告点击日志中正样本被点击的记录和负样本未被点击的记录比例为，很显然这是个类别不平衡问题。

众多处理类别不平衡算法中，对训练数据进行下采样是种被广泛接受和采纳的策略下采样能削减训练数据的大小，缩短训练时间，然而单纯的下采样无法全面利用大类样本提供的信息。

平衡采样通过集成组在下采样之后训练集上训练所得分类器，补回了下采样所造除了大量的负样本数据，缩短训练时间。

而训练多个分类器进行集成能有效的将下采样所带来的信息丢失补回。

当将它应用到广告点击率预估问题中的时候，考虑到线上模型都是使用逻辑回归模型。

因此，本文提出了平衡逻辑回归算法进行点击率预估。

平衡采样逻辑回归算法的流程如算法所示，和平衡随机森林相比，两者之间有以下两点的区别。

，所采用的方法是逻辑回归，这策略主要的考虑在于现有联盟所采用的基本都是逻辑回归算法，独立开发套新的大规模并行的机器学习算法需要消耗大量的时间。

，没有真正的做到类别平衡。

每轮都是以定的采样力度对基本持平。

造成这样的现象主要在于逻辑回归本身是种比较稳定的模型，虽然对样本的采样能造成定的不稳定性，然而随着模型个数的增多。

这样不稳定性逐渐被消除，最终趋于统。

表反映了加载个模型和不进行采样只使用个模型的线上的点击率变化，可以看到，线上实验和线下的评估效果基本致。

而且，在加载个模型之后，数据删除所带来的信息丢失被多个模型的集成补了回来，线上广告点击率效果上已经基本和未删除样本和集成的策略基本持平，这也与本文算法中加载若干模型的假设是相致的。

关于采样的讨论在平衡采样的逻辑回归算法中，节约信息丢失是下步需要考虑的问题和工作。

作者施梦圜顾津吉单位南京大学软件新技术国家重点实验室百度中国有限公司联盟研发部。

平衡采样逻辑回归基于逻辑回归的点击率预估逻辑回归是机器学习中被广泛使用的分类模型，它的输出值表示了个样本被标记为正样本的概率，在定义上它和点击率广告被点击的概率是相吻合的。

因此，在文献中被提出之后，它就被广泛采用到了各大联盟的点击率预估系统之中。

由于联盟广