pepnet:通过注入个性化的先验信息来训练参数化、嵌入化的个性化网络

news/2024/5/19 21:28:02 标签: 推荐算法, 搜索算法

文章地址:https://arxiv.org/pdf/2302.01115.pdf

一、一些基础知识点

多任务、多场景

原文:Multi-task methods focus on fitting target distributions of different tasks, but ignore the semantic differences in the feature space under multi-domain settings. Multi-domain
methods focus on aligning the embedding distributions under different domains, but ignore dependencies in the label space under multi-task settings

翻译:多任务重点在拟合不同任务之间的分布,但是忽略了多领域(场景)下特征空间的不同点。多场景专注于对齐不同场景下的嵌入分布

双跷跷板现象

同一场景下的不同目标之间、不同场景下同一目标,样本稀疏程度、特征空间、用户分布等都是差异

思考如何传入先验知识

如果把这种先验知识放在最底层,那么在网络向上传播的过程中这种信息会变得非常弱,所以在哪里、怎么设计是很重要的一环

ppnet这边的网络,在反向梯度传播时。正常传播到ppnet这边的网络,但是不往主干网络传播,目的是不影响不影响主干网络。设计思想可能是:主干网络和ppnet网络层次分明、各干各的事,如果混在一起在快手这边可能效果不好。但是不一定在每个业务中都要这样,在有些业务中不加这个操作也是可以的,也能拿到正向收益

二、具体的论文解释看这篇文章讲得挺仔细的

「2023 | 快手」PEPNet:融合个性化先验信息的多场景多任务网络 - 知乎

快手牛亚男:基于多Domain多任务学习框架和Transformer,搭建快手精排模型

看文章中,特征有3部分

ppnet侧:从文章中能看出来是user、item、author相关的id类特征

中间主体:用户的各种统计、序列特征、实时、离线等;item的交叉特征;author的交叉特征也放在这里

左侧ep-net:场景相关的id类特征,统计特征等都可以放在这里

其他地方,都可以按照论文中的网络结构来做,也可以mmoe+ppnet+epnet来做。每个tower的N个mlp层乘不乘ppnet的输出都可以,如果只是ppnet的话,可以只乘到最底层的特征嵌入层 


http://www.niftyadmin.cn/n/150406.html

相关文章

vue自定义表单设计器思路

Vue是一种流行的JavaScript框架,用于构建Web应用程序。Vue的灵活性使得它成为一种非常适合创建自定义表单设计器的框架。本文将介绍如何使用Vue实现一个自定义表单设计器,并最终实现单据自定义。 自定义表单设计器 在Vue中,可以使用自定义组…

多线程篇之基础篇

阻塞队列 是什么? 顾名思义,首先它是一个队列 当阻塞队列是空时,从队列中获取元素的操作将会被阻塞 当阻塞队列是满时,往队列中添加元素的操作将会被阻塞 为什么用?有什么好处? 好处是我们不需要关心什么时候需要阻塞线程,什么时候需要唤醒线程,因为BlockingQ…

【深度学习】如何选择适合深度学习的GPU?

如何选择适合深度学习的GPU?为什么GPU比CPU更适合机器学习或者深度学习?什么是张量处理单元(TPU)?目前主流的GPU厂商:Nvidia和AMD选择GPU时需要关注的主要属性1. GPU的内存需要多少?2. 需要多少核心&#…

Python数据结构与算法篇(六)-- 链表的应用

这一部分的内容,前面的大佬总结的挺多,这里进行汇总,方便和大家一起学习和回顾,欢迎大家继续补充。 1 链表和数组 作为线性表的两种存储方式————链表和数组,这对相爱相杀的好基友有着各自的优缺点。接下来&#x…

PySpark完美安装

一、hadoop版本号确认1. hadoop > 2.7.2[rootdm46 TDH-Client]# hadoop versionHadoop 2.7.2-transwarp-6.2.0Subversion http://xxxx:10080/hadoop/hadoop-2.7.2-transwarp.git -r f31230971c2a36e77e4886e0f621366826cec3a3Compiled by jenkins on 2019-07-27T11:33ZCompi…

基于Java的毕业生就业信息管理系统设计与实现【源码+论文+演示视频+包运行成功】

博主介绍:专注于Java技术领域和毕业项目实战 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇🏻 不然下次找不到哟 Java项目精品实战案例(200套) 目录 一、效果演示 二、…

c/c++开发,无可避免的操作符operator(篇四),用好操作符

操作符-越平常越要谨慎 目录 一、赋值操作符有先后 1.1 对象类型 1.2 值类型 1.3 赋值操作符要求及建议 二、自增和自减操作符藏效率 2.1 前置和后置 2.2 优选前置 2.3 按语境设计前置应用 三、关系及逻辑操作符-串接使用要谨慎 3.1 逻辑操作符 3.2 关系操作符 四、算术操…

【服务化架构】SOA和微服务架构

文章目录一、SOAESB二、微服务三、关于 SOA和微服务关系 的几种观点QA关于ESB的单点故障关于微服务的去中心化 和 API网关SOA和微服务是服务化架构的两种实现方式,服务化架构是一种分布式架构。 SOA和微服务的关系区别很容易分不清楚,所以本文将二者放在…