本
文
摘
要
公主殿下镇楼！
Paper：Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation
ABSTRACT
在实际的推荐方案中，协作过滤常常存在稀疏和冷启动问题，因此，研究人员和工程师通常使用边信息来解决这些问题。 提高推荐系统的性能。本文将知识图看作是边信息的来源。我们提出了一种多任务特征学习方法MKR，用于知识图增强推荐。MKR是一个利用知识图嵌入任务来辅助推荐任务的深度端到端框架。这两个任务通过交叉压缩单元相关联，该单元自动共享潜在特征，并学习知识图中推荐系统和实体之间的高阶交互。证明了交叉压缩单元具有足够的多项式逼近能力，证明了MKR是多种典型推荐系统和多任务学习方法的广义框架。通过对真实世界数据集的大量实验，我们证明了MKR在电影、书籍、音乐和新闻推荐方面取得了超越最新基线的实质性进展。即使用户-项目交互很少，MKR也能够保持良好的性能。
在本节中，我们首先明确用公式表达知识图增强推荐问题，然后介绍了MKR的框架，并详细介绍了交叉压缩单元、推荐模块和KGE模块的设计。最后讨论了MKR的学习算法。
1.1 Problem Formulation
本文将知识图增强推荐问题表述为如下形式。在一个典型的推荐场景中，我们有一个M个用户的 *** U={u1,u2,....,uM}U=\left\{ u_{1},u_{2},....,u_{M} \right\} 和一个N个items的 *** V={v1,v2,...,vN}V=\left\{ v_{1}, v_{2},...,v_{N}\right\} 。user-item 交互矩阵Y∈RM×NY \in R^{M\times N} 是根据用户的隐式反馈定义的，其中 yuv=1y_{uv} = 1 表明用户参与了itemv，如点击、观看、浏览、购买等行为 , 否则是0。另外地，我们也使用了一个知识图 G，它是由实体-关系-实体的三元组（h，r，t）组成的，它们分别定义头、关系、和尾。
在许多推荐的场景中,一个item v 可能与知识图中的一个或多个实体关联。例如,在电影的推荐中，item“Pulp Fiction”是与它的同名关联的,而在新闻推荐中，“特朗普在科技会议上承诺向硅谷提供援助”这个新闻标题和“唐纳德·特朗普”和“硅谷”联系在一起。
根据用户-项目交互矩阵 Y 和知识图 G，我们的目标是预测用户u是否对之前没有交互的项目v有潜在兴趣。我们的目标是学习预测函数y~uv=F(u,v|Θ,Y,G)\tilde{y}_{uv}=F(u,v|\Theta,Y,G) ,y~uv\tilde{y}_{uv} 表示用户u将与item交互的概率, Θ是函数F的模型参数。
1.2 Model
MKR的框架如图1a所示。MKR由三个主要组件组成：推荐模块、KGE模块和交叉压缩单元。
(1)左侧的推荐模块以用户和物品为输入，使用多层感知器(MLP)和交叉压缩单元分别为用户和物品提取短而密集的特征。然后将提取的特征一起输入另一个MLP，输出预测概率。
(2)与左侧部分相似，右侧的KGE模块也使用多层提取知识三元组的头和关系特征，并在评分函数 f 和实尾部的监督下输出预测尾部的表示。
(3)推荐模块与KGE模块之间由专门设计的交叉压缩单元连接。所提出的单元可以自动学习推荐系统中项目与KG中实体之间的高阶特征交互。
1.3 Cross&compress Unit
为了对项目和实体之间的交互进行建模，我们在MKR框架中设计了一个交叉压缩单元。对于每一个item v和一个它关联的实体，我们首先在构造一个第l 层的d xd 成对地交互潜在向量vl∈Rdv_{l}\in R^{d} 和 el∈Rde_{l}\in R^{d} ：
其中，Cl是第l层的交叉特征矩阵，d是隐藏层的维度。该itemv关联实体e在交叉特征矩阵中进行了显式建模。然后通过将交叉特征矩阵投影到下一层的项和实体的潜在表示空间中，输出下一层的项和实体的特征向量：
注意，为了对称起见，横特征矩阵在水平和垂直方向上都被压缩(通过Cl和Cl操作)，但是我们将在后边提供更多关于设计的见解。为简单起见，交叉压缩单元表示为：
我们使用后缀[v]或[e]来区分它的两个输出。通过交叉压缩单元，MKR可以自适应地调整知识转移的权重，并学习两个任务之间的相关性。
需要注意的是，交叉压缩单元应该只存在于MKR的底层，如图1a所示。这是因为：
(1)在深层架构中，特征通常沿网络由一般向具体转化，随着任务不相似度的增大，特征在高层的可转移性显著下降。因此，共享高层层可能的负迁移风险，特别是对于MKR中的异构任务。
(2)在MKR的高层中，项目特性与用户特性混合，实体特性与关系特性混合。混合的特性不适合共享，因为它们没有明确的关联。
1.4 Recommendation Module
MKR中推荐模块的输入由两个原始特征向量 u 和 v 组成，分别描述用户 u 和项目 v 。根据应用程序场景，可以将u和v定制为one-hotID[8]、attributes[30]、bag-of-words[29]或它们的组合。给定用户u的原始特征向量u，我们使用L-layer MLP来提取其潜在的密集特征：
其中，M (x) =σ(Wx + b)是一个全连接神经网络，W和b是它的权重和偏差。它使用非线性激活函数σ(·)。对于项目v，我们使用L cross&compress units 提取其特征:
S(v) 表示与item v关联的一组 *** 。
在获得用户u的潜在特征uLu_{L} 和item v的潜在特征 vLv_{L} 之后，我们通过预测函数fRS将这两个途径结合起来，例如内积或h层MLP。用户u参与项目v的最终预测概率为：
1.5 Knowledge Graph Embedding Modeule
知识图嵌入（KGE）是将实体和关系嵌入到连续的向量空间中，同时保留其结构。近年来，研究者提出了大量的KGE方法，包括平移距离模型[2,13]和语义匹配模型[14,19]。在MKR中，我们提出了一个用于KGE模块的深度语义匹配架构。
与推荐模块类似，对于给定的知识三元组(h,r,t)，我们首先利用多个交叉压缩单元和非线性层分别处理头h和关系r的原始特征向量(包括ID[13]、类型[36]、文本描述[35]等)。然后将它们的潜在特征连接在一起，然后用一个k层MLP预测尾部 t：
S(h) 是一个与头实体相关联的一个 *** ， t~\tilde{t} 是尾向量t的预测向量。最后，三元组（h,r,t）的分数由下边的相似性分数函数计算：
其中，t是t的实特征向量。我们使用规范化的内部产品行业组织 fKG(t,t~)=σ(t⊤t~)f_{KG} (t,\tilde{t})=\sigma(t\top\tilde{t}) 的选择得分函数，但是其他形式的相似性度量(dis)也可以应用在这里，如KullbackaĂŞLeibler散度。
本文提出了一种用于知识图增强推荐的多任务学习方法MKR。MKR是一个深入的端到端的框架，它由两部分组成:推荐模块和KGE模块。两个模块都采用多重非线性层来从输入中提取潜在特征，并适应用户-项目和头-关系对的复杂交互。
由于这两个任务不是独立的，而是由项和实体连接起来的，因此我们在MKR中设计了一个交叉压缩单元，将两个任务联系起来，自动学习项和实体特征的高阶交互，并在两个任务之间传递知识。我们在四个推荐场景中进行了大量的实验。
结果表明，与强基线相比，MKR有显著的优越性，KG的使用也有显著的效果。在未来的工作中，我们计划在MKR框架中研究其他类型的神经网络(如CNN)。
我们还将结合其他的KGE方法，通过重新设计交叉压缩单元来实现MKR中的KGE模块。
