基于知识图谱的深度推荐系统研究 王越群 2022.06

论文内容

以下是对于基于知识图谱的深度推荐系统研究一文王越群博士的论文深度解析。

该文提出了三种深度推荐系统研究方法

1、基于游走策略的知识图谱图卷积网络深度推荐模型

2、基于知识图谱作为辅助信息的多模态多任务深度推荐模型

3、基于知识图谱的波纹传播与多任务学习结合的深度推荐模型

目前感觉第二种方法比较适合

基础知识

推荐系统的五个发展阶段

1、协同过滤阶段 2、逻辑回归阶段 3、因子分解机阶段 4、组合模型阶段

5、深度学习阶段

  • …

  • 近些年的改进方向

    • 引入注意力机制（在结果输出之前，进行注意力权重的分配，提升推荐准确性）

    • 融合序列模型（使用序列模型模拟用户行为或用户兴趣的演化趋势 eg：深度兴趣进化网络模型 DIEN 26）

    • 结合强化学习（提升模型的在线学习效率和实时更新速度 eg：深度强化学习网络模型DRN 27 ）

    • 结合辅助信息的深度模型（在不同的深度学习模型中加入不同领域的信息挖掘技术，如融合NLP技术，将文本信息进行挖掘 eg：面向新闻推荐的深度知识感知网络模型 DKN 28，通过图像识别技术，将海报、图像、头像信息融入到推荐系统中）

    • 图结构化信息推荐

      由于推荐系统的输入数据可以以二部图、知识图谱形式进行表示，所以可以通过图挖掘技术进行深度推荐。本文中的三种研究方法都是基于图结构化信息推荐

知识图谱特征向量与推荐系统的融合方式

知识图谱属于一种异构图结构，知识图谱与推荐系统的融合方式有三种类型：基于向量化的方法、基于路径的方法以及基于联合的融合方法

  • 基于向量化的方法

    将推荐数据组成的知识图谱信息进行向量化处理，通过用户属性或者item属性构造知识图谱的拓扑结构并进行特征表示学习，以提升用户或者item的内容丰富程度。

    DKN模型：DKN 模型则是将新闻的标题、文本词汇信息以及上下文信息作为项目的辅助信息，进行特征挖掘。分别使用 TransE 模型[29]、 Word2vec 模型[36]等模型学习文本信息的多维度表示，并使用注意力机制将多重向量结果进行卷积处理，最后与用户向量使用内积的形式预测推荐结果。

  • 基于路径的方法

    采用设定游走策略或者元路径的方式，将推荐任务转换为图的链接预测问题。

  • 联合融合方法

    联合的融合方法是将基于路径的方法与基于向量的方法相互结合，RippleNet模型。。。

基于向量化的融合方式、基于路径的融合方式在获取知识图谱实体或关系的向量表示后，仍有三种常见的方法将知识图谱的向量化结果融入到推荐系统中去，分别为依次训练、联合训练和交替训练三种方式。

  • 依次训练

    DKN模型

  • 联合训练

    RippleNet模型、KGCN模型

  • 交替训练

    MKR模型

辅助信息与推荐系统融合
  • 辅助信息可以分为两类：结构化数据（平面特征、同质性网络结构特征、特征层级与知识图谱等）和非结构化数据（文本特征、图像特征、视频特征）
知识图谱特征学习模型

  • 基于距离的翻译模型

    TransE[29]、 TransR[32]、 TransD[31]、 TransH[30]

  • 基于语义的匹配模型

  • 基于路径的嵌入学习

评价指标

SIMKR模型

基于知识图谱作为辅助信息的多模态多任务深度推荐模型

针对第二中方法提出了SIMKR模型（

多模态：将项目的属性划分了三类(文本类型、多值属性类型、其它类型属性)，基于多模态思想，对于每一种属性的特征学习采用不同的方法

项目属性集$ A = A^T ∩ A^M ∩ A^E$

$A^T$: 文本类型，多个词语构成，自身的内在含义价值高于分析结构带来的价值，使用text-CNN模型进行特征提取

处理：TextCNN处理

$A^M$: 多值属性类型，合在一起会导致相同的关联属性在训练中被忽略，分开会导致知识图谱的体量增加且引入多对多、一对多的关系会造成提取效果差。

处理：索引矩阵和one-hot编码

$A^E$: 其它类型属性，其自身含义贡献较小，且这些属性与实体之间是一对一的关系，将这些属性与实体之间组成三元组关系，其结构信息更加具备挖掘意义。

消融实验

类似于控制变量法，常用于神经网路中验证某一模块的效果。eg，为了提升baseline的性能，增加了A，B两个模块，为了验证A、B两个模块确实有效，进行消融实验

  1. 在baseline的基础上增加模块A，比较效果

  2. 在baseline的基础上增加模块B，比较效果

  3. 在baseline的基础上同时增加模块A,B，比较效果

结果表明

1）实验1和实验2的效果不如实验3，那么A+B是有效果的。

2）若实验1和实验2分别都优于只有baseline的情况，则A,B均有一定的效果。