海德堡提出全新图语言模型

语言模型（LM）的成功似乎掩盖了很多其他的重要研究，比如知识图谱，这个整合了实体关系的结构化知识库。传统上，语言模型代表了语言理解的能力，而知识图谱包含了丰富的结构化信息。在AI定制开发和大型语言模型开发领域，这种结合尤为重要。

长期以来，对于KG的利用大致可以分为两类：线性化嵌入LM：将KG转化为线性化数据再嵌入LM，然而这种方法并不能充分利用其结构信息。使用图神经网络（GNN）：保留图结构的同时，却无法整合文本特征，也不能与LM的预训练特征结合。海德堡团队提出的GLM模型融合了两种方法的优势，弥补了它们的缺点，为AI解决方案提供了新的思路。KG在组织大量数据、促进信息检索以及揭示决策中的隐藏见解方面起到了关键作用。特别是对于教育行业AI解决方案和税务AI咨询，这种结合大大提高了数据处理效率和决策准确性。

知识图谱与语言模型的结合

在设计图语言模型（GLM）时，研究人员通过文本和结构信息的早期融合解决了许多问题。首先，使用LM的现有参数进行初始化，这既保留了预训练的能力，也避免了从头训练的高成本。通过对LM自注意力模块的一些非侵入性更改，LM转变为Graph Transformers（GT），从而保持与预训练参数的兼容性。

图语言模型GLM的设计

研究人员在两个关系（标签）分类实验中评估了GLM嵌入GoT的能力。实验包括ConceptNet子图和维基数据子图与相关维基百科摘要的数据，测试了模型处理多样化输入的能力。GLM对图进行编码，为每个token生成嵌入，线性分类头根据掩码的嵌入给出最终预测，展现了其强大的处理与预测能力。在ConceptNet子图实验中，GLM优于基于LM和GNN的编码方法，这表明即使LM的参数在GLM训练期间未更新，性能也得到了显著提升。这种表现让其在企业AI开发和AI公有云部署中具有巨大的应用潜力，可为杭州AI企业服务提供更加智能和高效的工具。

通过将知识图谱和语言模型的优势融合，GLM为多种AI应用场景提供了新的可能性。例如，GLM在教培行业AI应用和税务行业知识问答AI领域展现出了卓越的潜力。随着这种技术的进一步优化和推广，AI在各行业中的应用将更加广泛和深入。

如有侵权，请联系删除。