第12卷第6期 智能系统学报 Vol.12 No.6 2017年12月 CAAI Transactions on Intelligent Systems Dec.2017 D0:10.11992/tis.201706075 网络出版t地址：http:/kns.cnki.net/cms/detail/23.1538.TP.20171109.1255.024.html 基于用户意图理解的社交网络跨媒体搜索与挖掘 崔婉秋，杜军平，周南，梁美玉 (北京邮电大学智能通信软件与多媒体北京市重点实验室，北京100876)》 摘要：随者在线社交网络的盛行，网络用户不仅对信息资讯的获取速度和实时性提出了更高的要求，对个性化和精 确化的搜索需求日益增长。为了提升搜索引擎的质量以及其结果列表的准确性，需要深层次地挖掘用户搜索意图。 本文分析了用户搜索意图理解在线社交网络跨媒体进行精准搜索与挖掘的研究现状，包括知识图谱在线社交网络多 模态信息感知、面向用户搜索意图匹配的跨媒体大数据深度语义学习方面的应用，以及用户搜索意图理解的在线社 交网络精准搜索与挖掘的应用等。最后，对未来研究存在的问题和可能面临的挑战进行了展望。 关键词：在线社交网络：用户搜索意图：知识图谱：深度语义学习：精准搜索关键词 中图分类号：TP393文献标志码：A文章编号：1673-4785(201706-0761-09 中文引用格式：崔婉秋，杜军平，周南，等.基于用户意图理解的社交网络跨媒体搜索与挖据.智能系统学报，2017,12(6)：761-769. 英文引用格式：CUI Wanqiu,.DU Junping,ZHOU Nan,etal.Social network cross-.media searching and mining based on user inten- tion[J.CAAI transactions on intelligent systems,2017,12(6):761-769. Social network cross-media searching and mining based on user intention CUI Wanqiu,DU Junping,ZHOU Nan,LIANG Meiyu (Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia,Beijing University of Posts and Telecommunic- ations,Beijing 100876,China) Abstract:With the popularity of online social networks,users not only have higher requirements for speed and real-time performance of information acquisition but also increased demand for personalized and accurate searching.To improve the quality of the search engine and accuracy of the result list,it is necessary to deeply mine the search intentions of the users.This paper summarizes the current situation in precise cross-media searching and mining based on user search in- tentions.We focus on multi-modal information perceptions based on an online social network knowledge graph,deep semantic learning and analysis of cross-media data for user search intention matching,and precise online social network searching and mining based on users'search intentions.Finally,future research problems and possible challenges are discussed. Keywords:online social network;user searching intention;knowledge graph;deep semantic learning,precise searching 随着在线社交网络信息发布、传播以及分享的社交网络搜索吸引了国内外学者的普遍关注，如对 功能越来越完善，大量用户持续活跃，积累了文本、 社交网络个性化搜索技术的研究以及美国的实 图片和视频等海量数据，导致网络空间中的信息急 时搜索引擎Google和Scoopler等。通过抓取Twit 剧膨胀。然而这些庞大的数据中蕴藏着极为有价值 ter、Facebook等社交网络上用户随时随地发布的海 的潜在信息，传统的在线社交网络搜索技术难以满 量信息，可以给人们提供最新的搜索内容。大量社 足用户的深层次、个性化的精准需求。因此近年来 交网络数据产生的同时使得数据的形式和表达具有 多样性，简单的用户搜索匹配方法不再能够满足用 收稿日期：2017-06-22.网络出版日期：2017-11-09. 基金项目：国家自然科学基金重点项目(61532006)：国家自然科学 户的搜索需求，返回的结果也不能精确匹配用户的 基金国际合作项日(61320106006)：国家自然科学基金 青年科学基金项目(61502042). 初始意图。因此国内外众多学者深入开展了基于用 通信作者：杜军平.E-mail:junpingdu@126.com 户搜索意图理解的在线社交网络精准搜索与挖掘研
DOI: 10.11992/tis.201706075 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20171109.1255.024.html 基于用户意图理解的社交网络跨媒体搜索与挖掘 崔婉秋，杜军平，周南，梁美玉 （北京邮电大学 智能通信软件与多媒体北京市重点实验室，北京 100876） 摘 要：随着在线社交网络的盛行，网络用户不仅对信息资讯的获取速度和实时性提出了更高的要求，对个性化和精 确化的搜索需求日益增长。为了提升搜索引擎的质量以及其结果列表的准确性，需要深层次地挖掘用户搜索意图。 本文分析了用户搜索意图理解在线社交网络跨媒体进行精准搜索与挖掘的研究现状，包括知识图谱在线社交网络多 模态信息感知、面向用户搜索意图匹配的跨媒体大数据深度语义学习方面的应用，以及用户搜索意图理解的在线社 交网络精准搜索与挖掘的应用等。最后，对未来研究存在的问题和可能面临的挑战进行了展望。 关键词：在线社交网络；用户搜索意图；知识图谱；深度语义学习；精准搜索关键词 中图分类号：TP393 文献标志码：A 文章编号：1673−4785(2017)06−0761−09 中文引用格式：崔婉秋, 杜军平, 周南, 等. 基于用户意图理解的社交网络跨媒体搜索与挖掘[J]. 智能系统学报, 2017, 12(6): 761–769. 英文引用格式：CUI Wanqiu, DU Junping, ZHOU Nan, et al. Social network cross-media searching and mining based on user intention[J]. CAAI transactions on intelligent systems, 2017, 12(6): 761–769. Social network cross-media searching and mining based on user intention CUI Wanqiu，DU Junping，ZHOU Nan，LIANG Meiyu (Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia, Beijing University of Posts and Telecommunications, Beijing 100876, China) Abstract: With the popularity of online social networks, users not only have higher requirements for speed and real-time performance of information acquisition but also increased demand for personalized and accurate searching. To improve the quality of the search engine and accuracy of the result list, it is necessary to deeply mine the search intentions of the users. This paper summarizes the current situation in precise cross-media searching and mining based on user search intentions. We focus on multi-modal information perceptions based on an online social network knowledge graph, deep semantic learning and analysis of cross-media data for user search intention matching, and precise online social network searching and mining based on users’ search intentions. Finally, future research problems and possible challenges are discussed. Keywords: online social network; user searching intention; knowledge graph; deep semantic learning; precise searching 随着在线社交网络信息发布、传播以及分享的 功能越来越完善，大量用户持续活跃，积累了文本、 图片和视频等海量数据，导致网络空间中的信息急 剧膨胀。然而这些庞大的数据中蕴藏着极为有价值 的潜在信息，传统的在线社交网络搜索技术难以满 足用户的深层次、个性化的精准需求。因此近年来 社交网络搜索吸引了国内外学者的普遍关注，如对 社交网络个性化搜索技术的研究[1-2]以及美国的实 时搜索引擎 Google 和 Scoopler 等。通过抓取 Twitter、Facebook 等社交网络上用户随时随地发布的海 量信息，可以给人们提供最新的搜索内容。大量社 交网络数据产生的同时使得数据的形式和表达具有 多样性，简单的用户搜索匹配方法不再能够满足用 户的搜索需求，返回的结果也不能精确匹配用户的 初始意图。因此国内外众多学者深入开展了基于用 户搜索意图理解的在线社交网络精准搜索与挖掘研 收稿日期：2017−06−22. 网络出版日期：2017−11−09. 基金项目：国家自然科学基金重点项目 (61532006)；国家自然科学 基金国际合作项目 (61320106006)；国家自然科学基金 青年科学基金项目 (61502042). 通信作者：杜军平. E-mail：junpingdu@126.com. 第 12 卷第 6 期 智 能 系 统 学 报 Vol.12 No.6 2017 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2017
·762· 智能系统学报 第12卷 究山，，该研究具有重要的理论意义和广泛的应用 还有一些研究将社交网络的稀疏语义与其关联特征 价值。 相结合，在短文本语义提取方面进行了探索，针对 对用户搜索意图的理解是在用户多模态输人及 在线社交网络短文本语义特点，优化文本语义的理 消除语义歧义性的基础上，充分结合用户的上下文 解，挖掘用户隐藏的搜索意图。下面将分析基于用 语境和语义知识，迅速、准确地理解和定位用户的 户搜索意图的社交网络搜索中的两个技术，即信息 真实意图，并结合匹配、推理、计算以及众包等技 感知与知识图谱的构建。 术，给出真正满足用户需求的精准搜索结果。用户 1.1多模态信息感知 搜索意图的分析、提取与匹配是社交网络智能精准 在社交网络的大量数据中蕴含着丰富的社会事 搜索的研究重点，针对用户意图的搜索模式目前已 件发生和发展的过程，如何有效地从这些数据中挖 经取得了不少成果，但是现有的搜索意图理解多是 掘出有价值的信息是当前社交网络分析的重要问 经验式的，仅是分析性而非预测性的，仍缺少统一 题。基于社交网络跨媒体多模态事件的感知通过 的理论和算法对搜索意图的理解进行指导。因此， 分析社交中的文本、时间地点、图像、评论、观点、 在大数据时代，面对海量的跨媒体信息实现基于用 情感和用户交互等多模态数据，感知事件整体发展 户搜索意图理解的在线社交网络精准搜索与挖掘技 过程，并刻画出各事件彼此的关联，进而实现对信 术是必然的发展趋势。 息的全方位获取。 基于知识图谱的在线社交网络多模 信息感知是指假设被感知数据来自n个多模态 异构数据源，且对不同观测对象均从m个维度来描 态信息感知 述，则能获得一组多源异构多模态的感知数据。在 通过对在线社交网络用户信息的深入挖掘，有 线社交网络多模态数据信息感知的形成过程分为以 效地全面理解用户的搜索意愿，构建虚拟空间的知 下4步： 识图谱，为特定虚拟空间中网络用户搜索意图的发 1)信息获取。根据在线用户显性或隐性地提出 现提供数据支持5刀。针对在线社交网络数据简短、 获取感知信息的需求，由系统分析后自动给出可能 背景信息依赖明显等问题，目前的研究多是将数据 的请求结果。 的语义分布与背景信息相结合0，一方面用于解决 2)信息过滤。由于多模态信息的数据形式及种 社交网络数据语义稀疏的问题，另一方面用于 类多样，大量的反馈信息给用户带来一定的困扰， 社交网络语义分布与线下的用户行为、位置特征的 因此还需预先定义好过滤规则，建立过滤引擎。将 关联6。时空特征作为社交网络数据最主要的背 感知收集信息过滤后，存储并返回给相关用户。其 景信息之一是理解用户搜索意图的关键1。来自 中信息过滤机制可以是用户自定义的规则，便于个 在线社交网络的文本或图像数据中蕴含着丰富的时 性化地定义自己想要获取的信息，可以提高感知信 空信息，可以利用自然语言处理技术识别文本中隐 息的效率，或基于感知强度计算得出。 含的时空信息，利用图像场景分类方法判断图像场 3)信息的感知。由感知引擎提供获取方法和工 景类别，确定图像隐含的时空信息920。 具，进一步分析用户交互结构和社交网络特性、社 此外，考虑到社交网络数据具有明显的时空标 区形成的规模、用户所处位置等信息，获取用户社 签，直接利用时空标签信息获取更多的附加信息也 交中的身份、发布的资源和参与的社交活动。 是当前的研究热点。社交关系作为社交网络另一项 4)信息显示。最后将感知信息显示出来，呈现 主要的背景信息，同样是理解用户搜索意图的重 给社交网络中的用户或需求者。 点四。相关研究更多是将社交关系作为数据语义 在线社交网络环境中活跃的用户在交互时，能 的补充以此来实现社交网络数据语义的提取，完成 够从彼此显性沟通和隐性非直接的沟通中获取对方 社交用户群体发现、兴趣分布等工作，从用户信息 的需求感知信息。但实际应用中，用户可能发现的 中挖掘用户的搜索意图22。此类基于数据聚合的 知识和信息感知程度较低，会损失用户之间交流沟 方法在用户层面进行主题分类、社区发现或者朋友 通的机会。因此随着社交网络多模态信息大量涌 推荐等方面取得了较好的效果，然而仍然不能解决 现，对信息感知技术的要求更加紧迫，只有用户能 单一短文本的语义获取问题262。一些学者对社交 够更好地感知网络动态数据，才能够更深入全面地 网络对象的语义表达2930、社交关联模型的建立和 参与到社交活动中来，了解彼此的社交动态并挖掘 进化)、时空图像特征感知和去噪)、基于聚类集 出潜在的社交行为和关系，增大用户决策和沟通的 成的社交网络图像分割3别等工作开展了广泛研究。 效率
究 [1, 3-8] ，该研究具有重要的理论意义和广泛的应用 价值。 对用户搜索意图的理解是在用户多模态输入及 消除语义歧义性的基础上，充分结合用户的上下文 语境和语义知识，迅速、准确地理解和定位用户的 真实意图，并结合匹配、推理、计算以及众包等技 术，给出真正满足用户需求的精准搜索结果。用户 搜索意图的分析、提取与匹配是社交网络智能精准 搜索的研究重点，针对用户意图的搜索模式目前已 经取得了不少成果，但是现有的搜索意图理解多是 经验式的，仅是分析性而非预测性的，仍缺少统一 的理论和算法对搜索意图的理解进行指导。因此， 在大数据时代，面对海量的跨媒体信息实现基于用 户搜索意图理解的在线社交网络精准搜索与挖掘技 术是必然的发展趋势。 1 基于知识图谱的在线社交网络多模 态信息感知 通过对在线社交网络用户信息的深入挖掘，有 效地全面理解用户的搜索意愿，构建虚拟空间的知 识图谱，为特定虚拟空间中网络用户搜索意图的发 现提供数据支持[5-7]。针对在线社交网络数据简短、 背景信息依赖明显等问题，目前的研究多是将数据 的语义分布与背景信息相结合[8-10] ，一方面用于解决 社交网络数据语义稀疏的问题[11-13] ，另一方面用于 社交网络语义分布与线下的用户行为、位置特征的 关联[14-16]。时空特征作为社交网络数据最主要的背 景信息之一是理解用户搜索意图的关键[17-18]。来自 在线社交网络的文本或图像数据中蕴含着丰富的时 空信息，可以利用自然语言处理技术识别文本中隐 含的时空信息，利用图像场景分类方法判断图像场 景类别，确定图像隐含的时空信息[19-20]。 此外，考虑到社交网络数据具有明显的时空标 签，直接利用时空标签信息获取更多的附加信息也 是当前的研究热点。社交关系作为社交网络另一项 主要的背景信息，同样是理解用户搜索意图的重 点 [21-22]。相关研究更多是将社交关系作为数据语义 的补充以此来实现社交网络数据语义的提取，完成 社交用户群体发现、兴趣分布等工作，从用户信息 中挖掘用户的搜索意图[23-25]。此类基于数据聚合的 方法在用户层面进行主题分类、社区发现或者朋友 推荐等方面取得了较好的效果，然而仍然不能解决 单一短文本的语义获取问题[26-28]。一些学者对社交 网络对象的语义表达[29-30] 、社交关联模型的建立和 进化[31] 、时空图像特征感知和去噪[32] 、基于聚类集 成的社交网络图像分割[33]等工作开展了广泛研究。 还有一些研究将社交网络的稀疏语义与其关联特征 相结合，在短文本语义提取方面进行了探索，针对 在线社交网络短文本语义特点，优化文本语义的理 解，挖掘用户隐藏的搜索意图。下面将分析基于用 户搜索意图的社交网络搜索中的两个技术，即信息 感知与知识图谱的构建。 1.1 多模态信息感知 在社交网络的大量数据中蕴含着丰富的社会事 件发生和发展的过程，如何有效地从这些数据中挖 掘出有价值的信息是当前社交网络分析的重要问 题 [34]。基于社交网络跨媒体多模态事件的感知通过 分析社交中的文本、时间地点、图像、评论、观点、 情感和用户交互等多模态数据，感知事件整体发展 过程，并刻画出各事件彼此的关联，进而实现对信 息的全方位获取。 信息感知是指假设被感知数据来自 n 个多模态 异构数据源，且对不同观测对象均从 m 个维度来描 述，则能获得一组多源异构多模态的感知数据。在 线社交网络多模态数据信息感知的形成过程分为以 下 4 步： 1）信息获取。根据在线用户显性或隐性地提出 获取感知信息的需求，由系统分析后自动给出可能 的请求结果。 2）信息过滤。由于多模态信息的数据形式及种 类多样，大量的反馈信息给用户带来一定的困扰， 因此还需预先定义好过滤规则，建立过滤引擎。将 感知收集信息过滤后，存储并返回给相关用户。其 中信息过滤机制可以是用户自定义的规则，便于个 性化地定义自己想要获取的信息，可以提高感知信 息的效率，或基于感知强度计算得出。 3）信息的感知。由感知引擎提供获取方法和工 具，进一步分析用户交互结构和社交网络特性、社 区形成的规模、用户所处位置等信息，获取用户社 交中的身份、发布的资源和参与的社交活动。 4）信息显示。最后将感知信息显示出来，呈现 给社交网络中的用户或需求者。 在线社交网络环境中活跃的用户在交互时，能 够从彼此显性沟通和隐性非直接的沟通中获取对方 的需求感知信息。但实际应用中，用户可能发现的 知识和信息感知程度较低，会损失用户之间交流沟 通的机会。因此随着社交网络多模态信息大量涌 现，对信息感知技术的要求更加紧迫，只有用户能 够更好地感知网络动态数据，才能够更深入全面地 参与到社交活动中来，了解彼此的社交动态并挖掘 出潜在的社交行为和关系，增大用户决策和沟通的 效率。 ·762· 智 能 系 统 学 报 第 12 卷
第6期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·763· 1.2知识图谱的构建 含其中的时空、结构关系、社交关系等背景特征知 知识图谱s-36是Google提出的用于把复杂知 识，建立多模态信息的知识图谱。其数据大部分来 识领域的信息通过数据挖掘和信息处理，展示该知 源于专业知识领域的网站，将文本或图像、视频中 识领域的动态发展规律。其构建目的是便于社交网 的共现知识信息为实体建立联系，并利用该关系帮 络的搜索理解，能够按照用户的搜索内容自动辨别 助搜索内容特征的提取，调整权重，最后使用文本 其涉及的最相关实体及其属性等，根据实体的重要 或图像分类算法对搜索分类，深度挖掘用户搜索意 性揭示相对应的知识卡片，最后改善查询结果。利 图。将获取的感知数据与其隐含、关联的背景特征 用相关实体发掘来推荐其他用户可能感兴趣的实体 相结合是分析社交网络信息的基础，是理解用户搜 供进一步查阅。知识图谱可以在以下3个方面提升 索意图以及构建社交网络精准搜索研究的关键科学 搜索体验： 问题。 1)理解用户查询的初始意图。搜索请求具有灵 2跨媒体大数据的深度语义学习与分 活性，可能表示多重含义。知识图谱将信息全面发 掘并显现出来，将搜索结果范围缩小到最接近用 析 户意图的含义，可以让用户自主确定最终满意的 在线社交网络产生的数据大部分是异构、离散 结果。 且没有结构的，隐含了丰富的多属性、多模态语义 2)提供最全面的搜索信息。更好地全面理解用 信息。多模态数据之间存在着千丝万缕的语义关 户搜索信息，挖掘所有与搜索话题相关的内容，帮 联，结合获得的时空等信息，对社交网络用户进行 助用户了解各事物及信息之间的关系。 搜索意图分析与行为意图理解，可以从不同角度来 3)拓宽了用户搜索的深度及广度。构建与用户 掌握用户在社交平台上的各种网络行为特征。因此 搜索结果相关的完整知识体系，使用户获取搜索需 需要结合多属性、多形式的特征对社交网络在语义 求之外的知识发现。在搜索过程中，用户有可能同 层面上对大量数据进行深度学习，从多角度挖掘出 时认识到搜索需求以外的某个新事实或新联系，引 用户在社交网络活动中的意图模式和意图特征。通 导用户开始一些全新的搜索查询。 过对多属性、多模态社交网络大数据的深度语义学 基于知识图谱的用户搜索初始意图发现方法利 习与分析建模，可以实现异常用户意图特征的实时 用知识库中含有的词间联系，对用户搜索中的请求 获取以及凸显用户意图的实时表达，这对提升社会 文本调整权重，从而提高分类准确率，提高搜索意 热点话题的感知能力以及社交网络异常意图用户的 图挖掘效果。其构建技术是自底向上并迭代进行更 发现能力具有促进作用。 新的过程，每次更新包括3个步骤：信息的抽取、知 2.1大数据语义分析 识融合和加工。其中抽取是指从多模态的数据源中 大数据语义分析为基于社交网络大数据的用户 抽取出实体、属性及实体间的关联关系，以便形成 意图理解与分析提供了关键的支持。随着异构数据 本体知识的表达；知识融合是对抽取的数据进行实 的快速产生，其以不同媒体的形式存在，如何从异 体链接及知识合并，消除实体之间的歧义性、共指 构数据中辨别出相应所需的概念成为了当前的研究 消解的分类和聚类等操作，然后对获取的知识进行 热点。 合并，主要是对外部的知识库和内部关系数据库的 1)文本分析技术 合并。最后进行知识加工，构建对概念统一模式规 可以根据知识源或模型粒度的不同进行分类， 范的本体，描述客观世界中的抽象概念模型，然后 如表1所示。 进行知识推理和质量评估，完成最终的知识图谱的 2)多模态分析技术 构建。 对于社交网络中不断涌现的多模态数据形式， 在线社交网络产生的信息在网络上的呈现并不 单纯的分析文本已经不能够满足对社交网络数据的 仅仅局限于单一的文本模式，而是集签到、图像、视 分析和挖掘，因此有大量研究针对于文本及图像、视 频等各种模态数据的信息综合体，同时伴随产生了 频等数据综合进行语义分析。如M.L.Blei等o在 时间、空间、结构、社会关系等一系列隐含信息。多 分析文本和图像的基础上，分别采用了3种不同的 模态信息所蕴含的语义是单纯文本所无法比拟的， 生成模型：文本和图像主题为同一主题的主题强相 其极大地丰富了知识空间，为理解用户意图提供了 关模型、文本和图像主题分别从同一主题分布中采 充足的数据支持。因此，需要基于高效的数据感知 样得到的弱相关模型，以及假设文本以图像标注形 技术获取特定虚拟空间内跨媒体大数据，并提取隐 式存在的，文本主题从图像主题中均匀采样得到的
1.2 知识图谱的构建 知识图谱[35-36]是 Google 提出的用于把复杂知 识领域的信息通过数据挖掘和信息处理，展示该知 识领域的动态发展规律。其构建目的是便于社交网 络的搜索理解，能够按照用户的搜索内容自动辨别 其涉及的最相关实体及其属性等，根据实体的重要 性揭示相对应的知识卡片，最后改善查询结果。利 用相关实体发掘来推荐其他用户可能感兴趣的实体 供进一步查阅。知识图谱可以在以下 3 个方面提升 搜索体验： 1）理解用户查询的初始意图。搜索请求具有灵 活性，可能表示多重含义。知识图谱将信息全面发 掘并显现出来，将搜索结果范围缩小到最接近用 户意图的含义，可以让用户自主确定最终满意的 结果。 2）提供最全面的搜索信息。更好地全面理解用 户搜索信息，挖掘所有与搜索话题相关的内容，帮 助用户了解各事物及信息之间的关系。 3）拓宽了用户搜索的深度及广度。构建与用户 搜索结果相关的完整知识体系，使用户获取搜索需 求之外的知识发现。在搜索过程中，用户有可能同 时认识到搜索需求以外的某个新事实或新联系，引 导用户开始一些全新的搜索查询。 基于知识图谱的用户搜索初始意图发现方法利 用知识库中含有的词间联系，对用户搜索中的请求 文本调整权重，从而提高分类准确率，提高搜索意 图挖掘效果。其构建技术是自底向上并迭代进行更 新的过程，每次更新包括 3 个步骤：信息的抽取、知 识融合和加工。其中抽取是指从多模态的数据源中 抽取出实体、属性及实体间的关联关系，以便形成 本体知识的表达；知识融合是对抽取的数据进行实 体链接及知识合并，消除实体之间的歧义性、共指 消解的分类和聚类等操作，然后对获取的知识进行 合并，主要是对外部的知识库和内部关系数据库的 合并。最后进行知识加工，构建对概念统一模式规 范的本体，描述客观世界中的抽象概念模型，然后 进行知识推理和质量评估，完成最终的知识图谱的 构建。 在线社交网络产生的信息在网络上的呈现并不 仅仅局限于单一的文本模式，而是集签到、图像、视 频等各种模态数据的信息综合体，同时伴随产生了 时间、空间、结构、社会关系等一系列隐含信息。多 模态信息所蕴含的语义是单纯文本所无法比拟的， 其极大地丰富了知识空间，为理解用户意图提供了 充足的数据支持。因此，需要基于高效的数据感知 技术获取特定虚拟空间内跨媒体大数据，并提取隐 含其中的时空、结构关系、社交关系等背景特征知 识，建立多模态信息的知识图谱。其数据大部分来 源于专业知识领域的网站，将文本或图像、视频中 的共现知识信息为实体建立联系，并利用该关系帮 助搜索内容特征的提取，调整权重，最后使用文本 或图像分类算法对搜索分类，深度挖掘用户搜索意 图。将获取的感知数据与其隐含、关联的背景特征 相结合是分析社交网络信息的基础，是理解用户搜 索意图以及构建社交网络精准搜索研究的关键科学 问题。 2 跨媒体大数据的深度语义学习与分 析 在线社交网络产生的数据大部分是异构、离散 且没有结构的，隐含了丰富的多属性、多模态语义 信息。多模态数据之间存在着千丝万缕的语义关 联，结合获得的时空等信息，对社交网络用户进行 搜索意图分析与行为意图理解，可以从不同角度来 掌握用户在社交平台上的各种网络行为特征。因此 需要结合多属性、多形式的特征对社交网络在语义 层面上对大量数据进行深度学习，从多角度挖掘出 用户在社交网络活动中的意图模式和意图特征。通 过对多属性、多模态社交网络大数据的深度语义学 习与分析建模，可以实现异常用户意图特征的实时 获取以及凸显用户意图的实时表达，这对提升社会 热点话题的感知能力以及社交网络异常意图用户的 发现能力具有促进作用。 2.1 大数据语义分析 大数据语义分析为基于社交网络大数据的用户 意图理解与分析提供了关键的支持。随着异构数据 的快速产生，其以不同媒体的形式存在，如何从异 构数据中辨别出相应所需的概念成为了当前的研究 热点。 1）文本分析技术 可以根据知识源或模型粒度的不同进行分类， 如表 1 所示。 2）多模态分析技术 对于社交网络中不断涌现的多模态数据形式， 单纯的分析文本已经不能够满足对社交网络数据的 分析和挖掘，因此有大量研究针对于文本及图像、视 频等数据综合进行语义分析。如 M. I. Blei 等 [40]在 分析文本和图像的基础上，分别采用了 3 种不同的 生成模型：文本和图像主题为同一主题的主题强相 关模型、文本和图像主题分别从同一主题分布中采 样得到的弱相关模型，以及假设文本以图像标注形 式存在的，文本主题从图像主题中均匀采样得到的 第 6 期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·763·
·764· 智能系统学报 第12卷 文本图像主题生成模型。使用Cor-LDA模型建模， Bian在研究跨媒体数据的基础上提出了MM- 将文本与图像映射到同一主题语义空间中，在图像 LDA模型，将多模态的数据映射在主题空间中，用 标注及跨模态检索上都取得了很好的效果。Jingwen 以发现社交网络中事件的子事件，形成事件摘要。 表1文本分析技术分类 Table 1 Classification of text analysis techniques 分类依据 类别名称 特征描述 隐性语义分析模型 无知识源参考，典型技术有潜在语义分析LSA、神经网络语言模型等 半显性语义分析模型 指理解文本时采用构建主题模型的方式，以PLSA、LDA为代表 知识源 依靠人工构建的知识库或词典(Probase网等)对文本进行语义、语法及词汇 显性语义分析模型 等方面的深入分析，如LexSAl9等 原始文本粒度构建的分析模型，将文本的向量表示作为最后的模型输出，如 文本 模型粒度 LDA和LSA 词 以词向量作为表示、分析和输出的模型 上述以LDA为基础的生成模型中，都是严格 最终输出了下一个词的概率。此外为图像特征与语 以文本图像为研究对象，假设其具有同样的主题分 义词建立共享空间已应用在跨模态搜索中，对于 布，或者一种模态的主题分布依赖于另一种模型的 用户意图理解得到了很好的效果。以学习哈希函数 主题分布。然而现实生活中对同一事件或者物体的 为基础保留多标记图像之间多层次语义相似性的深 描述不仅在媒介上为异质异构数据，通常情况下在 度语义排序方法s以及将深度卷积神经网络结合 内容、数量、层次粒度上也并不是一一对应的。王 哈希函数来共同学习特征表示和映射，已应用于对 智愚等提出了一种社会多媒体的双向语义关联模 社交网络用户意图搜索的语义理解中。用区域生成 型，对文本、图像主题多种情况下的依赖关系建模： 方法s对图像生成候选区域，结合训练好的CNN Wang等4提出了一种多模态共同话题推理模型， 模型在这些区域上提取语义特征，最后利用线性 为多模态建立共享语义空间的同时加入了额外的类 SVM进行分类，能够得到更好的搜索结果。 别信息，在跨模态检索任务中取得了很好的效果； Kang等使用矩阵分解方法，通过学习特征的一致 3在线社交网络精准搜索与挖掘 性表示，为非成对数据的跨模态检索提供了可能。 社交网络搜索与传统网络的搜索应用形式相 2.2深度学习语义分析 比，信息的传播速度更快、传播方式更加隐蔽，覆盖 对用户搜索意图的图像理解常用方法是深度神 人群更广、用户的交互也更加频繁。因此基于用户 经网络，常用的两种深度神经网络结构有AlexNet 搜索意图理解的智能精准搜索不再局限于针对跨媒 和VGG-Net6。深度学习得到的特征相比手工提 体内容的搜索，而是涵盖了网络产生的信息以及与 取的特征在社交网络用户的搜索意图理解中能够取 其相关的所有外部信息的全面搜索，包括社交关系 得更好的效果。深度神经网络语义分析模型具有自 搜索、社交行为搜索以及线上线下关联信息搜索 动提取特征的优点，可以找出有效的特征进行分 等，需要有效地挖掘出社交网络中各种跨媒体的时 类，所以也称为表示学习。社交网络带来的大数据 空信息，分析隐含的特有属性，并结合知识库体系、 给神经网络学习提供了大量的训练样本，而GPU的 语义推理演算等，才能弥补传统搜索在信息关联等 使用给运行速度提供了保障。面向用户意图的搜索 方面的缺陷，实现对在线社交网络跨媒体大数据的 理解中对图像特征的提取主流的方法是采用卷积神 组织和管理，并对在线社交网络的精准搜索提供底 经网络提取CNN特征79，图像与文本的语义学习 层索引支持和基于本体知识库的搜索拓展。 可以在不同的深度语义层面上对图像CNN特征和 3.1用户搜索意图理解与匹配 文本特征进行映射学习0s。 目前的搜索引擎对于用户查询仅仅从关键词角 深度学习已经广泛用于文本、图像、视频和语 度出发进行相似度匹配，而不是从用户搜索意图出 音各方面的深度语义分析，基于神经网络的语言模 发搜寻相关信息，使得返回结果和搜索意图有较大 型最早是由Bengio提出的，主要解决了泛化问题， 出人。在该方面的研究中，Wolframalpha从公众和 通过嵌入和3层网络把词映射到空间中的一个点， 已授权资源中发掘并构建的数据库，能够理解用户
文本图像主题生成模型。使用 Corr-LDA 模型建模， 将文本与图像映射到同一主题语义空间中，在图像 标注及跨模态检索上都取得了很好的效果。Jingwen Bian[ 4 1 ]在研究跨媒体数据的基础上提出了 MMLDA 模型，将多模态的数据映射在主题空间中，用 以发现社交网络中事件的子事件，形成事件摘要。 上述以 LDA 为基础的生成模型中，都是严格 以文本图像为研究对象，假设其具有同样的主题分 布，或者一种模态的主题分布依赖于另一种模型的 主题分布。然而现实生活中对同一事件或者物体的 描述不仅在媒介上为异质异构数据，通常情况下在 内容、数量、层次粒度上也并不是一一对应的。王 智愚等[42]提出了一种社会多媒体的双向语义关联模 型，对文本、图像主题多种情况下的依赖关系建模； Wang 等 [43]提出了一种多模态共同话题推理模型， 为多模态建立共享语义空间的同时加入了额外的类 别信息，在跨模态检索任务中取得了很好的效果； Kang 等 [44]使用矩阵分解方法，通过学习特征的一致 性表示，为非成对数据的跨模态检索提供了可能。 2.2 深度学习语义分析 对用户搜索意图的图像理解常用方法是深度神 经网络，常用的两种深度神经网络结构有 AlexNet[45] 和 VGG-Net[46]。深度学习得到的特征相比手工提 取的特征在社交网络用户的搜索意图理解中能够取 得更好的效果。深度神经网络语义分析模型具有自 动提取特征的优点，可以找出有效的特征进行分 类，所以也称为表示学习。社交网络带来的大数据 给神经网络学习提供了大量的训练样本，而 GPU 的 使用给运行速度提供了保障。面向用户意图的搜索 理解中对图像特征的提取主流的方法是采用卷积神 经网络提取 CNN 特征[47-49] ，图像与文本的语义学习 可以在不同的深度语义层面上对图像 CNN 特征和 文本特征进行映射学习[50-51]。 深度学习已经广泛用于文本、图像、视频和语 音各方面的深度语义分析，基于神经网络的语言模 型最早是由 Bengio 提出的，主要解决了泛化问题， 通过嵌入和 3 层网络把词映射到空间中的一个点， 最终输出了下一个词的概率。此外为图像特征与语 义词建立共享空间已应用在跨模态搜索中[52] ，对于 用户意图理解得到了很好的效果。以学习哈希函数 为基础保留多标记图像之间多层次语义相似性的深 度语义排序方法[53-54]以及将深度卷积神经网络结合 哈希函数来共同学习特征表示和映射，已应用于对 社交网络用户意图搜索的语义理解中。用区域生成 方法[55]对图像生成候选区域，结合训练好的 CNN 模型在这些区域上提取语义特征，最后利用线性 SVM 进行分类，能够得到更好的搜索结果。 3 在线社交网络精准搜索与挖掘 社交网络搜索与传统网络的搜索应用形式相 比，信息的传播速度更快、传播方式更加隐蔽，覆盖 人群更广、用户的交互也更加频繁。因此基于用户 搜索意图理解的智能精准搜索不再局限于针对跨媒 体内容的搜索，而是涵盖了网络产生的信息以及与 其相关的所有外部信息的全面搜索，包括社交关系 搜索、社交行为搜索以及线上线下关联信息搜索 等，需要有效地挖掘出社交网络中各种跨媒体的时 空信息，分析隐含的特有属性，并结合知识库体系、 语义推理演算等，才能弥补传统搜索在信息关联等 方面的缺陷，实现对在线社交网络跨媒体大数据的 组织和管理，并对在线社交网络的精准搜索提供底 层索引支持和基于本体知识库的搜索拓展。 3.1 用户搜索意图理解与匹配 目前的搜索引擎对于用户查询仅仅从关键词角 度出发进行相似度匹配，而不是从用户搜索意图出 发搜寻相关信息，使得返回结果和搜索意图有较大 出入。在该方面的研究中，Wolframalpha 从公众和 已授权资源中发掘并构建的数据库，能够理解用户 表 1 文本分析技术分类 Table 1 Classification of text analysis techniques 分类依据 类别名称 特征描述 知识源 隐性语义分析模型 无知识源参考，典型技术有潜在语义分析LSA、神经网络语言模型[37]等 半显性语义分析模型 指理解文本时采用构建主题模型的方式，以PLSA、LDA为代表 显性语义分析模型 依靠人工构建的知识库或词典(Probase[38]等)对文本进行语义、语法及词汇 等方面的深入分析，如LexSA[39]等 模型粒度 文本 原始文本粒度构建的分析模型，将文本的向量表示作为最后的模型输出，如 LDA和LSA 词 以词向量作为表示、分析和输出的模型 ·764· 智 能 系 统 学 报 第 12 卷
第6期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·765· 查询需求并迅速给出结果。搜狗的“知立方”引人了 在线两种处理阶段，其整体基于用户意图理解的搜 用户查询语义的理解技术，试图分析用户的查询目 索框架如图1所示。其中离线阶段是指在没有接收 标，对搜索结果进行重新优化计算。Pak等m提 用户搜索请求时系统自动进行的操作，主要对用户 出了利用搜索上下文来预测用户的搜索意图： 在社交网络中的各种行为特征、发布信息的文本特 Gupta等s提出了使用用户查询日志的方法，对日 征或活动的时空信息及社会互动关系特征等个性化 志分析并预测出用户的搜索目标；王大玲等提出 信息进行分析和建模，挖掘出长期的兴趣偏好，为 了利用决策树的方法识别用户搜索意图。在意图匹 在线意图分析和抽取提供历史数据。利用TF 配方面，基于文本模型的匹配通过以关键词查询检 DF等算法进行主题分类抽取，并对热点进行分类 索的方式，把意图语义进行转换并与目标文档匹 及矢量描述分析，然后提取主题用户特征和主题热 配，获得相关度排名。在图模型的意图匹配中，通 点特征。当用户提出搜索请求时，首先对用户情景 过图查询来实现用户搜索意图与搜索空间目标项之 进行抽取，并对查询意图的信息和情感进行初步分 间的查找和匹配，包括关键词图搜索、子图匹配和 析，综合进行意图分析和提取操作，最后将主题节 近似图匹配技术等6@。 点的用户及热点特征与在线分析出的搜索意图、改 目前基于意图理解的智能搜索机制分为离线和 进的关键字综合进行匹配与搜索。 用户情景抽取 用户查询初步分析 ·用户最近的 ·意图信息词语 在 操作 ·意图情感词语 段 期兴趣 由文本解析的意图 意图分析和提取 匹配与搜索 ·对查询数据进行多 查询 ·根据意图缩小主题范围 改进后的关 关键词扩充和改写 维度的分析（进度 意图 ·根据关键词的扩充和改 键词矢量 ·相关性分析 内容、情感意图) 写在特定主题范围内进 ·局部聚类 意图维度与主题类 行匹配 期兴趣 查询用户特征 主题节点的用 主题节点的 用户个性化分析 户特征构成 热点构成 ·用户特征、时空 热点分析提取 行为、社会关系等 主题-用月 主题分类抽取 主题-热点关 多维度建模 ·对热点进行主 ·每个维度用定量方 关联分析 ·TF-DF 联分析 题分类 ·层次聚类法 ·每个热点以词 段 法描述 用户维度定 语矢量描述 量描述 主题及词语矢量 主题及词语矢量 热点、热度 及词语矢量 图1基于用户意图的搜索框架 Fig.1 The searching framework based on user intentions 3.2在线社交网络精准搜索的应用 手，对查询算法进行重构，与传统的基于关键字的 随着社交网络的日益普及，在线社交网络成为 搜索算法相比返回结果的相关度更高；Bennett等例 了现实社会中人和事进行评论和发表观点的一个集 提出探索式搜索概念，帮助搜索用户进行信息获 中平台，是社会生活的真实写照。Facebook开发了 取：Teevan等6从人口统计学、兴趣和职业等特征 备受欢迎的社交图谱搜索技术，Twitter提供了基于 分析入手，辨别不同的用户群体，提供基于相似请 社交网络的搜索，新浪微博也提供了自己的在线搜 求用户的查询结果。 索系统，这些搜索系统的出现给用户带来了很多便 在社交网络事件监测研究方面，Prerna等6从 利。现在已有大量学者对在线社交网络的搜索技术 技术层面对Twitter的舆情及其演化趋势进行了研 进行研究。贾焰等从社交网络中的知识挖掘与推 究：Jasmina等6提出了基于Twitter的事件搜索与 演、用户初始查询意图的理解与表示、符合用户意 监测方法，并将其应用于保加利亚选举事件中。随 图的智能结果在线响应等3个问题为目标，讨论了 着事件监测研究的不断进展，基于多模态的社交网 社交网络智慧搜索相关技术的发展；郑炜等6提出 络事件监测方法成为研究热点。Manos等6提出了 了基于用户搜索意图的智能搜索引擎系统框架，该 一种基于时间窗的多模态方法，对海量图片进行事 框架从社交网络内容的存储、索引以及排名方面着 件监测：Gao等6利用超图分割的思想引入文本内
查询需求并迅速给出结果。搜狗的“知立方”引入了 用户查询语义的理解技术，试图分析用户的查询目 标，对搜索结果进行重新优化计算[56]。Park 等 [57]提 出了利用搜索上下文来预测用户的搜索意图； Gupta 等 [58]提出了使用用户查询日志的方法，对日 志分析并预测出用户的搜索目标；王大玲等[59]提出 了利用决策树的方法识别用户搜索意图。在意图匹 配方面，基于文本模型的匹配通过以关键词查询检 索的方式，把意图语义进行转换并与目标文档匹 配，获得相关度排名。在图模型的意图匹配中，通 过图查询来实现用户搜索意图与搜索空间目标项之 间的查找和匹配，包括关键词图搜索、子图匹配和 近似图匹配技术等[60]。 目前基于意图理解的智能搜索机制分为离线和 在线两种处理阶段，其整体基于用户意图理解的搜 索框架如图 1 所示。其中离线阶段是指在没有接收 用户搜索请求时系统自动进行的操作，主要对用户 在社交网络中的各种行为特征、发布信息的文本特 征或活动的时空信息及社会互动关系特征等个性化 信息进行分析和建模，挖掘出长期的兴趣偏好，为 在线意图分析和抽取提供历史数据。利用 TFIDF 等算法进行主题分类抽取，并对热点进行分类 及矢量描述分析，然后提取主题用户特征和主题热 点特征。当用户提出搜索请求时，首先对用户情景 进行抽取，并对查询意图的信息和情感进行初步分 析，综合进行意图分析和提取操作，最后将主题节 点的用户及热点特征与在线分析出的搜索意图、改 进的关键字综合进行匹配与搜索。 3.2 在线社交网络精准搜索的应用 随着社交网络的日益普及，在线社交网络成为 了现实社会中人和事进行评论和发表观点的一个集 中平台，是社会生活的真实写照。Facebook 开发了 备受欢迎的社交图谱搜索技术，Twitter 提供了基于 社交网络的搜索，新浪微博也提供了自己的在线搜 索系统，这些搜索系统的出现给用户带来了很多便 利。现在已有大量学者对在线社交网络的搜索技术 进行研究。贾焰等[56]从社交网络中的知识挖掘与推 演、用户初始查询意图的理解与表示、符合用户意 图的智能结果在线响应等 3 个问题为目标，讨论了 社交网络智慧搜索相关技术的发展；郑炜等[61]提出 了基于用户搜索意图的智能搜索引擎系统框架，该 框架从社交网络内容的存储、索引以及排名方面着 手，对查询算法进行重构，与传统的基于关键字的 搜索算法相比返回结果的相关度更高；Bennett 等 [62] 提出探索式搜索概念，帮助搜索用户进行信息获 取；Teevan 等 [63]从人口统计学、兴趣和职业等特征 分析入手，辨别不同的用户群体，提供基于相似请 求用户的查询结果。 在社交网络事件监测研究方面，Prerna 等 [64]从 技术层面对 Twitter 的舆情及其演化趋势进行了研 究；Jasmina 等 [65]提出了基于 Twitter 的事件搜索与 监测方法，并将其应用于保加利亚选举事件中。随 着事件监测研究的不断进展，基于多模态的社交网 络事件监测方法成为研究热点。Manos 等 [66]提出了 一种基于时间窗的多模态方法，对海量图片进行事 件监测；Gao 等 [67]利用超图分割的思想引入文本内 ⩔ᝣ͖ᕓࡂܲ ͧ䷄ܲㆧ៩ं • TF−IDF • ᅮ⁍㖆ㆧ∁ ☙◥ܲं • ᄥ☙◥䔇㵸ͧ ䷄ܲㆧ • ͖☙◥Б䃹 䄙ⴎ䛻䔜 ͧ䷄−⩔ᝣ ܲ㖀ڟ ڟ◥☙−䷄u 㖀ܲ ⩔ᝣ㐠Ꮢ 䛻䔜 ͧ䷄ࣶ䃹䄙ⴎ䛻 ͧ䷄ࣶ䃹䄙ⴎ䛻 ☙◥ȟ☙Ꮢ 䃹䄙ⴎ䛻ࣶ ᴑ䄎⩔ᝣ➥ᒭ ͧ䷄㞮◥⮰⩔ ᝣ➥ᒭᲰ ͧ䷄㞮◥⮰ ☙◥Ჰ ࡥ䙹̺᥈㉎ • ᵥᢚᘻప㑕ᄻͧ䷄㠯ఠ • ᵥᢚڟ䩚䃹⮰ផٱসᩥ 䔇ڱ㠯ఠ➥ͧ䷄ۅ 㵸ࡥ䙹 ۅᩥসٱ䩚䃹ផڟ • Ⱔڟᕓܲ • ᅬ䘔㖆ㆧ ڟ⮰ऺ䔇ᩥ 䩚䃹ⴎ䛻 ᘻపܲসं • ᄥᴑ䄎ᢚ䔇㵸ๆ 㐠Ꮢ⮰ܲ(䔇Ꮢȟ (ქȟᗱᙋᘻపڱ • ᘻప㐠Ꮢ̺ͧ䷄ㆧ ᴑ䄎 ᘻప ⩔ᝣᗱᮛ៩ं • ⩔ᝣᰬ䓽⮰ ᧹҈ ⩔ᝣᴑ䄎݉ₑܲ • ᘻపԍᖛ䃹䄙 • ᘻపᗱᙋ䃹䄙 ⩝᪳᱘㼏⮰ᘻప • ⩔ᝣ➥ᒭȟᬢ⾦ȟ 㵸ͦȟцڟ㈧ふ ๆ㐠ᏒᐦὍ • ͖㐠Ꮢ⩔䛻 ∁䔜 ㏫ 䭢 ⃡ 䓽 ڠ 䋏 䪫 ڠ 䋏 ⻧ ㏫ 䭢 ⃡ 图 1 基于用户意图的搜索框架 Fig. 1 The searching framework based on user intentions 第 6 期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·765·