智能系统：社会媒体多模态、多层次资源推荐技术研究

第9卷第3期 智能系统学报 Vol.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201403068 网络出版地址：http://www.enki..net/kcms/doi/10.3969/j.issn.16734785.201403068.html 社会媒体多模态、多层次资源推荐技术研究 王大玲12，冯时12，张一飞12，于戈12 (东北大学信息科学与工程学院，辽宁沈阳110819；2.东北大学医学影像计算教育部重点实验室，辽宁沈阳110819) 摘要：社会媒体中多模态和多层次的信息资源和基于各种关系构建的用户社群为推荐系统提供了更广阔的分析 和选择空间，同时也带来了更多的问题与挑战。分析了当前社会媒体中用户与资源的关系以及社会媒体资源推荐 的特点，分别从社会媒体资源推荐策略和相关支撑技术两方面综述了相关工作，将其概括为“社会媒体中用户角色 的变化构成了更加复杂的用户关系”、“社会媒体资源表示形式呈现多模态特点”以及“社会媒体资源推荐应该满足 多层次的用户需求”，并从多模态、多层次资源推荐方面提出进一步的研究方向。 关键词：社会媒体：推荐：多模态信息；多层次资源：用户社群 中图分类号：TP301文献标志码：A文章编号：1673-4785(2014)03-0265-11 中文引用格式：王大玲，冯时，张一飞，等社会媒体多模态、多层次资源推荐技术研究[J].智能系统学报，2014,9(3)：265275. 英文引用格式：WANG Daling,FENG Shi,,ZHANG Yifei,etal.Study on the recommendations of multi--modal and multi--level re. sources in social media[J].CAAI Transactions on Intelligent Systems,2014,9(3):265-275. Study on the recommendations of multi-modal and multi-level resources in social media WANG Daling'2,FENG Shi'2,ZHANG Yifei2,YU Ge'2 (1.School of Information Science and Engineering,Northeastern University,Shenyang 110819,China;2.Key Laboratory of Medical Image Computing (Northeastern University),Ministry of Education,Shenyang 110819,China) Abstract:The multi-modal and multi-level information resources and user communities based on various relation- ships in social media provide a broader space for recommenders to analyze and select the resources,but at the same time more problems and challenges develop.In this paper,the relationships between users and resources,and the characteristics of resource recommendations in current social media are analyzed.Related work is surveyed from so- cial media resource recommendations as well as its corresponding support techniques,which can be summarized as follows:more complex relationships among users formed by changes of user roles,multi-modal social media re- source expressions,and social media resource recommendations that satisfy the requirements of multi-level users. Finally,further research directions in multi-modal and multi-level resource recommendations are proposed. Keywords:social media;recommendation;multi-modal information;multi-level resource;user community “推荐”是系统为用户提供的一种主动的信息的诞生和迅速发展。与传统的媒体相比，社会媒体 推送方式，它不同于搜索那样具有直接而明确的用 中用户角色的变化、用户关系的形成、特别是信息资 户需求，因此涉及用户兴趣分析与推断、推荐信息资 源形式的丰富，均对推荐系统提出了新的要求。基 源选择2个主要部分。在用户兴趣推断方面，传统 于社会媒体的推荐中，无论用户兴趣的推断、还是推 的推荐技术分为“基于内容的推荐”、“基于协同过 荐信息资源的选择，均被赋予了新的内容。本文将 滤的推荐"及其混合技术山。近年来，Wb2.0技术 首先分析社会媒体中的用户与资源的关系，以及由 的发展促进了社会媒体(social media)这一新技术 此引出的社会媒体资源推荐的特点，综述当前该领 域研究的相关工作并进行讨论。在此基础上，从多 收稿日期：2014-03-25.网络出版日期：2014-06-14. 基金项目：国家自然科学基金资助项目(61370074,61100026). 模态、多层次资源推荐方面提出进一步的研究方向。 通信作者：王大玲.E-mail:wangdaling(@ise.neu.edu.cm

第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０３０６８ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３４７８５．２０１４０３０６８．ｈｔｍｌ 社会媒体多模态、多层次资源推荐技术研究 王大玲１，２ ，冯时１，２ ，张一飞１，２ ，于戈１，２ （东北大学 信息科学与工程学院，辽宁 沈阳 １１０８１９； ２． 东北大学 医学影像计算教育部重点实验室， 辽宁 沈阳 １１０８１９） 摘 要：社会媒体中多模态和多层次的信息资源和基于各种关系构建的用户社群为推荐系统提供了更广阔的分析 和选择空间，同时也带来了更多的问题与挑战。 分析了当前社会媒体中用户与资源的关系以及社会媒体资源推荐 的特点，分别从社会媒体资源推荐策略和相关支撑技术两方面综述了相关工作，将其概括为“社会媒体中用户角色 的变化构成了更加复杂的用户关系”、“社会媒体资源表示形式呈现多模态特点”以及“社会媒体资源推荐应该满足 多层次的用户需求”，并从多模态、多层次资源推荐方面提出进一步的研究方向。 关键词：社会媒体；推荐；多模态信息；多层次资源；用户社群 中图分类号： ＴＰ３０１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０２６５⁃１１ 中文引用格式：王大玲，冯时，张一飞，等．社会媒体多模态、多层次资源推荐技术研究［Ｊ］． 智能系统学报， ２０１４， ９（３）： ２６５⁃２７５． 英文引用格式：ＷＡＮＧ Ｄａｌｉｎｇ， ＦＥＮＧ Ｓｈｉ， ＺＨＡＮＧ Ｙｉｆｅｉ，ｅｔ ａｌ． Ｓｔｕｄｙ ｏｎ ｔｈｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ ｏｆ ｍｕｌｔｉ⁃ｍｏｄａｌ ａｎｄ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｒｅ⁃ ｓｏｕｒｃｅｓ ｉｎ ｓｏｃｉａｌ ｍｅｄｉａ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ２６５⁃２７５． Ｓｔｕｄｙ ｏｎ ｔｈｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ ｏｆ ｍｕｌｔｉ⁃ｍｏｄａｌ ａｎｄ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｒｅｓｏｕｒｃｅｓ ｉｎ ｓｏｃｉａｌ ｍｅｄｉａ ＷＡＮＧ Ｄａｌｉｎｇ １，２ ， ＦＥＮＧ Ｓｈｉ １，２ ， ＺＨＡＮＧ Ｙｉｆｅｉ １，２ ， ＹＵ Ｇｅ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｎｏｒｔｈｅａｓｔｅｒｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｅｎｙａｎｇ １１０８１９， Ｃｈｉｎａ； ２． Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ （Ｎｏｒｔｈｅａｓｔｅｒｎ Ｕｎｉｖｅｒｓｉｔｙ）， Ｍｉｎｉｓｔｒｙ ｏｆ Ｅｄｕｃａｔｉｏｎ， Ｓｈｅｎｙａｎｇ １１０８１９， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ： Ｔｈｅ ｍｕｌｔｉ⁃ｍｏｄａｌ ａｎｄ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｓｏｕｒｃｅｓ ａｎｄ ｕｓｅｒ ｃｏｍｍｕｎｉｔｉｅｓ ｂａｓｅｄ ｏｎ ｖａｒｉｏｕｓ ｒｅｌａｔｉｏｎ⁃ ｓｈｉｐｓ ｉｎ ｓｏｃｉａｌ ｍｅｄｉａ ｐｒｏｖｉｄｅ ａ ｂｒｏａｄｅｒ ｓｐａｃｅ ｆｏｒ ｒｅｃｏｍｍｅｎｄｅｒｓ ｔｏ ａｎａｌｙｚｅ ａｎｄ ｓｅｌｅｃｔ ｔｈｅ ｒｅｓｏｕｒｃｅｓ， ｂｕｔ ａｔ ｔｈｅ ｓａｍｅ ｔｉｍｅ ｍｏｒｅ ｐｒｏｂｌｅｍｓ ａｎｄ ｃｈａｌｌｅｎｇｅｓ ｄｅｖｅｌｏｐ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐｓ ｂｅｔｗｅｅｎ ｕｓｅｒｓ ａｎｄ ｒｅｓｏｕｒｃｅｓ， ａｎｄ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｒｅｓｏｕｒｃｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ ｉｎ ｃｕｒｒｅｎｔ ｓｏｃｉａｌ ｍｅｄｉａ ａｒｅ ａｎａｌｙｚｅｄ． Ｒｅｌａｔｅｄ ｗｏｒｋ ｉｓ ｓｕｒｖｅｙｅｄ ｆｒｏｍ ｓｏ⁃ ｃｉａｌ ｍｅｄｉａ ｒｅｓｏｕｒｃｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ ａｓ ｗｅｌｌ ａｓ ｉｔｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｓｕｐｐｏｒｔ ｔｅｃｈｎｉｑｕｅｓ， ｗｈｉｃｈ ｃａｎ ｂｅ ｓｕｍｍａｒｉｚｅｄ ａｓ ｆｏｌｌｏｗｓ： ｍｏｒｅ ｃｏｍｐｌｅｘ ｒｅｌａｔｉｏｎｓｈｉｐｓ ａｍｏｎｇ ｕｓｅｒｓ ｆｏｒｍｅｄ ｂｙ ｃｈａｎｇｅｓ ｏｆ ｕｓｅｒ ｒｏｌｅｓ， ｍｕｌｔｉ⁃ｍｏｄａｌ ｓｏｃｉａｌ ｍｅｄｉａ ｒｅ⁃ ｓｏｕｒｃｅ ｅｘｐｒｅｓｓｉｏｎｓ， ａｎｄ ｓｏｃｉａｌ ｍｅｄｉａ ｒｅｓｏｕｒｃｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ ｔｈａｔ ｓａｔｉｓｆｙ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ｏｆ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｕｓｅｒｓ． Ｆｉｎａｌｌｙ， ｆｕｒｔｈｅｒ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎｓ ｉｎ ｍｕｌｔｉ⁃ｍｏｄａｌ ａｎｄ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｒｅｓｏｕｒｃｅ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ ａｒｅ ｐｒｏｐｏｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｓｏｃｉａｌ ｍｅｄｉａ； ｒｅｃｏｍｍｅｎｄａｔｉｏｎ； ｍｕｌｔｉ⁃ｍｏｄａｌ ｉｎｆｏｒｍａｔｉｏｎ； ｍｕｌｔｉ⁃ｌｅｖｅｌ ｒｅｓｏｕｒｃｅ； ｕｓｅｒ ｃｏｍｍｕｎｉｔｙ 收稿日期：２０１４⁃０３⁃２５． 网络出版日期：２０１４⁃０６⁃１４． 基金项目：国家自然科学基金资助项目（６１３７００７４， ６１１０００２６）． 通信作者：王大玲． Ｅ⁃ｍａｉｌ：ｗａｎｇｄａｌｉｎｇ＠ ｉｓｅ．ｎｅｕ．ｅｄｕ．ｃｎ． “推荐”是系统为用户提供的一种主动的信息 推送方式，它不同于搜索那样具有直接而明确的用 户需求，因此涉及用户兴趣分析与推断、推荐信息资 源选择 ２ 个主要部分。 在用户兴趣推断方面，传统 的推荐技术分为“基于内容的推荐”、“基于协同过 滤的推荐”及其混合技术［１］ 。 近年来，Ｗｅｂ ２．０ 技术 的发展促进了社会媒体（ ｓｏｃｉａｌ ｍｅｄｉａ） 这一新技术 的诞生和迅速发展。 与传统的媒体相比，社会媒体 中用户角色的变化、用户关系的形成、特别是信息资 源形式的丰富，均对推荐系统提出了新的要求。 基 于社会媒体的推荐中，无论用户兴趣的推断、还是推 荐信息资源的选择，均被赋予了新的内容。 本文将 首先分析社会媒体中的用户与资源的关系，以及由 此引出的社会媒体资源推荐的特点，综述当前该领 域研究的相关工作并进行讨论。 在此基础上，从多 模态、多层次资源推荐方面提出进一步的研究方向

·266 智能系统学报 第9卷 1 社会煤体用户、资源及推荐的特点 评论、图片等信息构成了同一资源的多个层次。同 时，社会媒体信息之间由于背景、事件、位置、人物等 1.1社会媒体中的用户与资源 实体的联系，同样会构成资源的不同层次。 社会媒体作为一类新的在线交互平台，允许用 1.2社会媒体推荐的特点 户自发地撰写、传播和获取信息，具有广泛的用户参 如前述，推荐系统涉及用户兴趣的分析和推 与性。本文中，将“资源”定义为用户在社会媒体中 荐资源的选择2个主要部分。由于社会媒体中用户 发布的原始信息单元及其组合或划分。与传统媒体 和资源新的特点，因而对基于社会媒体的推荐系统 相比，社会媒体中的“用户”和“资源”呈现出许多新 提出了新的要求，从而导致了社会媒体推荐呈现出 的特点。 新的特点： 首先，从社会媒体用户的角度，呈现以下特点： 1)多模态的用户兴趣内容分析。 1)用户角色双重性。 在分析用户兴趣方面，传统的推荐技术之一是 社会媒体中信息的传播是“众对众”方式，用户 “基于内容的推荐”。即：对于一个用户，推荐系统 不仅是信息的接收者，也是信息的发布者，发布时不 根据该用户自己对资源的访问历史推断其兴趣。在 仅提供信息，而且在社交网站上建立详细的个人档 社会媒体推荐中，“基于内容的推荐”同样适用，但 案并分享这些信息[。 却赋予了新的要求。首先，用户对资源的访问历史 2)社会网络社群性。 记录中，其内容可能包括不同的媒体形式：其次，对 社会媒体的用户（包括信息的发布者和接收 于某一种媒体形式（特别是非文本形式），用户可能 者)在社会媒体中通过信息交流可以表达关注同一 也会关注不同的方面。例如，对于用户访问历史中 事件或人、具有相同观点以及结为好友等，这些关系 的一幅“裙子”的图片，用户兴趣可能是裙子的颜 构成各种网络社群。 色、质地、图案、款式等不同方面，而非这条裙子本 3)信息网络异构性。 身。用户访问历史内容中不同的媒体形式和同一媒 将用户与资源作为对象并相互链接起来，即构 体形式的不同特征，构成了多模态的用户兴趣。 成信息网络)。在此情况下，社会媒体中的信息网 2)基于社会关系的协同过滤。 络节点是异构的，表现为用户与信息是不同类型的 传统推荐技术中，用户兴趣分析的另一主要方 对象，而且不同媒体形式的信息内容也是异构的。 法是“基于协同过滤的推荐”。即：对于一个用户， 4)用户关系多元性。 推荐系统根据与该用户兴趣相似的其他相关用户对 前面1)中所述的用户角色双重性表现为信息 资源的访问情况推断其兴趣，所依据的是“用户-项 网络中的显式链接即为“用户节点→资源节点”、或 目”点击矩阵的相似性度量。社会媒体中，前述的 者相反。此外，除显式链接外，还存在更多的隐式链 “网络社群性”使这种依据可以扩展为基于用户社 接关系，如信息之间的相关性链接以及由此而导致 会关系的推荐，从而解决“点击矩阵稀疏”等问题， 的用户之间的相关性链接等，构成了多元化的用户 而“用户角色双重性”、“信息网络异构性”及“用户 关系。 关系多元性”等用户特点使这一问题变成异构信息 第二，从社会媒体资源的角度，呈现以下特点： 网络中的社群发现及社群的用户兴趣推断问题。 1)信息的多模态性。 3)面向用户的多层次资源推荐。 在相关研究中，“模态”表现为不同的媒体形式 传统的推荐系统中，无论“基于内容的推荐” (如文本、图像、视频等)[，又可表现为同一媒体形 “基于协同过滤的推荐”、还是其混合技术，推荐结 式的不同特征（如图像的颜色、纹理等特征）[)。在 果的粒度大多是原始信息，即便是多媒体推荐，也较 本文中，从推荐的角度，网络社群作为一种资源，其 少考虑用户不同粒度、不同层次的需求。这里重提 本身也是一种模态。 前述“社会媒体资源多层次性”中的例子，即：用户A 2)资源的多层次性。 撰写了一篇关于三亚旅游的图文并茂的博文，用户 由于社会媒体允许用户自发地传播和获取信 B转发了其中的部分文字并加上了评论，用户C又 息，因此导致了社会媒体资源的多层次性。例如，在 配发了一些照片，…。在推荐时，通过对这些博文、 新浪博客中，用户A撰写了一篇关于三亚旅游的图 评论、图片等原始信息的分析，可以推荐：1)与博文 文并茂的博文，用户B转发了其中的部分文字并加 中的图片或某部分文字相关的信息：2)由多幅图片 上了评论，用户C又配发一些照片，…，这些博文、 和文字构成的三亚某一景点的介绍信息；3)诸如

１ 社会媒体用户、资源及推荐的特点 １．１ 社会媒体中的用户与资源 社会媒体作为一类新的在线交互平台，允许用 户自发地撰写、传播和获取信息，具有广泛的用户参 与性。 本文中，将“资源”定义为用户在社会媒体中 发布的原始信息单元及其组合或划分。 与传统媒体 相比，社会媒体中的“用户”和“资源”呈现出许多新 的特点。 首先，从社会媒体用户的角度，呈现以下特点： １）用户角色双重性。 社会媒体中信息的传播是“众对众”方式，用户 不仅是信息的接收者，也是信息的发布者，发布时不 仅提供信息，而且在社交网站上建立详细的个人档 案并分享这些信息［２］ 。 ２）社会网络社群性。 社会媒体的用户（包括信息的发布者和接收 者）在社会媒体中通过信息交流可以表达关注同一 事件或人、具有相同观点以及结为好友等，这些关系 构成各种网络社群。 ３）信息网络异构性。 将用户与资源作为对象并相互链接起来，即构 成信息网络［３］ 。 在此情况下，社会媒体中的信息网 络节点是异构的，表现为用户与信息是不同类型的 对象，而且不同媒体形式的信息内容也是异构的。 ４）用户关系多元性。 前面 １）中所述的用户角色双重性表现为信息 网络中的显式链接即为“用户节点®资源节点”、或 者相反。 此外，除显式链接外，还存在更多的隐式链 接关系，如信息之间的相关性链接以及由此而导致 的用户之间的相关性链接等，构成了多元化的用户 关系。 第二，从社会媒体资源的角度，呈现以下特点： １）信息的多模态性。 在相关研究中，“模态”表现为不同的媒体形式 （如文本、图像、视频等） ［４］ ，又可表现为同一媒体形 式的不同特征（如图像的颜色、纹理等特征） ［５］ 。 在 本文中，从推荐的角度，网络社群作为一种资源，其 本身也是一种模态。 ２）资源的多层次性。 由于社会媒体允许用户自发地传播和获取信 息，因此导致了社会媒体资源的多层次性。 例如，在 新浪博客中，用户 Ａ 撰写了一篇关于三亚旅游的图 文并茂的博文，用户 Ｂ 转发了其中的部分文字并加 上了评论，用户 Ｃ 又配发一些照片，…，这些博文、 评论、图片等信息构成了同一资源的多个层次。 同 时，社会媒体信息之间由于背景、事件、位置、人物等 实体的联系，同样会构成资源的不同层次。 １．２ 社会媒体推荐的特点 如前所述，推荐系统涉及用户兴趣的分析和推 荐资源的选择 ２ 个主要部分。 由于社会媒体中用户 和资源新的特点，因而对基于社会媒体的推荐系统 提出了新的要求，从而导致了社会媒体推荐呈现出 新的特点： １）多模态的用户兴趣内容分析。 在分析用户兴趣方面，传统的推荐技术之一是 “基于内容的推荐”。 即：对于一个用户，推荐系统 根据该用户自己对资源的访问历史推断其兴趣。 在 社会媒体推荐中，“基于内容的推荐” 同样适用，但 却赋予了新的要求。 首先，用户对资源的访问历史 记录中，其内容可能包括不同的媒体形式；其次，对 于某一种媒体形式（特别是非文本形式），用户可能 也会关注不同的方面。 例如，对于用户访问历史中 的一幅“裙子” 的图片，用户兴趣可能是裙子的颜 色、质地、图案、款式等不同方面，而非这条裙子本 身。 用户访问历史内容中不同的媒体形式和同一媒 体形式的不同特征，构成了多模态的用户兴趣。 ２）基于社会关系的协同过滤。 传统推荐技术中，用户兴趣分析的另一主要方 法是“基于协同过滤的推荐”。 即：对于一个用户， 推荐系统根据与该用户兴趣相似的其他相关用户对 资源的访问情况推断其兴趣，所依据的是“用户－项 目”点击矩阵的相似性度量。 社会媒体中，前述的 “网络社群性”使这种依据可以扩展为基于用户社 会关系的推荐，从而解决“点击矩阵稀疏” 等问题， 而“用户角色双重性”、“信息网络异构性”及“用户 关系多元性”等用户特点使这一问题变成异构信息 网络中的社群发现及社群的用户兴趣推断问题。 ３）面向用户的多层次资源推荐。 传统的推荐系统中，无论“基于内容的推荐”、 “基于协同过滤的推荐”、还是其混合技术，推荐结 果的粒度大多是原始信息，即便是多媒体推荐，也较 少考虑用户不同粒度、不同层次的需求。 这里重提 前述“社会媒体资源多层次性”中的例子，即：用户 Ａ 撰写了一篇关于三亚旅游的图文并茂的博文，用户 Ｂ 转发了其中的部分文字并加上了评论，用户 Ｃ 又 配发了一些照片，…。 在推荐时，通过对这些博文、 评论、图片等原始信息的分析，可以推荐：１）与博文 中的图片或某部分文字相关的信息；２）由多幅图片 和文字构成的三亚某一景点的介绍信息；３） 诸如 ·２６６· 智 能 系 统 学 报 第 ９ 卷

第3期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·267. “三亚旅游最佳路线”这样的综合信息。这里，推荐 元如一篇博文、一条微博、一幅图片、一段视频、一首 1)是原始信息的子集，推荐2)是若干原始信息基于 乐曲等，称之为单一资源：单一资源中的某个部分称 某种方式的组合，推荐3)则是原始信息基础上高度 为子资源，如微博中的图片、视频中的音乐等：单一 的分析、处理、总结和重组。上述推荐项目的不同粒 资源的有序组合称为复合资源，如不同用户上传的 度表明了从原始信息的子集、原始信息、到它们某种 关于同一景点的多幅图片及若干文本；通过对单一、 形式的组合、再到更高层次的综合这样不同的资源 复合资源的分析和挖掘，可望得到综合资源，例如， 层次。 对于某个景点，对用户上传的图片、撰写的博文、发 综上，对社会媒体推荐中涉及的“资源”和“用 布的微博、微信等进行深入挖掘可构成“旅游综合 户”给出如下定义： 资源”：针对某个学术问题，对相关社群用户的讨 定义1社会媒体用户。社会媒体资源的发布 论、发表的文章、乃至该社群本身的挖掘可构成“学 者和使用者（一般需要注册），包括上传、转载、共 术综合资源”。由于用户社群因与资源的关系而形 享、浏览、关注等一切对社会媒体资源进行过操作的 成、并通过分析和挖掘而发现，因此，用户社群也是 用户。 一种综合资源。 定义2社会媒体资源。即用户在社会媒体中 根据定义2，本文提出的社会媒体推荐中的多 发布的原始信息单元及其组合或抽象。原始信息单 模态、多层次资源如图1所示。 用户社群 学术 旅游 购物 e. 合资 ©©©© 合资源 单 。。g国 源 子 图1社会媒体推荐中的多模态、多层次资源 Fig.I Multi-modal and multi-level resource in social media for recommendation 基于社会媒体平台，在用户与相关信息构成的 内容进行归类，其结果如图2所示（图中虚线意为 异构信息网络中挖掘用户社群并进而推断用户兴 当前工作并未完全具有的功能)。基于图2，下文分 趣，在推荐内容上实施不同粒度、分层次、高质量的 别从社会媒体资源推荐策略和社会媒体推荐的支撑 信息资源推荐，是用户的潜在需求，更是推荐系统应 技术两方面对相关工作进行综述，并在第4节进行 该、并且通过应用相关技术可望实现的功能。 总结和讨论。 当前社会媒体资源推荐的特点，实际上可以视 为传统的推荐技术被赋予了社会媒体新的内容。在 2社会媒体资源推荐策略 目前的相关工作中，作为最终目标的“面向用户的 根据图2的归纳，将从基于用户社群的推荐、基 多层次资源推荐”主要表现为基于用户社群、媒体 于媒体内容的推荐以及基于多种因素的推荐3方面 内容以及多种因素的推荐，而作为用户兴趣分析方 综述社会媒体资源推荐的相关工作。 法的“多模态的用户兴趣内容分析”和“基于社会关 2.1基于用户社群的推荐 系的协同过滤”则需要社会媒体用户关系分析、社 用户的网络社群性是社会媒体的主要特点之 会媒体多模态信息挖掘以及社会媒体中多模态信息 一，挖掘社会媒体中的社群关系、并基于此进行推 相似性度量等相关技术的支撑。文中对上述涉及的 荐，是社会媒体推荐的一个主要途径

“三亚旅游最佳路线”这样的综合信息。 这里，推荐 １）是原始信息的子集，推荐 ２）是若干原始信息基于 某种方式的组合，推荐 ３）则是原始信息基础上高度 的分析、处理、总结和重组。 上述推荐项目的不同粒 度表明了从原始信息的子集、原始信息、到它们某种 形式的组合、再到更高层次的综合这样不同的资源 层次。 综上，对社会媒体推荐中涉及的“资源”和“用 户”给出如下定义： 定义 １ 社会媒体用户。 社会媒体资源的发布 者和使用者（一般需要注册），包括上传、转载、共 享、浏览、关注等一切对社会媒体资源进行过操作的 用户。 定义 ２ 社会媒体资源。 即用户在社会媒体中 发布的原始信息单元及其组合或抽象。 原始信息单 元如一篇博文、一条微博、一幅图片、一段视频、一首 乐曲等，称之为单一资源；单一资源中的某个部分称 为子资源，如微博中的图片、视频中的音乐等；单一 资源的有序组合称为复合资源，如不同用户上传的 关于同一景点的多幅图片及若干文本；通过对单一、 复合资源的分析和挖掘，可望得到综合资源，例如， 对于某个景点，对用户上传的图片、撰写的博文、发 布的微博、微信等进行深入挖掘可构成“旅游综合 资源”；针对某个学术问题，对相关社群用户的讨 论、发表的文章、乃至该社群本身的挖掘可构成“学 术综合资源”。 由于用户社群因与资源的关系而形 成、并通过分析和挖掘而发现，因此，用户社群也是 一种综合资源。 根据定义 ２，本文提出的社会媒体推荐中的多 模态、多层次资源如图 １ 所示。 图 １ 社会媒体推荐中的多模态、多层次资源 Ｆｉｇ．１ Ｍｕｌｔｉ⁃ｍｏｄａｌ ａｎｄ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｒｅｓｏｕｒｃｅ ｉｎ ｓｏｃｉａｌ ｍｅｄｉａ ｆｏｒ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ 基于社会媒体平台，在用户与相关信息构成的 异构信息网络中挖掘用户社群并进而推断用户兴 趣，在推荐内容上实施不同粒度、分层次、高质量的 信息资源推荐，是用户的潜在需求，更是推荐系统应 该、并且通过应用相关技术可望实现的功能。 当前社会媒体资源推荐的特点，实际上可以视 为传统的推荐技术被赋予了社会媒体新的内容。 在 目前的相关工作中，作为最终目标的“面向用户的 多层次资源推荐” 主要表现为基于用户社群、媒体 内容以及多种因素的推荐，而作为用户兴趣分析方 法的“多模态的用户兴趣内容分析”和“基于社会关 系的协同过滤” 则需要社会媒体用户关系分析、社 会媒体多模态信息挖掘以及社会媒体中多模态信息 相似性度量等相关技术的支撑。 文中对上述涉及的 内容进行归类，其结果如图 ２ 所示（图中虚线意为 当前工作并未完全具有的功能）。 基于图 ２，下文分 别从社会媒体资源推荐策略和社会媒体推荐的支撑 技术两方面对相关工作进行综述，并在第 ４ 节进行 总结和讨论。 ２ 社会媒体资源推荐策略 根据图 ２ 的归纳，将从基于用户社群的推荐、基 于媒体内容的推荐以及基于多种因素的推荐 ３ 方面 综述社会媒体资源推荐的相关工作。 ２．１ 基于用户社群的推荐 用户的网络社群性是社会媒体的主要特点之 一，挖掘社会媒体中的社群关系、并基于此进行推 荐，是社会媒体推荐的一个主要途径。 第 ３ 期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·２６７·

·268. 智能系统学报 第9卷 基于用户社群的推荐 社会媒体资源推荐策略 基于媒体内容的推荐 多模态的用户兴趣内容分析 基于多种因素的推荐 面向用户的多层次资源推荐 社会媒体用户关系分析 社会媒体推荐的支撑技术 社会媒体多模态信息挖掘 基于社会关系的协同过滤 多模态资源相似性度量 图2社会媒体资源推荐的特点与相关工作 Fig.2 Characteristics and related work of social media resources recommendation 在基于用户社群或社会关系的推荐方面，Pavli-- 荐，基于内容的推荐均是一个重要推荐技术。不同 ds等6基于用户个人信息和朋友信息等社交媒体信 的是，社会媒体中的内容已呈现多模态的信息表现 息推断用户的兴趣、用户朋友的兴趣以及朋友的亲密 形式，因此，用户的访问记录信息将由多模态的信息 度，找到推荐礼物的重要时机，进行礼物推荐；Popes- 构成，推荐的内容也将是多模态、甚至是跨媒体（即 cu等)把个性化旅游推荐视为协同过滤问题，挖掘 基于一种媒体形式的访问历史推荐其他媒体形式的 在网络上用户的旅行数据、记录数据，并利用这些数 资源)的。 据构建一个用户-用户的相似度矩阵，为一个想去某 在基于媒体内容的推荐中，Zang等B]、Bu 地旅游的用户推荐景点：Schirru]基于用户在Web2. 等[]结合多种类型的社会媒体信息以及音乐原声 0资源分享平台上与其同事交换的感兴趣话题的内 信号的多资源媒体信息，用超图对社会媒体信息高 容，建立一个基于话题的推荐系统，利用话题追踪检 阶关系建模，利用各种多媒体信息数据以及基于音 测算法，检测用户短期或长期感兴趣话题，提供基于 乐原声的内容进行音乐推荐：Tan等[s]采用图模型 话题的推荐，满足用户的需求和偏好：贾大文等]把 对评论间的关系以及评论与原始新闻间的关系进行 用户对具体媒体对象的偏好转化成用户对媒体对象 建模，捕捉用户关注点的动态变化，抽取话题模式， 所蕴含兴趣元素的偏好，将具有相同偏好的用户聚合 综合考虑读者和作者的观点，进行相关信息推荐： 成“共同偏好组”，基于共同偏好组进行社会媒体的共 Hu等[16]将在线社交网站OSNs和视频分享网站 享与推荐：Koohborfardhaghighi等io]在朋友网中向处 VSSes的度量标准结合起来，提出了一种基于相似 在转接点位置和具有高特征向量中心值的用户实施 度的方法来为Youtube这样的视频分享网站VSSes 推荐，认为前者具有重要的信息，后者与其他用户具 增加推荐视频列表：Ma等将用户在社会媒体中 有更多的联系或者被重要的用户所联系：i等)通 发表和查看的数据视为社会流，提出了一个新的在 过发现面向用户和面向社群的话题来捕获用户兴趣 线协同过滤框架和流排名矩阵分解，通过分析社会 和社群焦点，从而推荐有影响力的用户和相关于话题 流来进行个性化主题推荐及发现：Ernesto等[18]结 的社群；Zhao等[)]在Twitte风格的社会网络中根据 合用户评论、i等[]使用用户产生的评论作为数据 关注与被关注关系发现社群，并基于社群进行粉丝推 源，建模评论之间的关系，进行新闻推荐。 荐，从而改进基于内容推荐的低准确率和协同过滤推 与上述工作相似的工作还有很多，这里不多赘 荐的稀疏性问题。 述。就社会媒体资源推荐而言，除了新闻、评论等文 在此领域，与上述工作相似的还有很多，这里不 本形式的社会媒体资源外，其他媒体形式的推荐主 多赘述。总体上，这些工作的主要特点是基于用户的 要还是如传统多媒体推荐方法那样以资源的原始粒 社会关系及由于共同话题、关注点等原因形成的社 度作为推荐单元，而缺少更小或更大粒度、特别是综 群，发现当前用户的兴趣偏好，从而进行推荐。推荐 合资源的推荐。 的内容包括社会媒体的原始信息[68)，也包括用户的 2.3基于多种因素的推荐 相关信息，如社群9，、朋友[0，等。 除前述基于用户关系和资源内容分析的推荐 2.2基于媒体内容的推荐 外，还有一些基于社会媒体多因素分析的推荐。 无论是传统的推荐系统还是社会媒体资源的推 在基于多因素的推荐中，Messenger等2o)基于

图 ２ 社会媒体资源推荐的特点与相关工作 Ｆｉｇ．２ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｎｄ ｒｅｌａｔｅｄ ｗｏｒｋ ｏｆ ｓｏｃｉａｌ ｍｅｄｉａ ｒｅｓｏｕｒｃｅｓ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ 在基于用户社群或社会关系的推荐方面，Ｐａｖｌｉ⁃ ｄｉｓ 等［６］基于用户个人信息和朋友信息等社交媒体信 息推断用户的兴趣、用户朋友的兴趣以及朋友的亲密 度，找到推荐礼物的重要时机，进行礼物推荐；Ｐｏｐｅｓ⁃ ｃｕ 等［７］把个性化旅游推荐视为协同过滤问题，挖掘 在网络上用户的旅行数据、记录数据，并利用这些数 据构建一个用户－用户的相似度矩阵，为一个想去某 地旅游的用户推荐景点；Ｓｃｈｉｒｒｕ ［８］基于用户在 Ｗｅｂ２． ０ 资源分享平台上与其同事交换的感兴趣话题的内 容，建立一个基于话题的推荐系统，利用话题追踪检 测算法，检测用户短期或长期感兴趣话题，提供基于 话题的推荐，满足用户的需求和偏好；贾大文等［９］ 把 用户对具体媒体对象的偏好转化成用户对媒体对象 所蕴含兴趣元素的偏好，将具有相同偏好的用户聚合 成“共同偏好组”，基于共同偏好组进行社会媒体的共 享与推荐；Ｋｏｏｈｂｏｒｆａｒｄｈａｇｈｉｇｈｉ 等［１０］在朋友网中向处 在转接点位置和具有高特征向量中心值的用户实施 推荐，认为前者具有重要的信息，后者与其他用户具 有更多的联系或者被重要的用户所联系；Ｌｉ 等［１１］ 通 过发现面向用户和面向社群的话题来捕获用户兴趣 和社群焦点，从而推荐有影响力的用户和相关于话题 的社群；Ｚｈａｏ 等［１２］ 在 Ｔｗｉｔｔｅ 风格的社会网络中根据 关注与被关注关系发现社群，并基于社群进行粉丝推 荐，从而改进基于内容推荐的低准确率和协同过滤推 荐的稀疏性问题。 在此领域，与上述工作相似的还有很多，这里不 多赘述。 总体上，这些工作的主要特点是基于用户的 社会关系及由于共同话题、关注点等原因形成的社 群，发现当前用户的兴趣偏好，从而进行推荐。 推荐 的内容包括社会媒体的原始信息［６ ⁃ ８］ ，也包括用户的 相关信息，如社群［９，１１］ 、朋友［１０，１２］等。 ２．２ 基于媒体内容的推荐 无论是传统的推荐系统还是社会媒体资源的推 荐，基于内容的推荐均是一个重要推荐技术。 不同 的是，社会媒体中的内容已呈现多模态的信息表现 形式，因此，用户的访问记录信息将由多模态的信息 构成，推荐的内容也将是多模态、甚至是跨媒体（即 基于一种媒体形式的访问历史推荐其他媒体形式的 资源）的。 在基于媒体内容的 推 荐 中， Ｚｈａｎｇ 等［１３］ 、 Ｂｕ 等［１４］结合多种类型的社会媒体信息以及音乐原声 信号的多资源媒体信息，用超图对社会媒体信息高 阶关系建模，利用各种多媒体信息数据以及基于音 乐原声的内容进行音乐推荐；Ｔａｎ 等［１５］ 采用图模型 对评论间的关系以及评论与原始新闻间的关系进行 建模，捕捉用户关注点的动态变化，抽取话题模式， 综合考虑读者和作者的观点，进行相关信息推荐； Ｈｕ 等［１６］ 将在线社交网站 ＯＳＮｓ 和视频分享网站 ＶＳＳｅｓ 的度量标准结合起来，提出了一种基于相似 度的方法来为 Ｙｏｕｔｕｂｅ 这样的视频分享网站 ＶＳＳｅｓ 增加推荐视频列表；Ｍａ 等［１７］ 将用户在社会媒体中 发表和查看的数据视为社会流，提出了一个新的在 线协同过滤框架和流排名矩阵分解，通过分析社会 流来进行个性化主题推荐及发现；Ｅｒｎｅｓｔｏ 等［１８］ 结 合用户评论、Ｌｉ 等［１９］使用用户产生的评论作为数据 源，建模评论之间的关系，进行新闻推荐。 与上述工作相似的工作还有很多，这里不多赘 述。 就社会媒体资源推荐而言，除了新闻、评论等文 本形式的社会媒体资源外，其他媒体形式的推荐主 要还是如传统多媒体推荐方法那样以资源的原始粒 度作为推荐单元，而缺少更小或更大粒度、特别是综 合资源的推荐。 ２．３ 基于多种因素的推荐 除前述基于用户关系和资源内容分析的推荐 外，还有一些基于社会媒体多因素分析的推荐。 在基于多因素的推荐中，Ｍｅｓｓｅｎｇｅｒ 等［２０］ 基于 ·２６８· 智 能 系 统 学 报 第 ９ 卷

第3期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·269. 用户在社交网络中与其他成员的关联关系、社会数 社会网络研究中的一个重要组成部分。在社会媒体 据以及词相关因素进行个性化书籍推荐：Per等[2)] 资源推荐中，由于用户对资源的各种操作而表现出 研究基于用户和标签的社会媒体推荐，表明将两者 的“兴趣相投”、“观点相似”、“关注”、“跟随”等关 结合起来的性能会更为优异：Gy等[2]利用包括帖 系构成了各种网络社群，这些社群所表达的用户之 子内容、帖子间相似度、帖子间或者其与博客间的链 间的关系成为“基于协同过滤推荐”的一个有效的 接以及与外部网站的链接在内的多种特征训练了一 扩展。 个SVM排序分类器，进行用户预测和链接预测，应 在用户关系分析和用户社群发现研究方面，Sun 用预测结果进行推荐：Wu等基于旅行者使用搜 等[列在多类型对象构成的异构信息网络中（如学术 索引擎查询旅游计划的上下文信息，生成一些有代 网络中的术语、作者、文章等)，提出基于元路径与 表性的旅游目的地；Xiang2构建了相同类型的实 用户指导聚类的方法对社会网络中的对象进行聚 体（如用户与用户）和不同类型的实体（如用户与图 类：Guv等[2]根据“认识同一个人或者被同一个人 片)之间的关系图，将推荐任务描述为一个在关系 认识”、“对同样的事情感兴趣”、“都在相同的地点” 图上的随机游走过程；Chidlovskii等[2]挖掘Tweet 发现社会媒体中的用户关系；Barbier等[]基于社会 内容，并用其哈希标签和内容对youtube、Flickr、 媒体存在大量群、数据有噪音、群不断变化的问题， Photobucket、Dailymotion和SoundCloud进行标注，实 提出发现群、根据群建立用户profile、理解群对其他 现对大量的未被充分标注的用户生成的Wb资源 个人或群的影响、探索跨社会媒体群以补充群成员 进行语义上的标注，以此实现标签推荐：L山等[2]获 评价的社会媒体在线群的理解；Yang等[30]针对电 取社会媒体中各种女性面部和发式图像，提取其中 子商务社会网络中“许多具有相似兴趣的社会媒体 化妆品特征，构建一个化妆推荐系统，提出一个多树 用户可能没有直接的交互或购买相同商品、从而导 结构的超图模型来探索各种化妆面部图像的高层美 致社会媒体中显式链接稀疏”的问题，提出识别用 丽属性、中层相关于美丽的属性以及低层图像特征， 户之间这种隐式关系来丰富社会媒体结构的方法： 基于用户输入的短发、素颜正脸图像，为其推荐最合 Jorg等[3]认为链接预测对于社会网络成员未来关 适的发式和化妆模式，并展示合成结果。与上文论 系的发现至关重要，针对此前的“链接预测基于结 述的工作相比，本节中大部分推荐是基于社会媒体 构信息、而结构信息在大规模社会网络中不足以获 的多种因素，包括用户关系和媒体相关内容，但其中 得好的预测性能”的问题，研究将“Twitter”用户的行 的“内容”主要是以标签、链接等元数据或语义信息 为、兴趣等非结构信息引入用户社群分析，改进链接 为主。此外，日常生活中经常接触的如“淘宝”、“当 预测性能。 当”这类购物网站，均具有根据用户访问历史、好友 总体上，社会网络挖掘中的社群发现与推荐均 关系等因素推荐商品的功能，但这种推荐也主要基 属此范畴，还有很多的研究工作，这里不多赘述。上 于标签等语义、文本信息的分析，因此可能出现这样 述工作中，有只考虑用户关系或者文档相似关系的 的例子：对于一个用户，如果本人或其好友关注一条 同构网络，也有考虑用户、资源及其关系的异构网 裙子的图片，推荐的也往往就是各种裙子图片，而不 络，链接关系包括显式链接，也包括隐式链接，其最 去考虑该用户到底是喜欢裙子的款式、花色、进而据 终目标还是发现各种用户社群。 此进行推荐。这个例子表明当前的研究在针对不同 3.2社会媒体多模态信息挖掘 模态和层次细节内容方面的推荐受到一定限制。 社会媒体内容丰富，为推荐系统提供了巨大的 信息资源。但无论是用户兴趣分析、还是推荐资源 3社会媒体推荐的支撑技术 的选择，以及社会媒体信息具有的海量性、有噪音等 作为用户兴趣分析方法的“多模态的用户兴趣 特点，均需要对社会媒体内容（包括不同层次、粒度 内容分析”和“基于社会关系的协同过滤”需要许多 的内容)进行分析。由于当前社会媒体信息呈现多 相关技术的支撑。根据图2，这些相关技术主要包 模态特征，因此多模态信息挖掘成为这种分析的主 括社会媒体用户关系分析、社会媒体多模态信息挖 要技术手段。 掘、以及社会媒体中多模态资源相似性度量等，本节 在社会媒体多模态信息挖掘以及相关的信息检 将从这3个方面综述相关工作。 索方面，Tang等[]提出了社会媒体分析中去除噪 3.1社会媒体用户关系分析 音、多媒体数据及用户的建模、标签代表性与资源相 社会媒体中的用户关系分析和用户社群发现是 关性、大规模社会媒体数据的挖掘与检索的扩展性

用户在社交网络中与其他成员的关联关系、社会数 据以及词相关因素进行个性化书籍推荐；Ｐｅｒａ 等［２１］ 研究基于用户和标签的社会媒体推荐，表明将两者 结合起来的性能会更为优异；Ｇｕｙ 等［２２］ 利用包括帖 子内容、帖子间相似度、帖子间或者其与博客间的链 接以及与外部网站的链接在内的多种特征训练了一 个 ＳＶＭ 排序分类器，进行用户预测和链接预测，应 用预测结果进行推荐；Ｗｕ 等［２３］ 基于旅行者使用搜 索引擎查询旅游计划的上下文信息，生成一些有代 表性的旅游目的地；Ｘｉａｎｇ ［２４］ 构建了相同类型的实 体（如用户与用户）和不同类型的实体（如用户与图 片）之间的关系图，将推荐任务描述为一个在关系 图上的随机游走过程；Ｃｈｉｄｌｏｖｓｋｉｉ 等［２５］ 挖掘 Ｔｗｅｅｔ 内容， 并用其哈希标签和内容对 ｙｏｕｔｕｂｅ、 Ｆｌｉｃｋｒ、 Ｐｈｏｔｏｂｕｃｋｅｔ、Ｄａｉｌｙｍｏｔｉｏｎ 和 ＳｏｕｎｄＣｌｏｕｄ 进行标注，实 现对大量的未被充分标注的用户生成的 Ｗｅｂ 资源 进行语义上的标注，以此实现标签推荐；Ｌｉｕ 等［２６］获 取社会媒体中各种女性面部和发式图像，提取其中 化妆品特征，构建一个化妆推荐系统，提出一个多树 结构的超图模型来探索各种化妆面部图像的高层美 丽属性、中层相关于美丽的属性以及低层图像特征， 基于用户输入的短发、素颜正脸图像，为其推荐最合 适的发式和化妆模式，并展示合成结果。 与上文论 述的工作相比，本节中大部分推荐是基于社会媒体 的多种因素，包括用户关系和媒体相关内容，但其中 的“内容”主要是以标签、链接等元数据或语义信息 为主。 此外，日常生活中经常接触的如“淘宝”、“当 当”这类购物网站，均具有根据用户访问历史、好友 关系等因素推荐商品的功能，但这种推荐也主要基 于标签等语义、文本信息的分析，因此可能出现这样 的例子：对于一个用户，如果本人或其好友关注一条 裙子的图片，推荐的也往往就是各种裙子图片，而不 去考虑该用户到底是喜欢裙子的款式、花色、进而据 此进行推荐。 这个例子表明当前的研究在针对不同 模态和层次细节内容方面的推荐受到一定限制。 ３ 社会媒体推荐的支撑技术 作为用户兴趣分析方法的“多模态的用户兴趣 内容分析”和“基于社会关系的协同过滤”需要许多 相关技术的支撑。 根据图 ２，这些相关技术主要包 括社会媒体用户关系分析、社会媒体多模态信息挖 掘、以及社会媒体中多模态资源相似性度量等，本节 将从这 ３ 个方面综述相关工作。 ３．１ 社会媒体用户关系分析 社会媒体中的用户关系分析和用户社群发现是 社会网络研究中的一个重要组成部分。 在社会媒体 资源推荐中，由于用户对资源的各种操作而表现出 的“兴趣相投”、“观点相似”、“关注”、“跟随” 等关 系构成了各种网络社群，这些社群所表达的用户之 间的关系成为“基于协同过滤推荐”的一个有效的 扩展。 在用户关系分析和用户社群发现研究方面，Ｓｕｎ 等［２７］在多类型对象构成的异构信息网络中（如学术 网络中的术语、作者、文章等），提出基于元路径与 用户指导聚类的方法对社会网络中的对象进行聚 类；Ｇｕｖ 等［２８］根据“认识同一个人或者被同一个人 认识”、“对同样的事情感兴趣”、“都在相同的地点” 发现社会媒体中的用户关系；Ｂａｒｂｉｅｒ 等［２９］基于社会 媒体存在大量群、数据有噪音、群不断变化的问题， 提出发现群、根据群建立用户 ｐｒｏｆｉｌｅ、理解群对其他 个人或群的影响、探索跨社会媒体群以补充群成员 评价的社会媒体在线群的理解；Ｙａｎｇ 等［ ３０］ 针对电 子商务社会网络中“许多具有相似兴趣的社会媒体 用户可能没有直接的交互或购买相同商品、从而导 致社会媒体中显式链接稀疏” 的问题，提出识别用 户之间这种隐式关系来丰富社会媒体结构的方法； Ｊｏｒｇｅ 等［３１］认为链接预测对于社会网络成员未来关 系的发现至关重要，针对此前的“链接预测基于结 构信息、而结构信息在大规模社会网络中不足以获 得好的预测性能”的问题，研究将“Ｔｗｉｔｔｅｒ”用户的行 为、兴趣等非结构信息引入用户社群分析，改进链接 预测性能。 总体上，社会网络挖掘中的社群发现与推荐均 属此范畴，还有很多的研究工作，这里不多赘述。 上 述工作中，有只考虑用户关系或者文档相似关系的 同构网络，也有考虑用户、资源及其关系的异构网 络，链接关系包括显式链接，也包括隐式链接，其最 终目标还是发现各种用户社群。 ３．２ 社会媒体多模态信息挖掘 社会媒体内容丰富，为推荐系统提供了巨大的 信息资源。 但无论是用户兴趣分析、还是推荐资源 的选择，以及社会媒体信息具有的海量性、有噪音等 特点，均需要对社会媒体内容（包括不同层次、粒度 的内容）进行分析。 由于当前社会媒体信息呈现多 模态特征，因此多模态信息挖掘成为这种分析的主 要技术手段。 在社会媒体多模态信息挖掘以及相关的信息检 索方面，Ｔａｎｇ 等［３２］ 提出了社会媒体分析中去除噪 音、多媒体数据及用户的建模、标签代表性与资源相 关性、大规模社会媒体数据的挖掘与检索的扩展性、 第 ３ 期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·２６９·