第1章 绪论
1.1 本书的撰写目的与意义
随着信息产业的高速发展，三元世界（人、机、物）的高度融合导致数据模式的复杂化加剧及数据规模的爆炸式增长，网络化大数据（big data）时代已经到来（城田真琴，2013）。随着不同的信息发布方式［博客、微信、QQ、电子商务（简称电商）平台等］不断涌现，数据正在以高速度不断地增长和积累，目前网络已经成为最大的信息集聚中心。随着现代信息化与互联网的高速普及和迅猛发展，网络购物（简称网购）已经成为一种便利、高效的购物方式，成为人们工作和生活的一部分。在巨大的新型电商平台的数据资源中，文本信息成为最普遍、最广泛的数据存在形式，网购消费者的Web日志记录占信息总量的80%以上，如消费者的访问与点击、收藏等行为日志，购买商品的历史订单记录，消费者的购后评价与查看评论的日志等，这些信息具有增速快、数据量大、价值密度低等特点，为深度挖掘、利用网络大数据的价值带来巨大的机遇，同时也对数据分析、传统数据挖掘提出新的挑战。从Web挖掘的角度，利用挖掘技术分析日志中的规律，以此识别买家的喜好、忠实度、满意度，然后发现潜在客户，并为客户推荐他们感兴趣的商品，进而增强电商平台的服务竞争力，已经成为电商平台竞争的焦点。
电商平台每天都产生海量的数据，如果能够利用这些数据分析、挖掘影响消费者制定在线购买决策的因素、阐述消费者制定购买决策的过程及评论背后隐含的消费者情感，将会推动产品优化升级与电商平台的有效监管，帮助网络营销制订有效方案、简化消费者制定购买决策过程等。
鉴于此，本书以“数据驱动”+“模型驱动”的研究理念，运用数据挖掘、大数据分析、粗糙集、复杂网络、情感挖掘等方法，结合消费者网购行为理论，以电商平台的海量商品、交易、日志等数据为研究对象，聚焦消费者网购行为模式、面向消费者评分和访问日志数据的推荐、商品关联关系、网购评语挖掘等方面的研究内容，解决非结构化大数据数量级大、分析管理困难、价值密度低等问题，探讨大数据背景下网购消费者行为模式和网购评语的潜在规律，寻找非结构化大数据分析的定性、定量方法，为非结构化大数据的分析与处理提供多视角的技术支持和方案参考。本书同时分析网购评语中的高频词及情感倾向，发现消费者的关注热点及评论中的隐含规律，有助于消费者制定合理的购买决策、商家制定销售策略和提升产品质量、电商平台和监管部门有效监管，从而有利于改善产品设计和销售策略，为更好地增强电商运营企业的核心竞争力、促进电商的发展提供理论参考和实践指导。
1.2 国内外研究状况
国内外的文献中，直接针对大数据背景下网购消费者行为与网购评语挖掘方面的研究相对较少，本节对大数据分析与处理、网购消费者行为分析、网购评语挖掘三方面的文献进行回顾与梳理。
1.2.1 大数据分析与处理的研究状况
根据国际数据公司（International Date Corporation，IDC）发布的数据：2011年的数据量超过1.8泽字节，是之前5年的9倍左右，并且以每两年翻倍的速度增长（Gantz and Reinsel，2011）；2025年人类的大数据量将达到163泽字节，比2016年创造出的数据量增加10倍。大数据的处理流程与传统数据挖掘的处理流程没有太大区别，但大数据需要处理非结构化、海量的数据，同时在各环节中都要考虑并行处理，因此，分布式与并行化已经成为处理大数据各环节的通用方法。
针对大数据的分析与处理，王元卓等（2013）认为网络大数据存在不确定性、复杂性和涌现性，总结了数据表示与网络空间感知、网络大数据管理体系与存储、网络数据平台系统应用，以及网络大数据的社会计算和挖掘等方面的研究状况与存在的主要问题。冯芷艳等（2013）通过分析大数据下的商务管理所面临的挑战，通过3个研究方向介绍了社会化网络环境中的行为机理与社会资本结构、企业网络生态系统及协同的共生机制、大数据环境下的市场营销策略及洞察大数据背景下的商业模式创新等方面的内容。孟小峰等（2013）通过分析社会计算的学科分类、历史背景，为社会计算提供了准确的定义，并且对工作内容和研究方法进行总结与归纳，指出大数据中社会计算面临的问题与挑战。王珊等（2011）和覃雄派等（2012）通过分析发现，大数据具有查询分析复杂、数据量大等特点，他们详细叙述了MapReduce、并行数据库及基于两者混合方法的优缺点，并且对未来研究提出展望。Qian等（2015）通过MapReduce来完成大数据的层次属性简化。何非和何克清（2014）通过对大数据背景下数据关联的4个方面的主要研究状况与问题进行分析，介绍了具有实际代表性的应用信息技术（information technology，IT）基础架构，展望了科学大数据、数据计算新范式、新模式等方面的发展趋势与发展方向。Bello-Orgaza等（2016）分析了在社会媒体大数据中高效地进行数据挖掘和信息融合的方法。Zhou等（2016）对大数据驱动的智能能源管理进行研究，以智能电网为研究背景，提出了大数据驱动的智能能源管理过程模型。Hashem等（2016）关注大数据如何从根本上改变不同层次的城市人口，讨论了支持智能城市大数据分析的愿景，还提出了智能城市大数据未来的商业模式。Wamba等（2017）从297名具有大数据和业务分析经验的中国信息技术经理和业务分析师那里收集数据，提出大数据分析能力模型，并分析其对企业绩效的直接影响。He等（2017）利用随机矩阵理论，激励数据驱动工具对高维复杂网格进行感知，进而提出一种具有详细步骤的体系结构，该体系结构作为一种数据驱动的解决方案，对系统态势感知敏感，对实际的大型互联系统具有实用性。Wang等（2018）通过对医疗保健领域26个大数据实施案例的内容进行分析，确定5种大数据分析功能，即护理模式的分析能力、非结构化数据分析能力、决策支持能力、预测能力和可追溯性。Tiwari等（2018）研究了2010~2016年大数据分析应用在供应链管理中的相关论文，并对该行业进行分析，先单独讨论大数据分析，然后讨论大数据分析在供应链管理（供应链分析）中的作用，并对当时的研究和应用进行了探讨。Makkie等（2019）提出了一种新的可扩展分布式深度CNN（convolutional neural network，卷积神经网络）自动编码器模型，并将其应用于基于任务的功能磁共振成像（task based functional magnetic resonance imaging，TFMRI）大数据分析中，旨在学习TFMRI大数据的复杂层次结构，并以分布式方式使用多个GPU（graphics processing unit，图形处理器）来提升处理能力。
通过分析相关的文献，本书发现有关大数据分析与处理的研究都是通过采用现有的云计算、海量数据挖掘、MapReduce等技术与方法，讨论大数据的挖掘模式与算法，并取得了一些研究成果，这些成果为深入研究大数据的分析与处理提供了理论基础。但是，商品网购评论的非结构化数据具有不确定性和高稀疏性，需要特殊的分析与处理方法，如何结合本书的研究对象，把当前已有的研究成果进行实际应用，仍然需要进一步的探究。
1.2.2 网购消费者行为分析的研究状况
目前，有关网购消费者行为的文献，研究内容主要集中在提高消费者服务水平、促进营销手段的使用等方面（Nguyen et al，2018）。因此，本小节将网购消费者行为的分析归纳为影响消费者制定购买决策的因素、基于消费者购买记录的商品关联关系分析及基于消费者各种行为记录的商品个性化推荐三个方面。
1. 影响消费者制定购买决策的因素
何小洲和刘代兵（2014）通过分析“中国制造”的商品，说明消费者对商品的原产地具有定形观念，并且商家可以通过合理的营销方式，改变国外消费者对“中国制造”的观念，从而提高他们的期望收益。苏怡如（2012）介绍了影响消费者行为的个体、心理与环境因素等。石禹秋（2011）通过分析消费者网购行为，发现消费者最易表现的行为是从众心理，个人的观念和行为受群体观念和行为的影响，从而想与大多数人的想法一致，进而会影响消费者的购买行为。彭敏枉等（2014）认为消费者最重要的信息来源是在线评论，通过了解商品的详细信息，会对消费者的购买决策、商品的销量有明显的影响，并且可以建立在线评论对消费者网购行为影响因素的评价体系。王小东等（2013）认为在电商平台下，消费者的行为会随着互联网的快速发展变得越来越复杂。人们选择网上购物的原因可以归纳为五点，包括节约时间、避免拥挤、商品丰富、更多选择、省钱，其中，消费者选择网购的最主要原因是时间价值，并非价格。李凯（2011）通过分析AISAS（attention、interest、search、action、share，关注、兴趣、查询、行动、共享，日本电通集团的互联网模式下消费者行为理论），以及天涯社区的案例，分阶段地给出具体的营销方式和步骤。Zhou等（2016）对比了产品的中文和英文网购评语，分析了网购评语对中国、美国消费者制定购买决策的影响，通过消费者的在线评论内容，分析消费者的表达方式、对产品的侧重等差异。Pappas等（2016）运用复杂性理论来解释网上购物刺激因素的因果模式。Stouthuysen等（2018）分析得出网络体验是影响初始信任与消费者在线购买决策关系的关键因素。Huang等（2018）分析了电商平台网站设计中字体效果对消费者制定购买决策的影响。
现有文献通过分析消费者的购买个体、心理及环境等因素，来研究消费者网购的原因，通过分析消费者自身的特点，对网购消费者的行为模式进行进一步的分析。但是，目前的研究仅仅局限于通过分析网购评语对消费者购买行为的影响与可能采取的营销方案，而没有对商品之间的关联、消费者之间的行为相似性及在线网购评语的同质性与网购的规律进行探讨。
2. 基于消费者购买记录的商品关联分析
现有文献对消费者购买记录的分析基本上采用关联规则方法（Brijs et al.，2004）。Wong等（2003，2005）首先把交叉销售因素和商品选择进行结合，建立了MPIS（maximal-profit item selection，收益最大项选择）模型，提出了损失规则；其次，通过关联规则中的置信度来描述目标商品与非目标商品之间的关联；最后，给出了对应的优化求解算法。张志宏等（2011）运用关联规则方法分析关联关系，通过建立多目标优化模型，把受交叉销售因素影响产生的直接利润及商品直接利益转化为彼此独立的优化目标，并运用多目标遗传算法对模型进行求解。琚春华和殷贤君（2012）同样采用关联规则算法来挖掘商品对之间潜在的关联及其过程中产生的频繁项目集。杨丰梅等（2014）运用截矩阵技术与邻接矩阵的方法，挖掘商品之间的关联性，并采用该方法获得频繁项集。彭敦陆和张书录（2016）通过对用户行为及电商平台上结构化的数据进行分析，计算商品之间的关联性，并找到一些紧密相关，但共同出现次数不多的商品推荐给用户。岳昆等（2020）基于贝叶斯网的知识图谱，融合用户行为记录中蕴含的知识，构建描述商品间关联关系及其不确定性的贝叶斯网。
关联规则方法虽然能够挖掘商品之间的最优组合，但该方法只适用于单次购买的商品组合，未考虑用户多次购买中商品之间的关联，如手机与数据线的附属关系，但是，关联规则方法只能通过消费者同时购买手机和数据线的单次记录来挖掘二者是否存在直接关联，并没有考虑消费者通过多次购买商品的间接关系（非直接同时购买关系），但间接关系可以为商家实现关联促销、个性化推荐及精准营销提供便利，具有重要的实际意义，这是关联规则模型不能做到的。
3. 基于消费者各种行为记录的商品个性化推荐
互联网正向人工智能方向逐步发展，推荐系统不仅在商业界被广泛应用，学术界也对其高度重视，目的是提高推荐算法的性能与用户满意度（黄
展开
