第一章　绪论
　　随着信息技术的不断发展，人类社会已经迈入以信息为特征的数字经济时代，数据成为数字经济时代的关键生产要素，社会经济发展形态出现了新的变化，数字经济时代的大数据及其相关技术在为商务数据分析领域带来大量机遇的同时也带来了一些新的挑战。在本章中您将掌握数字经济时代与商务数据分析的相关概念与特点，并结合相关案例理解商务数据分析在现实场景中的应用。
　　学习目标
　　掌握数字经济时代的主要特征及数据生产要素。
　　掌握数据与大数据的概念及特征。
　　理解商务数据分析的概念、特点和作用。
　　理解商务数据分析的理论、技术和应用体系。
　　掌握商务数据分析的挑战和发展趋势。
　　第一节　数字经济时代
　　一、数字经济及其主要特征
　　（一）数字经济
　　从最早的石器时代一直到今天以信息为特征的数字经济时代，一次次的科技革命与人类的思想文明革命像一个个推动器，极大地推进人类社会向着人的彻底解放的崇高目标飞跃发展，也使人类以神奇无比的财富创造力，创造了当今难以置信的物质财富和精神财富。数字经济早期常被认为是互联网经济或信息经济的代名词，而随着技术的不断发展，数字经济的内涵不断扩大，也促进了中国的包容性增长。如今，数字经济的定义已经不再局限于互联网经济或信息经济，而是以使用数字化的知识和信息作为关键生产要素、以现代信息网络作为重要载体、以信息通信技术的有效使用作为效率提升和经济结构优化的重要推动力的一系列经济活动。通俗来说，数字经济是随着信息技术革命发展而产生的一种新的经济形态。
　　大数据和云计算等新技术的融合，推动了物联网的迅速发展，实现了人与人、人与物、物与物的互联互通。全球数据量大约每两年翻一番，于是人类生产活动的一系列生产要素都需要数字化—数字经济更容易实现规模经济和范围经济，而数字贸易也呈现贸易成本普遍降低、中间环节大幅减少等趋势。数字经济将成为继农业经济、工业经济之后的一种新的社会经济发展形态。
　　（二）数字经济的主要特征
　　数字经济作为一种新的社会经济发展形态，具有以下特征。
　　第一，数据成为推动经济发展关键的生产要素。不同于过去的农业时代和工业时代，数字经济时代的经济发展所依靠的关键生产要素不再是土地、劳动、资本与技术，而是数据。作为数字经济时代的新型关键生产要素，数据的重要地位不言而喻，甚至有人将数据形象地比喻为“未来的新石油”，数据必将成为未来竞争的一种核心资产。此外，土地、劳动等农工业经济时代的关键生产要素，其本身的属性决定了这些要素必须受到稀缺性的制约，然而，数据与前者不同，对数据而言，生产活动是无尽的，数据就是无尽的。数据的可复制和共享性使得其从根本上打破了稀缺性生产要素的制约，成为推动经济持续发展的根本保障。
　　第二，数字基础设施成为新的基础设施。数字经济时代来临，数据作为新的关键生产要素的同时，也对基础设施的形态造成了改变。相应地，数字基础设施成为新的生产要素，主要体现在两个方面：其一，大力推动信息基础设施建设，加大劳动者相关素养和技能的培训，这意味着无线网络等相关的基础设施需要更多的资金支撑；其二，推动传统的基础设施的数字化改造，实现数字化转型，这个过程需要充分利用一系列数字化技术，才能实现传统设施的顺利转型。
　　第三，供给和需求的界限日益模糊。传统经济活动的供给侧和需求侧是相互分离的。在物质稀缺的年代，“萨伊定律”形象地表示了供需侧关系，即供给决定需求。尽管随着生产能力的提高，物质稀缺问题在一定程度上得到了解决，但是供给侧和需求侧的关系没有本质变化，二者还是分离的。随着数字经济的发展，供给和需求方面出现了很多全新的模式，行业价值链发生了改变，数字化技术的成熟推动供给侧和需求侧逐渐走向融合。
　　二、数据生产要素
　　数字经济蓬勃发展，数据已然成为新经济时代的主要组成部分，数据在数字经济时代的地位，不亚于石油在工业经济时代的地位，尽管数据已经是公认的重要元素，但对于数据在数字经济时代的定位一直没有确定的标准。直到2020年4月9日，中央决策层下发了重要文件《关于构建更加完善的要素市场化配置体制机制的意见》（以下简称《意见》），数据在数字经济时代的地位有了来自官方的权威认可：它与土地、劳动力、资本、技术等一样，都是可市场化配置的生产要素。这意味着数据被认可为国家定义的“生产要素”，这是对数据重要性的肯定，具有相当重要的时代性意义。数据被认可为生产要素后，其交换将走向市场化，数据要素面临着市场化配置的问题。在工业经济时代，数据不是主要的生产要素，相关技术和知识产权制度等暂时没有包含对信息等要素的讨论，但中央决策层下发《意见》后，已经明确说明，要进行市场化配置的要素主要有五种，即土地、劳动力、资本、技术、数据。
　　关于数据作为新的生产要素而进一步市场化配置的问题，在《意见》中也做出了相应指示，经过总结，大致包括以下几点。
　　（一）进一步推进政府数据实现开放共享
　　主要任务是优化治理政府各部门基础数据库，进一步落实各级各部门间数据共享交换，消除信息孤岛，同时制定相应的权利责任制度，出台新一批数据共享责任清单。
　　（二）进一步发掘社会数据资源
　　在数字经济时代许多新产业、新业态和新模式应运而生，需要加大培育力度。另外，在现有领域（农工业、教育、公共资源交易等）构建数据开发利用场景，并支持和推进场景的规范化。在数据的采集方面，进一步推进落实新一代信息技术等相关领域的数据采集标准化。
　　（三）加强数据资源整合和安全保护
　　在数字经济时代数据是重要的竞争资源，具有极高的利用价值，同时也存在不容忽视的安全问题，探索建立统一规范的数据管理制度十分重要。不仅需要完善相关产权，还需要推动完善适用于数字经济时代的数据分类分级安全保护制度，加强对政务、企业和个人数据的隐私保护。
　　第二节　数据和大数据
　　一、数据
　　（一）数据的概念
　　数据科学这门学科研究的核心内容就是数据，那究竟什么是数据呢？一提到数据，我们首先想到的会是数字，但数据并不局限于数字，文本、音频、图像、视频都可以是数据。在本书里，我们对数据给出如下定义。
　　数据是指以定性或者定量的方式来描述事物的符号记录，可定义为有意义的实体，它涉及事物的存在形式。“数据”的含义很广，不仅指1011、8084这样一些传统意义上的数据，还指“Dataology”“上海市数据科学重点实验室”“2020/02/14”等符号、字符、日期形式的数据，也包括文本、声音、图像和视频等类型的数据，而微博、微信、购物记录、住宿记录、乘飞机记录、银行消费记录、政府文件等也都是数据。
　　在这里，我们需要注意的是“数据”与“信息”“知识”等概念之间存在一定的区别和联系。这三者之间最主要的区别是所考虑的抽象层次不同。数据是最低层次的抽象，信息次之，知识则是最高层次的抽象。数据是用来记录客观事物状态的原始符号；信息是经过解释和理解，能够消除人们某种不确定性的东西；知识是可指导行动的信息。
　　我们对数据进行解释和理解之后，才可以从数据中提取出有用的信息。对信息进行整合和呈现，则能够获得知识。例如，世界第一高峰珠穆朗玛峰的高度为8848.86 m，可以认为是“数据”；一本关于珠穆朗玛峰地质特性的书籍，则是“信息”；一份包含了攀上珠穆朗玛峰最佳路径信息的报告，就是“知识”了。所以，我们说数据是信息的载体，是形成知识的源泉，是智慧、决策及价值创造的基石。
　　近年来，数据规模与利用率之间的矛盾日益凸显。一方面，数据规模的“存量”和“增量”在快速增长。根据国际权威机构Statista的统计和预测，全球数据量在2019年约达到41ZB，国际数据公司（International Data Corporation，IDC）预计到2025年，全球数据量将增加至2016年的近十倍，达到163ZB。在人们的生活与生产中，正在生成、捕获和积累着海量数据。例如，纽约证券交易所（New York Stock Exchange，NYSE）每天生成大约4～5TB的数据；Illumina（因美纳）的HiSeq 2500测序仪（HiSeq 2500 sequencer）每次运行1TB的数据，大型实验室拥有几十台类似大型综合巡天望远镜（large synoptic survey telescope，LSST）的机器，每天可以生成40TB的数据；Facebook（脸书）每个月数据增长达到7PB；瑞士日内瓦附近的大型强子对撞机（large hadron collider）每年产生约30PB的数据；Internet Archive项目已存储大约99PB的数据等。
　　另一方面，我们缺乏对“大数据”的开发利用能力。虽然我们经常提到或听到“数据是一种重要资源”，但我们并未深入了解数据，尤其是大数据的本质及演化规律，更没有具备将数据资源转换为业务﹑决策和核心竞争力的能力。因此，我们急需包括理念、理论、方法、技术、工具、应用在内的一整套科学知识体系—大数据管理与应用。
　　（二）数据模型
　　数据建模是人们理解数据的重要途径之一。按照应用层次和建模目的，可以把数据模型分为三种基本类型：概念模型﹑逻辑模型和物理模型。因此，在实际工作中，需要注意数据模型的层次性，不同类型的人员所说的数据模型可能不在同一个层次上。当然，不同层次的数据模型之间存在一定的对应关系，可以进行相互转换，如图1-1所示。
　　图1-1　数据模型的层次
　　概念模型（conceptual model）是以现实世界为基础，从普通用户（如业务员﹑决策人员）视角对数据构建的模型，主要用来描述世界的概念化结构，与具体的数据管理技术无关，即同一个概念模型可以转换为不同的逻辑模型。常用的概念模型有各种文档模板、业务流程图、ER图、面向对象模型和谓词模型等。
　　逻辑模型（logical model）是在概念模型的基础上，从数据科学家视角对数据进一步抽象的模型，主要用于数据科学家之间的沟通和数据科学家与数据工程师之间的沟通。常用的逻辑模型有关系模型、层次模型、网状模型、key-value、key-document、key-column和图模型等。
　　物理模型（physical model）是在逻辑模型的基础上，从计算机视角对数据进行建模后得出的模型，主要用于描述数据在存储介质上的组织结构，与具体的平台（包括软硬件）直接相关。常用的物理模型有索引、分区、复制、分片、物化视图、事务、版本戳等。
　　通常，数据科学中数据的捕获﹑存储、传递、计算、显示处理的难点源自“数据的异构性”—涉及多种数据模型或同一类模型的不同结构。为此，数据科学家经常采用跨平台（应用）性较强的通用数据格式，即与特定应用程序及其开发语言无关的数据格式的方法使不同应用程序之间进行数据传递和数据共享。常见的通用数据格式有：关系表（二维表/矩阵）、逗号分隔值（comma separated value，CSV）、JS对象简谱（JavaScript object notation，JSON）、可扩展标记语言（extensible markup language，XML）、资源描述框架（resource description framework，RDF）和网络本体语言（web ontology language，OWL）等。
　　（三）数据维度
　　数据分类是帮助人们理解数据的另一个重要途径。为了深入理解数据的常用分类方法，可以从三个不同维度分析数据类型及其特征。
　　从数据的结构化程度看，可以分为结构化数据、非结构化数据和半结构化数据三种，如表1-1所示。在数据科学中，数据的结构化程度对于数据处理方法的选择具有重要影响。