第1章 轨道交通客流大数据概述
本章*先介绍了大数据的概念、特点、数据类型和相关技术，接下来阐述了世界和中国城市轨道交通的发展历程，然后探讨了轨道交通网络化运营的概念和特点，在网络化运营背景下，形成了具备“7V”特征的城市轨道交通客流大数据，*后介绍了轨道交通大数据存储技术、治理技术、分析挖掘技术和可视化技术，重点结合城市轨道交通客流大数据特点，归纳总结了城市轨道交通大数据分析挖掘的方法。
1.1 大数据概述
1.1.1 大数据概念
大数据(Big Data)是指规模超出人类可接受时间范围内的常规工具采集、处理、分析能力的海量数据资产。按照国际数据公司(International Data Corporation，IDC)提出的“4V”模型，大数据应具有四个典型的特征，即数据容量大(Volume)、巨大价值(Value)、种类多(Variety)、处理速度快(Velocity)。近年来，大数据技术不断地发展和完善，大数据的特征演变为“5V”/“7V”模型，即大数据具有5(7)个典型的特征，即Volume、Value、Variety、Velocity、Veracity(Visualization、Viscosity)。
容量(Volume)：数据的规模决定着数据包含的信息量；
价值(Value)：合理运用分析方法，以挖掘数据的潜在价值；
种类(Variety)：数据构成通常包括结构化数据、半结构化数据和非结构化数据；
速度(Velocity)：对海量数据快速采集、处理、分析、挖掘的能力；
真实性(Veracity)：现实、真实获取的反映事物客观发展变化的数据；
可视化(Visualization)：将大数据分析挖掘的结果以可视化的形式呈现；
黏性(Viscosity)：用户对数据包含信息和价值的依赖程度。
1.1.2 数据类型
从数据的信息构成特点来讲，通常分为三种类型，分别是结构化数据、非结构化数据和半结构化数据。
1．结构化数据
结构化数据是指采用标准化格式的数据，具有明确定义的结构，遵循持久的顺序，并且易于人类和程序访问。
简单说就是数据库可以存储的数据，也就是存储于数据库中，可以用二维表格形式表征的数据，表格每一列的数据类型相同，如表1.1所示。
结构化的数据便于人和计算机对数据进行存储、处理和查询，在结构化数据的访问和分析过程中，直接抽取有价值的信息，对于新增数据可以用固定的技术手段进行处理。
表1.1 结构化数据示例
2．非结构化数据
非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维表来直接呈现的数据。常见非结构化数据包括办公文档、文本、各类报表、图片、图像和音/视频文件等，如图1.1所示。
图1.1 非结构化数据
非结构化的数据由于没有统一规范的结构化属性，在保存数据时还需要保存数据的原始结构，这就加大了对数据进行存储和处理的难度。进入21世纪以来，随着互联网和多媒体技术的快速发展，以音/视频、各类文档为代表的非结构化数据增长迅速，新的数据类型不断出现，传统的数据处理技术已经不能满足非结构化数据的处理需要，通过人工智能技术分析、挖掘非结构化数据，提取结构化信息成为了近年来的热门研究方向。
3．半结构化数据
介于结构化数据和非结构化数据之间，结构化的数据和非结构化的内容混杂在一起，如XML、HTML等，存储结构中既包括可以二维表形式存储的字段数据，又包括音/视频文件数据，如图1.2所示。
图1.2 半结构化数据
1.1.3 大数据技术
大数据技术就是用于对海量多元数据进行采集、存储、处理、分析、挖掘、应用及可视化展示等的数理方法及信息技术手段，以数据价值的提炼、获取和应用为根本目的。近年来，大数据技术在金融、电信、移动互联网、交通、电力等领域得到了长足发展和广泛应用，在支撑行业信息共享、精细化管理、精准化管控、可预见性管理、科学决策等方面发挥着越来越大的作用。
大数据分析处理过程一般包括数据采集、数据处理、分析挖掘、数据应用与展示四个环节。从处理时效性要求来讲，分为离线数据分析和实时数据处理两种模态。数据采集环节面向数据库、移动互联网、Web应用和物联网系统等数据源，实现多源异构数据的获取、预处理和传输等作业。数据处理环节完成数据建模、数据加载转换、数据治理和数据存储管理，通过概念模型、逻辑模型和物理模型等数据建模过程，形成行业数据模型，海量数据存储和管理通常基于数据库技术，通过数据加载转换和数据治理，基于数据模型形成行业数据指标体系。数据的分析挖掘基于数据库的数据指标和实时数据，通过各类分析挖掘模型和算法，形成以数据规律、规则和预案为表征的数据特征指标体系和特征库。数据应用与展示环节面向用户统计分析、业务应用、仿真评估、实时控制、预测预警、突发事件处置等业务管理和决策需求，通过数据指标和特征指标的精准赋能，完成大数据价值的交付和呈现。大数据处理流程如图1.3所示，浅色为离线分析模态，深色为实时处理模态。
图1.3 大数据处理流程
1.2 城市轨道交通发展概况
随着世界城镇化的进程，人类逐步向城市聚集，导致城市地面交通容量不足和交通拥堵现象，这一现象也是“大城市病”的重要特征，城市管理者们为缓解地面交通拥堵，将交通网络向地下、地面高架延伸和发展，形成了地铁、轻轨等城市轨道交通系统。城市轨道交通系统是采用专用轨道导向运行的城市公共客运交通系统，包括地铁系统、轻轨系统、单轨系统、有轨电车、磁浮系统、自动导向轨道系统、市域快速轨道系统等[1]。它具有运力大、速度快、安全准时、成本低、节约能源、乘坐舒适方便以及能缓解地面交通拥挤和有利于环境保护等优点，常被称为“绿色交通”，接下来本节介绍城市轨道交通在世界的发展历程和中国的发展概况。
1.2.1 世界城市轨道交通发展历程
纵观世界轨道交通的发展历程，按照时间顺序和阶段性特征可以分为四个阶段[2]。
1．初步发展阶段(1863年～1924年)
1785年蒸汽机投入使用后，人类进入蒸汽时代，引发**次工业革命，随着蒸汽机的不断完善，蒸汽动力的应用使运输机械发生了巨大变革。伦敦作为当时世界上*大*繁荣的城市，长期处于交通瘫痪的状态，为解决运输问题，英国人皮尔逊为伦敦市设计了世界上*早的城市地铁系统，1863年1月10日，世界上**条由蒸汽机车牵引的地铁——伦敦大都会地铁在伦敦建成通车，从帕丁顿站到法灵顿站的线路，共有七个地铁站，全长约6.4千米。
世界上**条地铁的诞生，为其他人口密集城市的公共交通发展提供了宝贵的经验，电力驱动机车研究成功后，世界上一些大城市相继建成地下铁路，1863年～1899年，英国的伦敦和格拉斯哥、美国的纽约和波士顿、匈牙利的布达佩斯、奥地利的维也纳以及法国的巴黎共5个国家的七座城市率先建成了地下铁道。1900年～1924年，美洲和欧洲又有九座城市先后修建了地下铁路，如美国的费城、德国的柏林、汉堡及西班牙的马德里等。还有许多城市建设了有轨电车。
轨道交通初步发展阶段，世界上相继建立地下铁路的国家及数量如图1.4所示。
图1.4 世界轨道交通初步发展阶段各国地铁建设情况表
2．停滞萎缩阶段(1924年～1949年)
轨道交通具有运力大、速度快的优点，但其投资大、建设周期长，再加上第二次世界大战爆发和汽车工业发展的影响，轨道交通的建设陷入困境，部分有轨电车线路被拆除，但由于地下空间对战争具有防御作用，部分处于战争状态的城市反而加速地铁的建设，如大阪、东京和莫斯科等。在此期间，日本东京*条地下铁路银座线于1927年12月开通，东京成为亚洲*早拥有地铁的城市，拉开了亚洲城市地铁建设的帷幕。
3．再发展阶段(1949年～1969年)
二战后，随着世界经济复苏，汽车工业发展迅猛，汽车过度增加，使城市道路异常堵塞，行车速度下降，严重时还会导致交通瘫痪，加之空气污染，噪声严重，大量消耗石油资源，市区汽车有时甚至难以找到停车之处。这些因素使得人们重新认识到，解决城市客运问题必须依靠电力驱动的城市轨道交通。轨道交通因此重新得到了重视，而且从欧美扩展到亚洲等国家，这期间有17个城市新建了地铁，平均每年建成0.85个。中国**条地铁北京地铁1号线于1965年7月1日正式开工，1969年10月1日建成通车。
4．高速发展阶段(1970年至今)
世界各国城市化的趋势加快，导致人口高度集中，要求城市轨道交通高速发展以适应日益增加的客流运输需要，科学技术的进步也为城市轨道交通奠定了良好的发展基础。很多国家都确立了公共交通优先发展的战略，城市轨道交通在世界多国得以飞速发展，其中亚洲国家居多，如中国的天津、上海、广州、深圳、南京，朝鲜平壤，越南河内、胡志明，印度新德里、加尔各答等。城市轨道交通逐步成网，进入网络化运营阶段。
综上所述，城市轨道交通的发展至今已有一百多年的历史，从世界上**条伦敦地铁到现在遍布世界上55个国家、170余个城市，仍处于高速发展中，一些轨道交通比较发达的城市像北京、上海、伦敦、纽约、莫斯科等，已经进入网络化运营阶段，形成了规模效应，在方便公众出行、缓解城市交通拥堵等方面发挥了重要作用。
1.2.2 中国城市轨道交通发展概况
中国**条城市轨道交通线路是1969年建成的北京地铁1号线，直到1981年5月才正式投入运营。在2000年以前，我国轨道交通发展处于时断时续的缓慢发展期，进入20世纪80年代，北京才开始建设第二条地铁线，1984年12月天津地铁1号线投入运营，这个时期我国城市轨道交通线路在一定程度上缓解了地面交通拥堵，但尚未形成城市轨道交通网络。
2000年以后，我国城市轨道交通进入快速发展阶段，除了北京、香港、广州、上海等早期建设城市轨道交通的一线城市线网规模快速增长外，其他经济发展速度较快的城市也相继开通了城市轨道交通线路。截至2021年底，我国共有67个城市的轨道交通线网规划获批，有城市轨道交通线网建设规划并在实施的城市为56个[3]。我国部分城市开通城市轨道交通线路时间如表1.2所示。
表1.2 我国部分城市轨道交通开通时间一览表
展开
