大数据管理(杨柳)

《大数据管理》既包括了大数据管理的相关技术知识，也涵盖了大数据管理在多个行业的应用与案例分析，包括： 大数据基础、大数据采集、大数据存储、大数据分析、大数据融合、大数据隐私、大数据可视化、大数据前沿、医疗大数据、教育大数据、金融大数据、交通大数据。通过本书，读者能够全方位地认识和掌握大数据管理的相关知识，深入了解大数据的应用价值。
本书可作为高等学校大数据管理与应用、信息管理与信息系统等管理类、信息类以及智能建造、智能制造、智慧交通等新工科专业的本科生、研究生教材，还可作为大数据相关企业的管理者与实践者的培训用书和参考读物。

何庆，贵州大学，教授，主要研究领域与方向大数据技术应用、机器学习、自然语言处理。贵州省大数据专家库专家，中国中文信息学会理事，中国民族医药学会信息与大数据分会理事

大数据时代已经来临，它为我们带来了前所未有的机遇和挑战。在这个数字化、互联网化的世界中，数据不仅是生产力的源泉，更是洞察、决策和创新的关键。大数据是指数据的规模庞大，而且数据内容多样、处理速度快和利用价值高。数据的来源很多，包括社交媒体、传感器、移动设备和互联网等，如何有效地捕捉、传输、存储、处理和分析这些数据，已经成为各行各业迫切需要解决的问题。
本书的目标是为读者提供关于大数据的全方位介绍，将引导读者深入了解大数据的核心概念，包括： 分布式存储和计算、数据采集和处理、数据可视化和数据分析、数据隐私安全等多个方面的内容；还将对大数据在医疗、教育、金融和交通四个领域的应用案例进行深入分析。大数据是一个不断演进的领域，希望本书能够激发读者对大数据相关领域的兴趣，深入研究，并在实际工作中应用这些知识，为未来的数据驱动世界做出贡献。
本书共分为12章。第1章介绍了大数据的基础概念和意义；第2章介绍了大数据采集流程和技术；第3章介绍了大数据存储技术与应用；第4章介绍了大数据分析的核心算法；第5章介绍了大数据融合的概念及融合技术；第6章介绍了大数据隐私的基础概念和保护技术；第7章介绍了大数据可视化的理论、流程和框架；第8章介绍了大数据前沿关键技术。第9章至第12章分别从医疗、教育、金融、交通领域介绍了相关概念、应用现状以及发展趋势。
本书具有如下鲜明特色。
（1） 本书全面地介绍了大数据管理中涉及的概念和技术。书中详细阐述大数据管理相关知识和技术方面的定义、特征和范围，让读者能清楚地理解大数据管理的本质。同时，本书深入浅出地介绍了大数据管理的各种技术，包括大数据采集、大数据存储、大数据分析、大数据融合、大数据隐私、大数据可视化等方面的概念、内容及趋势。通过本书的阅读，读者将深入了解大数据管理相关的基本概念和技术，学习各种工具和技术在大数据管理中的使用。
（2） 本书不仅关注技术层面，还从实践的角度介绍了大数据管理的实践。书中通过大量的案例，生动地展示了大数据管理在医疗、教育、金融、交通四个领域的应用实例，使得读者可以更好地理解大数据管理的实用价值。通过本书的阅读，读者将学习到大数据管理相关技术的实践，了解并学习如何将这些实践应用于实际场景中。
（3） 本书还注重培养读者的探索思维和创新能力。书中通过思考题，引导读者深入探索大数据管理相关知识的本质和应用价值，鼓励读者发挥自己的创造力和想象力，探索新的大数据管理技术和应用，为未来在大数据领域进一步学习奠定坚实的基础。
本书的编写得到了国家自然科学基金“面向侦查文书的证据链构建关键技术研究(编号：62166006) ”，国家自然科学基金“空间公平性视角下贵州贫困山区乡村聚落空间重构研究——以滇黔桂石漠化区为例(编号： 41861038) ” 的资助。本书由贵州大学公共管理学院、贵州大学大数据与信息工程学院、贵州省大数据产业发展应用研究院的4 名教师协同编写完成，是贵州大学物联网工程专业省级一流本科专业建设成果教材。何庆博士负责本书的整体设计、指导编写、统稿、校对，以及第1章的撰写等工作；杨柳博士负责第2章，第5章，第7章的第1、2节，第8章的第5、6节及第12章的编写；杜逆索博士编写第3章、第4章、第6章和第8章的第1、2、4节；张欣博士负责第7章的第3、4、5节，第8章的第3节，第9章、第10章和第11章的编写。在撰写本书的过程中，贵州省大数据产业发展应用研究院龙剑老师与贵州大学大数据与信息工程学院的袁畅、汪钰姬、李言博、范梦云、代文卓、郑萌、陆顺意等硕士生做了大量辅助性工作，在此一并表示衷心感谢。
由于编者的水平有限，加之时间仓促，书中难免存在不足之处，敬请读者批评指正，提出宝贵建议。

编者
2024年4月

第1章　绪论001 
1.1　大数据的基本概念001
1.2　数据生命周期002
1.3　大数据的意义003
1.4　大数据的相关技术及作用003
1.5　大数据的应用领域004
1.6　大数据面临的挑战006
本章小结006
习题006
参考文献007

第2章　大数据采集008 
【本章导读】008
【学习目标】008
2.1　大数据采集概述008
2.1.1　基本概念008
2.1.2　数据采集与大数据采集009
2.2　数据质量和数据预处理009
2.2.1　数据预处理010
2.2.2　数据清洗010
2.2.3　数据转换011
2.2.4　数据消减012
2.3　互联网采集013
2.3.1　互联网数据特点013
2.3.2　互联网采集技术014
2.3.3　互联网采集策略015
2.3.4　互联网采集现状016
2.4　物联网采集017
2.4.1　物联网体系结构018
2.4.2　物联网协议018
2.4.3　物联网数据采集技术020
本章小结021
习题022
参考文献022

第3章　大数据存储023 
【本章导读】023
【学习目标】023
3.1　数据库管理技术023
3.1.1　关系数据库与非关系数据库023
3.1.2　SQL 数据库025
3.1.3　NoSQL 数据库025
3.1.4　NewSQL 数据库027
3.2　分布式文件系统027
3.2.1　计算机集群的结构027
3.2.2　分布式文件系统的结构028
3.2.3　分布式文件系统的设计需求029
3.2.4　分布式文件系统的存储原理029
3.3　大数据存储管理032
3.3.1　大数据存储管理概念032
3.3.2　大数据存储数据容灾技术033
3.3.3　大数据存储数据冗余去除技术034
3.3.4　大数据存储纠删码技术与优化035
本章小结040
习题040
参考文献040

第4章　大数据分析042 
【本章导读】042
【学习目标】042
4.1　机器学习042
4.1.1　基础概念042
4.1.2　监督算法043
4.1.3　无监督算法048
4.1.4　集成学习050
4.2　深度学习——神经网络054
4.2.1　基本概念054
4.2.2　前馈神经网络054
4.2.3　卷积神经网络055
4.2.4　循环神经网络060
4.3　模型评估063
本章小结064
习题065
参考文献065

第5章　大数据融合067 
【本章导读】067
【学习目标】067
5.1　多源数据067
5.1.1　数据孤岛067
5.1.2　多来源与多模态068
5.1.3　数据溯源069
5.2　数据集成069
5.2.1　联邦数据库与数据联邦070
5.2.2　中间件071
5.2.3　数据仓库072
5.2.4　数据湖072
5.3　数据融合技术073
5.3.1　数据融合073
5.3.2　知识融合076
本章小结078
习题079
参考文献079

第6章　大数据隐私080 
【本章导读】080
【学习目标】080
6.1　基本概念080
6.1.1　隐私080
6.1.2　大数据隐私的挑战081
6.2　大数据安全技术082
6.2.1　访问控制082
6.2.2　同态加密084
6.2.3　可信执行环境086
6.2.4　密文搜索088
6.3　大数据隐私保护技术089
6.3.1　数据脱敏089
6.3.2　信息混淆090
6.3.3　差分隐私091
6.3.4　多媒体数据隐私保护092
6.4　联邦学习093
6.4.1　联邦学习架构093
6.4.2　联邦学习分类095
6.4.3　联邦学习开源平台096
本章小结099
习题099
参考文献099

第7章　大数据可视化101 
【本章导读】101
【学习目标】101
7.1　大数据可视化的概念和发展历程101
7.1.1　大数据可视化的基本概念101
7.1.2　大数据可视化的发展历程102
7.1.3　大数据可视化的基本特征103
7.1.4　大数据可视化的类型104
7.2　大数据可视化基础106
7.2.1　设计步骤106
7.2.2　视觉编码106
7.2.3　大数据可视化设计原则107
7.2.4　统计图表可视化108
7.2.5　大数据可视化工具111
7.3　大数据可视化分析的方法112
7.3.1　网络数据可视化技术112
7.3.2　时间数据可视化技术113
7.3.3　多维数据可视化技术114
7.3.4　文本可视化技术115
7.3.5　交互可视化技术115
本章小结116
习题116
参考文献116

第8章　大数据前沿118 
【本章导读】118
【学习目标】118
8.1　关键技术118
8.1.1　虚拟现实118
8.1.2　增强现实120
8.1.3　混合现实120
8.1.4　人工智能121
8.1.5　云计算122
8.1.6　区块链123
8.2　Web 3.0 124
8.2.1　发展过程125
8.2.2　发展趋势127
8.3　工业4.0 128
8.3.1　发展历程129
8.3.2　发展趋势130
8.4　智慧城市131
8.4.1　发展过程131
8.4.2　发展趋势132
本章小结133
习题134
参考文献134

第9章　医疗大数据135 
【本章导读】135
【学习目标】135
9.1　问题与挑战135
9.2　基本概念与发展历程136
9.2.1　基本概念136
9.2.2　发展历程137
9.3　具体案例分析137
9.3.1　电子健康档案137
9.3.2　智慧居家护理及远程医疗142
9.4　未来趋势147
本章小结148
习题148
参考文献148

第10章　教育大数据150 
【本章导读】150
【学习目标】150
10.1　问题与挑战150
10.2　基本概念与发展历程151
10.2.1　基本概念151
10.2.2　发展历程151
10.3　具体案例分析153
10.3.1　智能技术助力语言学习153
10.3.2　智慧教育的实践探索154
10.3.3　智能技术助力学校数字转型155
10.3.4　课程信号大数据教育应用155
10.3.5　学位罗盘大数据教育应用158
10.4　未来趋势159
本章小结160
习题161
参考文献161

第11章　金融大数据162 
【本章导读】162
【学习目标】162
11.1　机遇与挑战163
11.1.1　金融业发展面临的机遇163
11.1.2　金融业发展面临的挑战164
11.2　基本概念与发展历程164
11.2.1　基本概念164
11.2.2　发展历程167
11.3　具体案例分析169
11.3.1　精准营销169
11.3.2　风险控制172
11.4　未来趋势175
本章小结176
习题176
参考文献176

第12章　交通大数据178 
【本章导读】178
【学习目标】179
12.1　问题与挑战179
12.2　基本概念与发展历程180
12.2.1　基本概念180
12.2.2　发展历程182
12.2.3　交通大数据分类182
12.3　具体案例分析185
12.3.1　路面异常“智能巡逻” 185
12.3.2　“公交优先”特色的上海智慧交通云服务188
12.3.3　贵州交广“互联网+ 智慧交通云平台” 191
12.4　未来趋势192
本章小结194
习题194
参考文献195