联合训练大数据技术应用

本书聚焦联合训练大数据技术前沿，分为9章深入剖析和系统阐述其全生命周期管理与创新应用，从概念内涵（第1章）、采集传输（第2章）、高效存储（第3章）、规范治理（第4章），到分析与挖掘（第5章）、可视化展示（第6章）、决策与评价（第7章），再到安全防护（第8章）、智能应用（第9章）等关键环节，内容涵盖系统顶层设计、核心技术方法、工具平台应用及案例解析。本书可作为联合训练、数据分析师及技术工程师等大数据技术应用指南。

第1章联合训练大数据技术概览1

1.1联合训练大数据基本概念1

1.1.1从数据到大数据1

1.1.2从传统训练到联合训练大数据的转变2

1.1.3联合训练大数据特征分析3

1.2联合训练大数据的发展趋势5

1.2.1国外联合训练大数据技术现状5

1.2.2大数据推进联合训练的效能7

1.2.3加大联合训练数据建设力度8

1.3联合训练大数据系统顶层设计8

1.3.1设计目标与原则9

1.3.2需求分析10

1.3.3拓扑层级13

1.3.4迁移与适配15

1.3.5模块结构设计16

1.4本书架构19
第2章联合训练大数据采集传输20

2.1数据采集需求分析20

2.1.1数据采集框架20

2.1.2数据源采集需求23

2.1.3传输技术需求23

2.1.4数据采集工具需求24

2.2内部数据接入24

2.2.1传感器数据接入24

2.2.2训练装备数据接入25

2.2.3后勤保障数据接入25

2.2.4填报数据接入27

2.2.5人员训练数据接入27

2.3外部数据引接28

2.3.1地理环境数据引接28

2.3.2舆情数据引接28

2.3.3后备力量数据引接29

2.4跨网数据传输30

2.4.1云边端传输网络拓扑30

2.4.2网闸31

2.5常用大数据采集工具33

2.5.1基于互联网的数据采集工具33

2.5.2基于物联网的数据采集工具34
第3章联合训练大数据存储35

3.1联合训练数据存储分析35

3.1.1数据存储结构类型分析35

3.1.2数据存储需求分析36

3.2联合训练数据集中式存储38

3.2.1集中式存储技术39

3.2.2集中式数据架构41

3.3联合训练数据分布式存储43

3.3.1分布式存储类型43

3.3.2分布式文件系统43

3.3.3分布式存储关键技术44

3.3.4分布式编程模型45

3.4云存储及存储虚拟化45

3.4.1统一云管平台46

3.4.2异构存储资源纳管47

3.5大数据存储工具47

3.5.1关系型数据库管理系统48

3.5.2图数据库管理系统48
第4章联合训练大数据治理50

4.1数据治理需求分析50

4.1.1元数据与主数据管理需求分析50

4.1.2数据集成与共享需求分析51

4.1.3异构数据源融合需求分析51

4.1.4数据质量与标准化管理需求分析51

4.2元数据管理52

4.2.1元数据管理目标52

4.2.2元数据设计原则53

4.2.3元数据管理流程 54

4.2.4元数据聚合56

4.2.5元数据扩展56

4.3主数据治理57

4.3.1主数据模型建立57

4.3.2主数据编码规则59

4.3.3主数据质量检查61

4.4异构数据源融合62

4.4.1异构数据融合过程62

4.4.2数据融合的技术方法62

4.4.3融合的三种层次64

4.5数据质量管理65

4.5.1数据质量管理治理流程66

4.5.2数据质量管理评价67

4.6数据标准化管理67

4.6.1数据标准的分类规划68

4.6.2数据标准的评审发布69

4.6.3数据标准的执行69
第5章联合训练大数据分析与挖掘71

5.1分析挖掘和趋势描述方法71

5.1.1技术定义及含义71

5.1.2大数据分析挖掘功能72

5.1.3与传统分析方法的区别74

5.2分析挖掘的架构与步骤74

5.2.1问题描述与架构74

5.2.2数据的选择与预处理75

5.2.3数据挖掘模式和方法76

5.2.4结果与评估77

5.3常用分析与挖掘方法77

5.3.1关联规则77

5.3.2聚类分析79

5.3.3回归分析82

5.3.4数据降维相关性分析83

5.3.5相关性分析的其他常用方法87
第6章联合训练大数据可视化展示89

6.1数据可视化基础89

6.1.1数据对象与属性类型89

6.1.2数据的基本统计描述89

6.1.3视觉编码与通道90

6.1.4用户感知与认知机制93

6.2大数据可视化设计组件94

6.2.1可视化设计准备95

6.2.2可视化设计模型96

6.2.3可视化数据98

6.3基础大数据可视化展现方式98

6.3.1对比趋势可视化98

6.3.2关系数据可视化100

6.3.3比例数据可视化100

6.3.4其他图表可视化102

6.4高级与复杂可视化方式103

6.4.1树状图、层次聚类与分层可视化103

6.4.2流程图与桑基图106

6.4.3三维与动态可视化技术综合态势展示107
第7章联合训练大数据决策与评价109

7.1决策分析的任务和层次109

7.1.1联合训练决策分析的任务域109

7.1.2联合训练决策分析层次110

7.2决策的模型框架设计110

7.2.1联合训练决策的作用机理111

7.2.2联合训练决策的模型结构112

7.2.3联合训练决策的大数据要素113

7.3决策的关键环节 114

7.3.1多维度数据分析114

7.3.2决策主体的数据共享115

7.3.3决策数据挖掘及分析116

7.3.4决策方案的选择117

7.4决策的评价分析 117

7.4.1决策动态分析117

7.4.2决策全局性分析117

7.4.3决策个性化分析118

7.5评价机制的设计118

7.5.1评价对象的确立119

7.5.2决策与评价原则119

7.5.3评价指标120

7.5.4数据分析方法122

7.5.5评价结果分析126
第8章联合训练大数据安全防护128

8.1大数据安全防护体系128

8.1.1大数据安全需求128

8.1.2大数据系统安全体系构建129

8.1.3专用网络安全加固130

8.2大数据安全技术131

8.2.1传统安全技术131

8.2.2大数据隐私保护措施134

8.3大数据备份136

8.3.1大数据备份策略136

8.3.2大数据备份内容137
第9章联合训练大数据智能应用139

9.1大数据与智能化技术融合139

9.1.1大数据与人工智能双驱动139

9.1.2大数据在人工智能中的作用140

9.2联合训练的智能化转型141

9.2.1智能化训练基本概念142

9.2.2智能化训练目标142

9.3智能化训练的策略与原则145

9.3.1训练流程的优化策略145

9.3.2智能化训练的原则148

9.4联合训练的数据驱动模型149

9.4.1智能化训练模型构建149

9.4.2智能分析与决策支持151

9.4.3模型应用与持续优化152

9.5智能化联合训练应用154

9.5.1战术模拟与演练154

9.5.2文本智能分析与问答154

9.5.3虚拟对话与通信155

9.5.4智能化后勤支持系统156

9.5.5智能装备与优化训练156