公共文化服务大数据

本书基于公共数字文化服务工作的现状，深入分析了公共文化服务大数据来源及类型、采集方法、存储方法、分析指标体系和分析方法，以及应用系统的研发方法。通过理论联系实际，从工程上给出了公共数字文化工程大数据分析平台的建设规划。很后，通过实地调研全国的公共文化机构，就公共文化大数据源及典型应用、新型公共电子阅览室建设思路、数字文化馆及数字文化体验空间建设方案等主要实践经验，进行了提炼和总结。

本书基于公共数字文化服务工作的现状，深入分析了公共文化服务大数据来源及类型、采集方法、存储方法、分析指标体系和分析方法，以及应用系统的研发方法。通过理论联系实际，从工程上给出了公共数字文化工程大数据分析平台的建设规划。很后，通过实地调研全国的公共文化机构，就公共文化大数据源及典型应用、新型公共电子阅览室建设思路、数字文化馆及数字文化体验空间建设方案等主要实践经验，进行了提炼和总结。

目  录

1  公共文化服务领域大数据采集与分析现状调查研究报告 ................1

1.1  引言 ......................................................1

1.2  调研目标 ..................................................1

1.2.1  大数据的发展历史 ......................................2

1.2.2  大数据的定义 ..........................................2

1.2.3  大数据的特征 ..........................................4

1.2.4  大数据的价值和意义 ....................................4

1.3  调查对象 ..................................................6

1.3.1  公共文化服务的概念 ....................................6

1.3.2  公共文化服务大数据的特点 ..............................7

1.3.3  公共文化服务机构信息化和数字化现状 ....................8

1.3.4  学术研究层面公共文化服务领域大数据研究现状 ..........10

1.3.5  国家战略层面公共文化服务领域大数据研究现状 ..........11

1.4  调查方法 ................................................12

1.5  调查结果 ................................................12

1.5.1  图书馆 ..............................................12

1.5.2  博物馆 ..............................................15

1.5.3  共享工程大数据资源 ..................................18

1.5.4  文化馆 ..............................................19

1.5.5  艺术馆 ..............................................21

1.6  调研结论 ................................................21

1.7  建议 ....................................................22

2  公共文化服务大数据的来源及类型构成研究报告 ....................23

2.1  公共文化服务大数据的来源 ................................23

2.2  公共文化服务大数据的类型构成 ............................25

3  公共文化服务大数据采集方法研究 ................................27

3.1  研究目标 ................................................27

3.2  研究领域 ................................................29

3.2.1  辅助服务数据的采集 ..................................29

3.2.2  线下体验用户数据的采集 ..............................30

3.2.3  公共数字文化全国共享服务平台的平台运行数据的采集 ....31

3.3  关键技术 ................................................31

3.4  公共文化服务大数据的采集方法 ............................32

3.4.1  数据采集路线 ........................................32

3.4.2  传统纸质文献数据的采集 ..............................33

3.4.3  网络公共文化大数据的采集 ............................36

3.4.4  基于文化体验设备的用户行为大数据的采集 ..............41

3.4.5  文化机构的各种公共文化服务大数据的采集 ..............42

3.4.6  大数据平台运行数据的采集 ............................45

3.4.7  共享工程大数据的采集方法 ............................50

3.4.8  其他数据源的采集方法 ................................50

4  公共文化服务大数据存储模式与机制研究 ..........................52

4.1  研究目标 ................................................52

4.2  研究领域 ................................................52

4.3  关键技术 ................................................53

4.4  公共文化服务大数据存储模式与机制 ........................53

4.4.1  海量数据预处理技术 ..................................54

4.4.2  海量数据装载技术 ....................................55

4.4.3  关系数据库 ..........................................56

4.4.4  NoSQL数据库研究 ....................................57

4.4.5  分布式文件系统 ......................................60

5  公共文化服务大数据分析指标体系研究 ............................66

5.1  研究目标 ................................................66

5.2  研究领域 ................................................66

5.3  研究方法 ................................................66

5.4  研究重点 ................................................67

5.4.1  公共文化服务大数据分析指标体系的制定方法 ............67

5.4.2  公共文化服务大数据分析指标 ..........................68

5.4.3  公共文化服务大数据分析指标体系的评测和优化 ..........70

6  公共文化服务大数据分析方法研究 ................................72

6.1  研究目标 ................................................72

6.2  研究领域 ................................................72

6.3  关键技术 ................................................72

6.4  常用的数据挖掘方法 ......................................74

6.4.1  大数据预处理技术 ....................................74

6.4.2  聚类分析 ............................................75

6.4.3  分类分析 ............................................80

6.4.4  关联规则 ............................................83

6.5  公共文化服务大数据分析方法 ..............................85

6.5.1  公共文化服务大数据分析算法 ..........................86

6.5.2  公共文化服务大数据平台资源优化模型 ..................92

6.5.3  用户个性化推荐 ......................................97

6.5.4  数据分析算法的计算框架 ..............................108

7  公共文化服务大数据分析平台建设方案研究 ......................111

7.1  概述 ....................................................111

7.1.1  研究目标 ............................................111

7.1.2  研究领域 ............................................112

7.1.3  关键技术 ............................................113

7.2  公共文化服务大数据分析平台建设方案 ......................113

7.2.1  公共文化服务大数据分析平台的逻辑架构 ................113

7.2.2  公共文化服务大数据分析平台的技术架构 ................114

7.2.3  硬件虚拟化技术 ......................................115

7.2.4  大规模多源异构数据集成技术 ..........................116

7.2.5  数据管理技术 ........................................116

7.2.6  基于Hadoop的计算框架技术 ..........................117

7.2.7  平台安全管理 ........................................118

7.2.8   Hadoop生态圈安全技术研究 ..........................122

8  基于公共文化服务大数据分析的应用系统建设方案研究 ............125

8.1  概述 ....................................................125

8.1.1  研究目标 ............................................125

8.1.2  研究领域 ............................................125

8.1.3  关键技术 ............................................126

8.2  基于公共文化服务大数据分析的应用系统建设方案 ............127

8.2.1  应用系统架构设计 ....................................127

8.2.2  可视化分析方法 ......................................135

9  公共数字文化工程大数据分析与展示平台项目硬件规划及需求 ......152

9.1  物理结构概述 ............................................152

9.2  物理设备总体需求 ........................................153

9.3  应用集群规划 ............................................154

9.4  系统物理拓扑 ............................................155

9.5  应用集群功能详细规划 ....................................156

9.5.1  文件传输服务集群 ....................................156

9.5.2  大数据集群服务器 ....................................156

9.5.3  统计计算服务 ........................................157

9.5.4  可视化集群服务（Web应用） ..........................157

9.6  应用集群硬件列表 ........................................158

附录说明 ......................................................159

附录A  公共文化大数据源及典型应用分析 ..........................160

A.1  公共文化大数据源优选机制 ................................160

A.1.1  从时间维度了解和掌握公共文化服务对象的行为轨迹 ......161

A.1.2   从空间维度了解和掌握影响公共文化服务对象行为的关键
要素 ................................................161

A.1.3   从质量维度分析和评判公共文化服务对象行为数据的使用
价值 ................................................161

A.1.4   从来源维度分析和研判公共文化服务对象行为数据结构
优化的解决方案 ......................................162

A.2  常用公共文化大数据源 ....................................163

A.2.1  图书馆大数据资源 ....................................163

A.2.2  文化馆大数据资源 ....................................165

A.2.3  博物馆大数据资源 ....................................166

A.2.4  共享工程大数据资源 ..................................168

A.3  典型公共文化大数据应用分析 ..............................169

A.3.1  图书馆领域的大数据分析应用 ..........................169

A.3.2  博物馆领域的大数据分析应用 ..........................174

A.3.3  文化馆领域的大数据分析应用 ..........................177

A.3.4  文化共享工程大数据分析应用 ..........................179

附录B  新型公共电子阅览室建设 ..................................181

B.1  公共电子阅览室现状 ......................................182

B.2  未来公共电子阅览室在公共文化服务体系中的定位 ............184

B.3  新形态公共电子阅览室的结构组成 ..........................185

B.4  嵌入式电子阅览室公共文化服务的研究 ......................187

附录C  数字文化馆及数字文化体验空间建设 ........................189

C.1  未来数字文化馆创新方向简述 ..............................189

C.1.1  展示方式的创新 ......................................189

C.1.2  参与方式的创新 ......................................190

C.1.3  技术的创新 ..........................................190

C.1.4  辅助体验方式的创新 ..................................191

C.1.5  延伸拓展的创新 ......................................192

C.1.6  反馈分析的创新 ......................................193

C.2  数字文化体验空间建设 ....................................194

C.2.1  公共数字文化资源库 ..................................194

C.2.2  数字文化培训服务系统 ................................194

C.2.3  数字文化传承展览空间 ................................195

C.2.4  数字文化互动体验空间 ................................195

C.2.5  民俗及非物质文化遗产展示平台 ........................196

C.2.6  老年文化及少儿教育空间 ..............................197

C.3  数字文化馆网络安全工作思考 ..............................197

C.3.1  数字文化馆网络服务情况 ..............................198

C.3.2  数字文化馆网络服务的安全挑战 ........................199

C.3.3  改善数字文化馆网络安全形势的几点想法 ................200

附录D  数字资源供给服务模式分析 ................................205

D.1  全国数字资源供给服务模式现状 ............................205

D.2   建立以需求为导向的创新型数字资源供给模式的对策及建议
（以青海为例） ..........................................207

D.3  新背景新服务：以上海为例 ................................211

D.3.1  公共数字文化建设 ....................................212

D.3.2  服务供给方式 ........................................213

D.3.3  管理体制 ............................................223

D.3.4  上海模式总结 ........................................227

D.4  几种公共文化数字资源供给模式 ............................229

D.4.1  无版权限制公共文化数字资源供给模式 ..................229

D.4.2  版权限制数字资源供给策略 ............................230

D.5  公共数字文化工程大数据展示平台供给模式 ..................233

D.5.1  项目目标 ............................................234

D.5.2  系统架构 ............................................235

D.5.3  数据分析、发掘及展示 ................................237

D.6  公共数字文化精准推送服务思考 ............................239

D.6.1  公共数字文化服务基础逐步改善 ........................240

D.6.2  精细化服务推送技术日渐成熟 ..........................242

D.6.3  精准推送技术应用于公共数字文化服务 ..................243

D.6.4  结语 ................................................245

附录E  公共数字文化体验区的模式研究 ............................247

E.1  公共数字文化体验区总服务模式设计 ........................248

E.2  以全民阅读为理念的新型城市图书馆模式 ....................249

E.3  以全民艺术普及为核心的新型数字文化馆模式 ................250

E.4  以休闲体验为主旨的综合性公共文化中心模式 ................254

E.5  以惠民服务为主旨的基层服务网点模式 ......................255

附录F  区域性公共文化综合服务管理平台 ..........................258

F.1  总体框架 ................................................258

F.1.1  体系框架 ............................................258

F.1.2  面向基层群众服务 ....................................259

F.1.3  面向基层管理单位服务 ................................260

F.2  运行体系和典型使用场景 ..................................261

F.3  建设内容 ................................................262

附录G  文化共享工程社会化合作 ................................264

G.1  公共数字文化服务领域开展社会化合作的背景 ................265

G.2  社会化合作的基本原则、目标和意义 ........................267

G.3  公共数字文化的社会化合作内容 ............................269

G.4  社会化合作平台 ..........................................278

附录H  文化共享工程第三方评估 ..................................280

H.1  引入第三方评估的背景和目的 ..............................280

H.2  建立第三方评估机构的遴选机制 ............................281

H.2.1  确定第三方评估机构的角色 ............................281

H.2.2  遴选第三方评估机构的原则 ............................282

H.2.3  审定第三方评估机构的能力 ............................282

H.2.4  建立第三方评估的资金保障 ............................284

H.2.5  建立定期检查机制强化监督 ............................284

H.3  搭建第三方评估工作的协调机制 ............................284

H.3.1  建立政府主管机构与第三方机构的工作机制 ..............285

H.3.2  建立第三方评估机构与评估主体的工作机制 ..............286

H.3.3  建立第三方机构评估的指标体系 ........................289

本书基于公共数字文化服务工作的现状，深入分析了公共文化服务大数据来源及类型、采集方法、存储方法、分析指标体系和分析方法，以及应用系统的研发方法。通过理论联系实际，从工程上给出了公共数字文化工程大数据分析平台的建设规划。很后，通过实地调研全国的公共文化机构，就公共文化大数据源及典型应用、新型公共电子阅览室建设思路、数字文化馆及数字文化体验空间建设方案等主要实践经验，进行了提炼和总结。