《数据科学工程实践：用户行为分析与建模、A/B实验、SQLFlow》腾讯、滴滴、快手的数据科学家、数据分析师、算法工程师

（1）豪华作者阵容：作者全部是自腾讯、滴滴、快手等一线互联网企业的数据科学家、数据分析师和算法工程师，经验极为丰富。（2）三维度深融合：将数据科学的3个维度——商业理解、量化模型、数据技术全面打通，涵盖数据科学的应用场景、理论支撑和技术底座。（3）应用场景面广：本书所有数据科学应用场景均来自商业环境，强调实用、可操作性强。（4）方法论与案例：围绕3大主题给出了大量方法论和Z佳实践，方法论与案例的背景、代码、解读等模块深度融合。

内容简介这是一本将数据科学三要素——商业理解、量化模型、数据技术全面打通的实战性著作，是来自腾讯、滴滴、快手等一线互联网企业的数据科学家、数据分析师和算法工程师的经验总结，得到了SQLFlow创始人以及腾讯、网易、快手、贝壳找房、谷歌等企业的专家一致好评和推荐。全书三个部分，内容相对独立，既能帮助初学者建立知识体系，又能帮助从业者解决商业中的实际问题，还能帮助有经验的专家快速掌握数据科学的Z新技术和发展动向。内容围绕非实验环境下的观测数据的分析、实验的设计和分析、自助式数据科学平台3大主题展开，涉及统计学、经济学、机器学习、实验科学等多个领域，包含大量常用的数据科学方法、简洁的代码实现和经典的实战案例。部分（第 1～6 章） 观测数据的分析技术讲解了非实验环境下不同观测数据分析场景所对应的分析框架、原理及实际操作，包括消费者选择偏好分析、消费者在时间维度上的行为分析、基于机器学习的用户生命周期价值预测、基于可解释模型技术的商业场景挖掘、基于矩阵分解技术的用户行为规律发现与挖掘，以及在不能进行实验分析时如何更科学地进行全量评估等内容。 第二部分（第7～9章）实验设计和分析技术从 A/B 实验的基本原理出发，深入浅出地介绍了各种商业场景下进行实验设计需要参考的原则和运用的方法，尤其是在有样本量约束条件下提升实验效能的方法及商业场景导致的非传统实验设计。 第三部分（0~12章） 自助式数据科学平台SQLFlow针对性的讲解了开源的工程化的自助式数据科学平台SQLFlow，并通过系统配置、黑盒模型的解读器应用、聚类分析场景等案例帮助读者快速了解这一面向未来的数据科学技术。

谢梁经济学博士腾讯 QQ 浏览器副总经理、QQ 浏览器数据负责人。CCF 数据科学专委会创始委员，入选财经数据科学50 人。曾任滴滴杰出数据科学家、美国微软云存储核心工程部首席数据科学家。 缪莹莹浙江大学硕士，滴滴首席数据科学家，CCF 数据科学专委会委员。发表十余项国家发明及靠前发明，具有丰富的数据仓库建设、数据挖掘建模、实验科学与战略分析的经验。带领团队用数据的方式驱动从 0 到 1 的初创形态的业务和成熟形态业务的增长，善于发现业务机会和风险，给业务带来巨大价值。 高梓尧 快手数据分析总监，长期在美国硅谷和中国多家互联网科技公司从事用户分析、实验设计等相关工作。曾带领滴滴数据科学团队与蚂蚁金服联合开源共建一站式机器学习工具 SQLFlow。拥有多项国家发明。清华大学 – 哥伦比亚大学商业分析硕士项目指导嘉宾、泛华统计协会演讲嘉宾。王子玲上海交通大学计算数学硕士，曾任滴滴不错数据科学家、不错模型专家、不错风控专家。先后任职于日企 MTI、人人网、滴滴出行、爱奇艺等知名互联网企业，在网约车出行、互联网金融、在线音乐、短视频、网游等领域积累了丰富的大数据分析、策略、挖掘、建模、研究、应用经验。负责过两段公司级重点项目从 0 到 1 增长的整体数据驱动体系设计及落地。申请平台智能定价及优化算法系统等十余项国家发明及靠前发明。 周银河现任腾讯数据科学家，曾任滴滴数据科学家，清华大学 – 哥伦比亚大学商业分析硕士项目指导嘉宾。拥有丰富的数据分析、统计建模及实验设计经验。 丁芬 曾任滴滴数据科学家，曾就职于美团、滴滴等国内知名互联网公司，工作经历涉及商场咨询、信贷风控、网约车交易及信息流等领域。 苏涛 物理学博士，美国生物物理学会会员。曾任中国科学院研究助理，研究量子计算和主动流体。后任乔治华盛顿大学计算物理研究员，从事细胞模拟、生物领域机器学习、高性能计算等方向的研究。2017 年进入互联网行业，先后在 Elex 和滴滴进行数学模型、算法和数据科学方向的研究，熟悉复杂网络、流形几何嵌入、时频分析以及相关的机器学习和优化方法。王禹 曾任滴滴不错数据分析师，主要负责滴滴分单引擎和调度引擎的实验设计、评估、数据分析以及成交率等核心指标的预测、异常诊断归因等工作。现任某短视频科技企业算法工程师，主要负责LBS 定位、POI 挖掘等相关场景的策略算法开发。 吴君涵 资深数据分析师，擅长用户增长分析和体验量化建模。具有丰富的大数据挖掘建模、产出数据驱动洞察并通过洞察影响决策的实战经验。杨骁捷 不错数据分析师，擅长双边平台的供需匹配效率分析，在出行、电商等不同业务领域中灵活运用因果推断相关知识，科学评估复杂场景下的策略收益。 刘冲 曾任滴滴不错数据分析师，主要负责流量运营的实验设计、评估、数据分析以及优化司机行为和提高司机收入等相关分析，现任某短视频科技企业数据分析师。 王玉玺 中国人民大学商学院博士，美国密歇根大学访问学者，滴滴数据科学部研究员，主要研究方向为定价策略优化、消费者行为分析等。参与多项国家自然科学基金及社会科学基金研究项目，在 Expert System、Information Systems Research、《管理评论》等期刊发表多篇论文。刘未名 滴滴数据科学家，拥有金融、互联网等领域的数据分析经验，擅长利用实验、量化模型解决业务问题，多次参与公司级重点项目的数据分析，帮助公司搭建数据驱动工业化体系，拥有国内、靠前多项发明。 杨凯迪 现任快手数据分析部数据科学家。长期就职于国内头部互联网企业，对于出行定价补贴以及短视频行业用户画像挖掘、策略分析等有丰富经验。工作期间累计发表三篇国家发明论文。 李依诺 滴滴不错数据科学家，本硕先后毕业于美国印第安纳大学数学专业和美国乔治华盛顿大学生物统计学专业。目前就职于腾讯，曾就职于滴滴。在在线视频、网约车、网络游戏领域积累了丰富的数据科学实战经验，从 0 到 1 参与过腾讯、滴滴的实验工业化进程。 陈祥 资深算法工程师，硕士毕业于爱丁堡大学计算机科学专业。先后从事异常检测、强化学习、自然语言处理、领域知识图谱建设及应用等相关工作。曾就职于爱奇艺、滴滴。SQLFlow 贡献者之一。现从事用户画像、广告系统和推荐相关工作。 朱文静 不错数据分析师，主要从事基于业务数据进行的分析、建模、挖掘等工作。SQLFlow 项目重要成员之一，SQLFlow开源社区贡献者，参与贡献了多个 SQLFlow 模型，其中包括可解释黑盒模型、深度学习聚类模型、时间序列模型等。

章：如何分析用户的选择11.1选择行为的经济学理论11.1.1 选择无处不在11.1.2 选择行为的经济学理论21.2 用户选择行为计量分析框架：DCM41.2.1 从经济模型到计量模型41.2.2 常用的DCM模型及应用场景81.3 DCM模型的Python实践111.3.1?软件包?&?数据格式111.3.2 使用Logistics Regression分析自驾选择问题151.3.3 使用 Multinomial Logit Model 分析完整交通方式选择问题211.3.4 使用 Nested Logit Model 分析完整交通方式选择问题251.4 本章小节27第二章：随时间可变的行为分析272.1 从“如何给二手车定价”案例说起272.1.1 二手车定价背景272.1.2 为什么不选择一般回归模型？282.1.3 为什么选择生存分析？292.2 生存分析的理论框架292.2.2 生存函数及风险函数刻画342.2.3 生存函数回归及生存概率的预测362.3 生存分析在二手车定价案例中的应用实践382.3.1 软件包&数据格式&数据入读402.3.2 生存分析基础操作：二手车销售生存曲线绘制及差异对比42第三章 洞察消费者长期价值：基于神经网络的LTV建模443.1 LTV的概念和商业应用443.1.1 LTV——用户终生（长期）价值453.1.2 用户生命周期和用户终生价值453.1.3 LTV的特点463.1.4 LTV分析能帮助我们回答的问题463.1.5 LTV的计算方法473.2 神经网络的基本原理493.2.1 神经网络的历史493.2.2 本章所涉及的神经网络结构503.3 基于Keras的LTV模型实践563.3.1 Keras介绍563.3.2 数据的加载和预处理563.3.3 输入数据的准备593.3.4 模型搭建和训练653.3.5 模型分析683.4 本章总结68第4章 使用体系化分析方法进行场景挖掘694.1. 选择经验化分析还是体系化分析694.1.1经验化分析的局限性694.1.2体系化方法的手段和优势704.2. 体系化分析常用工具714.2.1黑盒模型与白盒模型714.2.2可解释模型——决策树714.2.3全局代理模型764.2.4场景挖掘模型分析方法框架774.3. 场景挖掘分析实践784.3.1数据背景及数据处理784.3.2经验化分析804.3.3场景挖掘模型的Python实现与模型解读804.4. 本章小结86第5章 行为规律的发现与挖掘86概述865.1对包含有顺序关系数据的规律分析875.1.1有序数据及SVD方法概述875.1.2SVD原理及推导885.1.3SVD聚类建模Python实战935.2对无序稀疏数据的规律分析985.2.1稀疏数据及NMF方法概述985.2.2NMF原理及推导995.2.3NMF聚类建模Python实战100第6章 对观测到的事件进行因果推断1046.1 使用全量评估分析已发生的事件1046.1.1 为什么要进行全量评估1046.1.2 全量评估应用1056.2 全量评估主要方法1056.2.1 回归分析1056.2.2 DID方法1146.2.3 合成控制1166.2.4 Causal Impact1196.3 全量评估方法的应用1236.3.1 关于物流单量的全量评估应用(回归模型)1236.3.2 恐怖主义对经济影响评估(DID)1286.3.3 恐怖主义对经济影响评估(合成控制)1306.3.4 天气情况的评估(Causal Impact)1336.4 本章小结147第7章 如何比较两个策略的效果1477.1如何才能正确推断因果关系？1477.1.1 什么是相关性谬误1477.1.2 潜在结果和因果效果1487.2运用A/B实验进行两策略比较1497.2.1 什么是A/B实验1497.2.2 为什么应用A/B实验1507.2.3 A/B实验的基本原理1507.3 A/B实验应用步骤（实验方法具体实施步骤）1517.3.1 明确实验要素1517.3.2 实验设计1537.3.3实验过程监控1557.4 A/B实验案例介绍1567.4.1 实验场景介绍1567.4.3实验效果评估1587.5 本章小结159第8章 如何提高实验效能1608.1 控制实验指标方差的必要性和手段1608.2 用随机区组设计控制实验指标方差1618.2.1 利用随机区组实验实验设计降低方差1618.2.2 随机区组实验的特征选择1628.3 随机区组实验应用步骤1638.3.1 明确实验目标及背景：1638.3.2 实验设计：1638.3.3 实验过程监控：1638.3.4 实验评估中用到的方差分析的基本原理：1638.4 随机区组实验案例介绍1688.4.1 背景介绍：1688.4.2 基本设计：1698.4.3 随机区组实验相关的设计：1698.4.4 效果评估1708.5 随机区组实验常见问题1728.5.1 方差分析的使用前提是什么1728.5.2 随机区组的个数是越多越好吗？1728.5.3 随机区组实验的回归方程的$R^2$是越高越好吗，是否证明策略有效果？1738.6 本章小节173第9章 特殊场景下的实验设计和分析方法1739.1 分流的实验对象间有干扰怎么办1749.2 如果实验不能简单分流怎么办(Switchback实验设计和评估方法)1819.3 如果实验不能简单分流且时间效率要求高怎么办？（交叉实验设计）1869.4 如果不能分流的实验且策略不能轮转怎么办？1999.5 本章总结20510.1 SQLFlow简介20610.1.1 什么是SQLFlow20610.1.2 SQLFlow的定位和目标20710.1.3 SQLFlow工作原理20910.2 SQLFLow 运行环境的设置210SQLFlow in Docker210环境配置215交互224Jupyter Notebook225REPL22510.3 将分析模型固化到 SQLFlow 中的流程22610.4 总结23211.1.1 模型可解释的重要性和必要性233模型解释的重要性233模型解释的必要性23311.1.2 常见的可解释性模型234（1）线性回归235（2）逻辑回归238（3） 决策树242（4）KNN243（5）朴素贝叶斯分类器245（6）模型比较24611.2 黑盒模型的解释性24711.2.1 如何对黑盒模型进行解释24711.2.2 代理模型24811.2.3 Shapley25011.2.4 基于SQLFLow的黑盒模型解释的案例25111.3 本章小结2552章 基于LSTM-autoencoder的无监督聚类模型25512.1 聚类的广泛应用25612.1.1 什么是聚类或模式识别25612.2 聚类模型的应用案例25712.2.1 k-means clustering -- 司机服务站点选址规划25712.2.2 Hierarchical Clustering -- 超市采购商分组26012.3 SQLFlow中基于深度学习的聚类模型26512.3.1 基于深度学习的聚类模型原理26512.3.2 Case study - 如何使用SQLFlow对城市道路交通状况进行分层27212.4 本章小结275