移动端AI与ML应用开发：基于iOS和Android

没有设备可以运行的话，人工智能将一无是处。既然移动设备已成为大多数人的主要计算设备，那么移动开发人员将AI添加到他们的工具箱中便至关重要。本书是你在iOS和Android等流行移动平台上创建和运行机器学习模型的实用指南。
作者首先介绍了机器学习技术和工具，然后引导你使用ML Kit、TensorFlow Lite和Core ML等工具编写由常见ML模型（如计算机视觉和文本识别）驱动的Android和iOS应用程序。如果你是一名移动端应用开发者，本书将帮助你利用当今的ML技术。
通过阅读本书，你将：
? 探索在移动设备上实施ML和AI的选项。
? 为iOS和Android创建ML模型。
? 为iOS和Android编写ML Kit和TensorFlow Lite应用程序，为iOS编写Core ML/Create ML应用程序。
? 为你的用例选择适合的技术和工具，例如，基于云的推理与移动端推理、高级API与低级API。
? 了解移动端机器学习的隐私和伦理实践。

没有设备可以运行的话，人工智能将一无是处。既然移动设备已成为大多数人的主要计算设备，那么移动开发人员将AI添加到他们的工具箱中便至关重要。本书是你在iOS和Android等流行移动平台上创建和运行机器学习模型的实用指南。<br /><br />作者首先介绍了机器学习技术和工具，然后引导你使用ML Kit、TensorFlow Lite和Core ML等工具编写由常见ML模型（如计算机视觉和文本识别）驱动的Android和iOS应用程序。如果你是一名移动端应用开发者，本书将帮助你利用当今的ML技术。<br /><br />通过阅读本书，你将：<br />*探索在移动设备上实施ML和AI的选项。<br />*为iOS和Android创建ML模型。<br />*为iOS和Android编写ML Kit和TensorFlow Lite应用程序，为iOS编写Core ML/Create ML应用程序。<br />*为你的用例选择合适的技术和工具，例如，基于云的推理与移动端推理、高级API与低级API。<br />*了解移动端机器学习的隐私和伦理实践。

前言1
第1章 人工智能和机器学习简介7
1.1 什么是人工智能7
1.2 什么是机器学习8
1.2.1 从传统编程转向机器学习9
1.2.2 机器如何学习12
1.2.3 机器学习与传统编程的比较17
1.3 在移动设备上构建和使用模型18
1.4 总结18
第2章 计算机视觉简介19
2.1 为视觉使用神经元19
2.1.1 你的第一个分类器：识别衣物24
2.1.2 数据：Fashion MNIST24
2.1.3 解析Fashion MNIST的模型架构26
2.1.4 编写Fashion MNIST 模型27
2.2 计算机视觉的迁移学习31
2.3 总结34
第3章 ML Kit简介35
3.1 在Android上构建人脸检测应用程序36
3.1.1 第1步：使用Android Studio创建应用程序36
3.1.2 第2步：添加和配置ML Kit38
3.1.3 第3步：定义用户界面39
3.1.4 第4步：将图像添加为资产41
3.1.5 第5步：使用默认图片加载UI41
3.1.6 第6步：调用人脸检测器43
3.1.7 第7步：添加边界矩形44
3.2 为iOS构建人脸检测器应用程序46
3.2.1 第1步：在Xcode中创建项目46
3.2.2 第2步：使用 CocoaPods 和podfile47
3.2.3 第3步：创建用户界面48
3.2.4 第 4步：添加应用程序逻辑52
3.3 总结55
第4章 Android上使用ML Kit的计算机视觉应用程序56
4.1 图像标记和分类56
4.1.1 第1步：创建应用程序并配置ML Kit57
4.1.2 第2步：创建用户界面57
4.1.3 第3步：将图像添加为资产58
4.1.4 第4步：将图像加载到ImageView59
4.1.5 第5步：编写按钮处理程序代码59
4.1.6 下一步62
4.2 物体检测62
4.2.1 第1步：创建应用程序并导入ML Kit63
4.2.2 第2步：创建活动布局 XML63
4.2.3 第3步：将图像加载到 ImageView 63
4.2.4 第4步：设置物体检测器选项64
4.2.5 第5步：处理按钮交互65
4.2.6 第6步：绘制边界框65
4.2.7 第7步：标记物体67
4.3 检测和跟踪视频中的物体68
4.3.1 探索布局69
4.3.2 GraphicOverlay类70
4.3.3 捕捉相机70
4.3.4 ObjectAnalyzer类71
4.3.5 ObjectGraphic 类72
4.3.6 组合在一起73
4.4 总结73
第5章 Android上使用ML Kit的文本处理应用程序74
5.1 实体提取74
5.1.1 创建应用程序75
5.1.2 为活动创建布局76
5.1.3 编写实体提取代码77
5.1.4 组合在一起79
5.2 手写识别和其他识别80
5.2.1 创建应用程序81
5.2.2 创建绘图平面82
5.2.3 使用ML Kit解析墨迹84
5.3 智能回复对话86
5.3.1 创建应用程序86
5.3.2 模拟对话87
5.3.3 生成智能回复88
5.4 总结88
第6章 iOS上使用ML Kit的计算机视觉应用程序89
6.1 图像标记和分类89
6.1.1 第1步：在 Xcode 中创建应用程序90
6.1.2 第2步：创建podfile90
6.1.3 第3步：设置故事板92
6.1.4 第4步：编辑视图控制器代码来使用 ML Kit93
6.2 使用ML Kit在iOS中进行物体检测96
6.2.1 第1步：开始97
6.2.2 第2步：在故事板上创建UI98
6.2.3 第3步：为注释创建子视图99
6.2.4 第4步：执行物体检测100
6.2.5 第5步：处理回调函数101
6.2.6 将物体检测与图像分类结合103
6.2.7 视频中的物体检测和跟踪104
6.3 总结107
第7章 iOS上使用ML Kit的文本处理应用程序108
7.1 实体提取108
7.1.1 第1步：创建应用程序并添加 ML Kit pod109
7.1.2 第2步：创建带有动作和输出的故事板110
7.1.3 第3步：允许视图控制器用于文本输入110
7.1.4 第4步：初始化模型111
7.1.5 第5步：从文本中提取实体112
7.2 手写识别113
7.2.1 第1步：创建应用程序并添加ML Kit pod114
7.2.2 第2步：创建故事板、动作和输出115
7.2.3 第3步：笔画、点和墨迹115
7.2.4 第4步：捕获用户输入116
7.2.5 第5步：初始化模型117
7.2.6 第6步：进行墨迹识别118
7.3 智能回复对话119
7.3.1 第1步：创建应用程序并集成 ML Kit120
7.3.2 第2步：创建故事板、输出和动作120
7.3.3 第3步：创建模拟对话121
7.3.4 第4步：获取智能回复123
7.4 总结124
第8章 更深入：了解TensorFlow Lite125
8.1 什么是 TensorFlow Lite125
8.2 TensorFlow Lite 入门127
8.2.1 保存模型128
8.2.2 转换模型128
8.2.3 使用独立解释器测试模型129
8.3 创建一个 Android应用程序来托管TFLite131
8.3.1 导入TFLite文件133
8.3.2 编写Kotlin代码与模型交互134
8.3.3 超越基础137
8.4 创建一个 iOS 应用程序来托管 TFLite140
8.4.1 第1步：创建一个基本的 iOS 应用程序140
8.4.2 第2步：将 TensorFlow Lite 添加到项目中141
8.4.3 第3步：创建用户界面142
8.4.4 第4步：添加并初始化模型推理类144
8.4.5 第 5 步：执行推理147
8.4.6 第6步：将模型添加到应用程序中149
8.4.7 第7步：添加UI逻辑150
8.4.8 超越“Hello World”：处理图像152
8.5 探索模型优化155
8.5.1 量化155
8.5.2 使用代表性数据157
8.6 总结158
第9章 创建自定义模型159
9.1 使用TensorFlow Lite Model Maker创建模型160
9.2 使用Cloud AutoML创建模型164
9.3 使用TensorFlow和迁移学习创建模型174
9.4 创建语言模型176
9.5 总结180
第10章 在Android中使用自定义模型181
10.1 将模型桥接到 Android181
10.2 从Model Maker输出构建图像分类应用程序182
10.3 将Model Maker输出与 ML Kit 结合使用187
10.4 使用语言模型189
10.5 创建用于语言分类的 Android 应用程序189
10.5.1 创建布局文件190
10.5.2 对活动进行编码191
10.6 总结193
第11章 在iOS中使用自定义模型194
11.1 将模型桥接到iOS194
11.2 自定义模型图像分类器196
11.2.1 第1步：创建应用程序并添加 TensorFlow Lite pod196
11.2.2 第2步：创建 UI 和图像资产197
11.2.3 第3步：加载和浏览图像资产199
11.2.4 第4步：加载模型199
11.2.5 第5步：将图像转换为输入张量200
11.2.6 第6步：获取张量的推理203
11.3 在ML Kit中使用自定义模型204
11.4 在Swift中构建用于自然语言处理的应用程序206
11.4.1 第1步：加载词汇208
11.4.2 第2步：将句子转换为序列209
11.4.3 第3步：扩展数组以处理不安全数据210
11.4.4 第4步：将数组复制到数据缓冲区211
11.4.5 第5步：对数据进行推理并处理结果211
11.5 总结212
第12章 使用Firebase产品化应用程序213
12.1 为什么要使用Firebase自定义模型托管213
12.2 创建多个模型版本214
12.3 使用 Firebase 模型托管215
12.3.1 第1步：创建 Firebase 项目215
12.3.2 第 2 步：使用自定义模型托管220
12.3.3 第 3 步：创建一个基本的 Android 应用程序222
12.3.4 第4步：将Firebase添加到应用程序中223
12.3.5 第5步：从Firebase模型托管获取模型225
12.3.6 第6步：使用远程配置226
12.3.7 第7步：读取应用程序中的远程配置229
12.3.8 下一步230
12.4 总结231
第13章 为简单的iOS应用程序创建ML和 Core ML232
13.1 使用Create ML构建Core ML 图像分类器232
13.1.1 制作一个使用 Create ML 模型的 Core ML 应用程序238
13.1.2 添加MLModel文件239
13.1.3 运行推理239
13.2 使用 Create ML 构建文本分类器243
13.3 在应用程序中使用模型245
13.4 总结247
第14章 从移动应用程序访问基于云的模型248
14.1 安装 TensorFlow Serving249
14.1.1 使用 Docker 安装249
14.1.2 在Linux上直接安装250
14.2 构建和服务模型251
14.3 从 Android 访问服务器模型254
14.4 从iOS访问服务器模型258
14.5 总结260
第15章 移动应用程序的道德、公平和隐私261
15.1 负责任的人工智能的道德、公平和隐私262
15.1.1 负责任地定义你的问题262
15.1.2 避免数据中的偏差263
15.1.3 构建和训练模型268
15.1.4 评估模型269
15.2 Google的人工智能原则271
15.3 总结272