《深度学习嵌入式应用开发：基于RK3399Pro和RK3588》瑞芯微官方出品，详解基于RK3399Pro和RK3588

未来的社会是智能的社会，智能体现在各种终端中，终端的智能需要算法和算力的结合，本书正是围绕人工智能算法的落地应用展开。在人工智能算法部分，本书更加关注算法的具体实现，算法的嵌入式落地以丰富的实践案例展示了瑞芯微人工智能芯片的加速能力，希望能够对嵌入式智能落地应用开发提供帮助。
——史治国 浙江大学信息与电子工程学院副院长
在当前的人工智能浪潮下，各类算法越来越需要落地到各种应用场景中，这都离不开芯片的加速支持。瑞芯微3399Pro和3588是业界主流的人工智能芯片，其RKNN人工智能开发库易于上手，结合芯片进行算法的设计实施是本书的主旨。本书在介绍人工智能算法基本原理的基础上，重点介绍了芯片的加速库和丰富的应用案例，为相关智能产品的开发提供了较好的引导。
——林峥源 瑞芯微电子股份有限公司副总裁
在过去的十年里，云计算成功地缓解了日益增长的数据所带来的存储、管理等问题，但不能满足对响应时间和安全性的高要求，这对嵌入式人工智能发起了挑战。本书理论结合实践，讲述了深度学习模型从设计、训练、优化到端侧部署的完整过程，实属难能可贵。
——刘盼盼 某芯片大厂资深系统架构师

这是一本讲解如何基于当前主流的智能芯片RK3399Pro与RK3588进行端侧智能开发的著作，它将指导读者如何基于这两款芯片进行算法的设计与实施，瑞芯微官方推荐。
理论部分，以深度学习为主线，针对零基础的读者，不仅讲解了卷积神经网络、循环神经网络等深度神经网络的原理以及它们在计算机视觉、自然语言处理、语音识别等领域的经典算法，还讲解了深度神经网络的训练和模型优化。
实践部分，以基于RK3399Pro与RK3588两款智能芯片的端侧智能开发为主线，讲解了芯片的功能架构、开发板及其开发环境、Rock-X API组件库，以及基于它们的各种端侧智能应用开发，包括各种神经网络的开发、神经网络的运算加速等，让读者掌握深度学习模型从设计、训练、优化到端侧部署的完整流程，快速学会人工智能应用的开发。

前言<br />第1章  深度学习基础  1<br />1.1  深度学习的现实应用  2<br />1.1.1  计算机视觉  2<br />1.1.2  自然语言处理  2<br />1.1.3  推荐系统  3<br />1.1.4  语音处理  3<br />1.1.5  其他领域  3<br />1.2  回归问题和分类问题  4<br />1.2.1  线性回归  5<br />1.2.2  Softmax分类  6<br />1.3  梯度下降算法  8<br />1.3.1  优化算法概述  8<br />1.3.2  随机梯度下降算法  10<br />1.3.3  小批量梯度下降算法  13<br />1.3.4  Momentum梯度下降<br />算法  14<br />1.3.5  Adam优化算法  15<br />1.4  神经网络  16<br />1.4.1  神经网络的表示  16<br />1.4.2  激活函数及其导数  19<br />1.4.3  前向传播和反向传播  23<br />1.4.4  神经网络的梯度下降  26<br />1.5  本章小结  27<br />第2章  卷积神经网络  28<br />2.1  卷积基础知识  28<br />2.1.1  卷积操作  29<br />2.1.2  池化  33<br />2.1.3  卷积的变种  34<br />2.2  深度卷积神经网络  37<br />2.2.1  卷积神经网络的整体<br />结构  37<br />2.2.2  残差结构和1×1卷积  38<br />2.2.3  经典卷积网络  41<br />2.3  卷积神经网络的应用  44<br />2.3.1  图像分类  44<br />2.3.2  目标检测  45<br />2.3.3  其他应用  49<br />2.4  本章小结  49<br />第3章  循环神经网络  50<br />3.1  深度循环神经网络  50<br />3.1.1  循环神经网络概述  51<br />3.1.2  基于时间的反向传播  52<br />3.1.3  循环神经网络的长期依赖<br />问题  54<br />3.2  循环神经网络变体  55<br />3.2.1  长短时记忆网络  55<br />3.2.2  门控循环神经网络  60<br />3.3  序列模型和注意力机制  61<br />3.3.1  Seq2Seq序列模型  62<br />3.3.2  注意力机制  64<br />3.3.3  Transformer结构  69<br />3.4  循环神经网络的应用  74<br />3.4.1  自然语言处理  74<br />3.4.2  语音识别  84<br />3.4.3  唤醒词检测  87<br />3.5  本章小结  88<br />第4章  深度神经网络的训练  90<br />4.1  深度学习的学习策略  90<br />4.1.1  数据集划分和评估指标  90<br />4.1.2  偏差、方差和误差  94<br />4.1.3  神经网络的权重初始化  95<br />4.2  深度学习的训练技巧  96<br />4.2.1  梯度消失和梯度爆炸  96<br />4.2.2  正则化和随机失活  97<br />4.2.3  归一化  99<br />4.2.4  自适应学习率  100<br />4.2.5  超参数优化  101<br />4.3  改善模型表现  102<br />4.3.1  解决数据不匹配问题  102<br />4.3.2  迁移学习  103<br />4.4  动手训练神经网络  104<br />4.4.1  Jupyter Notebook的<br />使用  104<br />4.4.2  训练MNIST手写数字识别模型  106<br />4.4.3  TensorBoard的使用  112<br />4.5  本章小结  115<br />第5章  RK3399Pro芯片功能与<br />架构  116<br />5.1  RK3399Pro芯片的整体架构  116<br />5.2  神经网络处理单元  121<br />5.2.1  神经网络处理单元的<br />4个模块  122<br />5.2.2  RKNN-Toolkit开发<br />套件  123<br />5.2.3  RKNN-API开发套件  126<br />5.3  视频处理单元  126<br />5.4  图形处理加速单元  128<br />5.5  本章小结  128<br />第6章  TB-RK3399Pro开发板  130<br />6.1  开发板硬件环境介绍  130<br />6.1.1  硬件总览  130<br />6.1.2  硬件规格  131<br />6.2  开发板开发环境搭建  134<br />6.2.1  开发板的启动和网络<br />配置  134<br />6.2.2  终端与软件包安装  138<br />6.3  本章小结  144<br />第7章  基于TB-RK3399Pro进行卷积神经网络实战  145<br />7.1  TB-RK3399Pro图像采集  145<br />7.1.1  原理  145<br />7.1.2  实战  146<br />7.2  TB-RK3399Pro手写数字<br />识别  147<br />7.2.1  原理  147<br />7.2.2  实战  150<br />7.3  TB-RK3399Pro YOLO目标<br />检测  152<br />7.3.1  原理  153<br />7.3.2  实战  154<br />7.4  TB-RK3399Pro人脸识别  156<br />7.4.1  原理  156<br />7.4.2  实战  162<br />7.5  本章小结  163<br />第8章  TB-RK3399Pro神经网络<br />运算加速  165<br />8.1  神经网络运算加速引擎介绍  165<br />8.2  神经网络模型部署和推理  166<br />8.2.1  模型部署  167<br />8.2.2  模型推理  169<br />8.3  神经网络模型量化  170<br />8.4  本章小结  173<br />第9章  基于TB-RK3399Pro开发板进行循环神经网络实战  174<br />9.1  TB-RK3399Pro开发板声音<br />采集  174<br />9.1.1  推荐环境安装  174<br />9.1.2  声音采集  175<br />9.2  语音识别模型介绍  176<br />9.2.1  特征提取  177<br />9.2.2  语音识别网络  180<br />9.2.3  评价指标  182<br />9.3  TB-RK3399Pro语音识别<br />实战  182<br />9.3.1  实战目的  182<br />9.3.2  实战数据  182<br />9.3.3  实战环境  183<br />9.3.4  实战步骤  183<br />9.3.5  实战结果  187<br />9.4  本章小结  188<br />第10章  基于Rock-X API的深度<br />学习案例  189<br />10.1  Rock-X SDK介绍  189<br />10.2  Rock-X环境部署  190<br />10.3  目标检测  190<br />10.4  车牌识别  195<br />10.5  人体关键点检测  198<br />10.6  人脸关键点检测  201<br />10.7  手指关键点检测  205<br />10.8  人脸识别  208<br />10.9  本章小结  212<br />第11章  TB-RK3588X开发板  213<br />11.1  开发板硬件环境介绍  213<br />11.1.1  产品简介  213<br />11.1.2  芯片架构  215<br />11.1.3  系统框图  215<br />11.1.4  硬件规格  216<br />11.2  开发板软件开发介绍  218<br />11.2.1  开机启动  218<br />11.2.2  固件升级  218<br />11.2.3  搭建系统环境  221<br />11.2.4  编译配置  221<br />11.2.5  镜像编译  224<br />11.2.6  Linux系统下烧写<br />镜像  225<br />11.2.7  Windows系统下烧写<br />镜像  226<br />11.2.8  常见问题  226<br />11.2.9  RKNN开发指南  226<br />11.3  本章小结  227<br />参考文献  228