EdgeBoard嵌入式AI解决方案中NHWC数据格式的性能分析

　　EdgeBoard简介

　　EdgeBoard是百度基于FPGA芯片研发的嵌入式AI解决方案，高性能的加速引擎可提供3.6Tops的强大算力，完整的嵌入式参考设计使硬件集成轻松便捷。目前EdgeBoard提供了FPGA软核和计算卡模块两种形态供硬件集成，面向项目部署也提供了抓拍机和计算盒两种基础硬件产品。EdgeBoard深度兼容百度大脑模型资源与工具平台（EasyDL/AI Studio），极大降低了开发验证、产品集成、科研教学、项目部署门槛，适用于安防监控、工业质检、医疗诊断、农作物生长监控、无人驾驶、无人零售等场景

　　数据格式的逻辑表示与物理表示

　　深度学习中经常会使用NCHW、NHWC和CHWN数据格式来表示数据，其中N、H、W、C定义如下：

　　N：一个batch内图片的数量，处理的图片数量

　　H：垂直高度方向的像素个数，图片的高

　　W：水平宽度方向的像素个数，图片的宽

　　C：通道数。例如灰度图像为1， 彩色RGB图像为3

　　下图表示N=2，C=16，H=5，W=4的数据排列，其中左图是逻辑表示，右图是物理表示。

　　EdgeBoard嵌入式AI解决方案中NHWC数据格式的性能分析

　　以NCHW为例，其逻辑表示如左上图，n=0时，三个坐标分别标识了C、H、W的方向。个元素是000，第二个元素沿着w方向，即001，随后是002， 003;然后沿H方向，即004， 005， 006， 007.。.如此反复到019后;再沿C方向，020，021， 022 。..。.一直到319;再沿N方向，也就是n=1，然后重复W方向，H方向和C方向。

　　根据以上NCHW的划分，物理地址表示定义如下（如右上图）：

　　［a:0］ 表示W方向，在一行内从左到右

　　［a:1］ 表示从H方向，一行一行的从上到下

　　［a:2］ 表示在C方向，从一个通道到另外一个通道

　　［a:3］ 表示从N方向，从n=0 到n=1

　　终NCHW数据格式的物理分布（在内存中的一维表示）表示为000 001 002 003 004 。.. 018 019 020 。.. 318 319 320 。.. 。.. 637 638 639。可以理解成把一个通道的所有像素一行一行地排列起来，然后排下一个通道，即n=0排列完后再排n=1。

　　同理NHWC表示是先沿C方向，再沿W方向，再沿H方向，沿N方向。所以在内存的存放顺序是，个元素是000，第二个沿C方向，即020，040， 060 。..一直到300，之后切换到W方向，001 021 041 061.。.301.。到了303后再切换到H方向，即004， 024 。.. 304，到了319，再切换到N方向，320，340 。..一直到639。

　　［b:0］ 表示C方向，个像素从一个通道到另外一个通道

　　［b:1］ 表示从W方向，一个通道个像素回到个通道的第二个像素

　　［b:2］ 表示在H方向，一个通道行一个像素回到个通道的第二行的个像素

　　［b:3］ 表示从N方向，从n=0 到n=1

　　NHWC其物理表示为000 020 。.. 300 001 021 。.. 283 303 004 。.. 319 320 340 。.. 。.. 339 359 。.. 639。可以理解成把一个Batch的一个像素的所有通道先排列起来，然后排下一个像素。n=0排列完成后，再排n=1。

　　同理CHWN其逻辑表示，先沿N方向，再沿W方向，再沿H方向，是沿C方向。

　　［c:0］ 表示从N方向，从n=0的个像素到n=1的个像素

　　［c:1］ 表示从N方向，从n=1的个像素回到n=0的第二个像素

　　［c:2］ 表示在H方向，从n=1的行一个像素回到n=0的第二行个像素

　　［c:3］ 表示从N方向，从n=1的个通道一个像素回到n=0的第二个通道个像素

　　CHWN其物理表示为 000 032 001 321 。.. 003 323 004 324 。.. 。.. 019 339 020 。..。可以理解成先把一个batch中N幅图像的个通道个像素排列起来，然后排第二个像素;再排第二个通道，第三个通道。..

　　数据在内存中的偏移地址

　　深度学习中涉及大量的数据计算，计算需要从内存中取出数据，因此需要计算出数据的偏移地址以便进行取数。有了上面的逻辑表示和物理表示，可以推导出4维逻辑表示（n，c，h，w）映射到一维内存中偏移地址的公式。

　　定义位置（n，c，h，w）表示第n个batch的第c通道的第h行的第w列，那么该位置在不同数据格式下，在内存中的偏移地址计算公式如下： NCHW： offset_nchw（n， c， h， w） = n * CHW + c * HW + h * W + w NHWC： offset_nhwc（n， c， h， w） = n * HWC + h * WC + w * C + c CHWN： offset_chwn（n， c， h， w） = c * HWN + h * WN + w * N + n 其中N、C、H、W为常量，n、c、h、w为变量

　　在NCHW中，CHW=C*H*W，表示一个Batch，可以理解成一个BGR 3通道的图片，表达的是一个立方体。HW=H*W，表示一个平面，可以理解成是BGR 3通道图片的一个通道（灰度图就是一个通道图片）。W是一行，可以理解成一个通道上的一行。

　　以上图为例，如果想计算出绿色圈，即341的位置（n=1，c=1， h=0， w=1）。我们需要先跳过n=0的数据（CHW），图中箭头1指向的蓝色框区域;再跳过n=1的个通道（HW），图中箭头2指向蓝色框区域;这时进入到了n=1的第二个通道，跳过h=0行（0*W）;跳过w个数到达偏移位置。

　　EdgeBoard为何使用NHWC

　　下面来分析EdgeBoard选择NHWC数据格式的原因。

　　上图表示卷积的计算过程。根据卷积的运算特点，相同位置窗口所有通道数与卷积的参数相乘后累加，可以有下面两种计算方式：

　　先像素后通道：先把一个通道滑动窗口与卷积参数相乘后累加，再进行下一个通道，直到所有通道乘累加完成。比如次滑窗计算公式：

　　可以看出两种方式计算的结果是一样。

　　而对于NHWC格式，即先通道后像素，是把一个像素的所有通道的数据放在一起。这样对应上图个像素的3个通道值，第二个像素的3个通道值，第三个像素的3个通道值，它们在内存中的地址都是连续的，也就是说就可以把