从零构建深度学习推理框架-1 简介和Tensor

源代码作者：https://github.com/zjhellofss

本文仅作为个人学习心得领悟 ，将原作品提炼，更加适合新手

什么是推理框架？

深度学习推理框架用于对已训练完成的神经网络进行预测，也就是说，能够将深度训练框架例如Pytorch、Tensorflow中定义的算法移植到中心侧和端侧，并高效执行。与训练框架不同的是，深度学习推理框架没有梯度反向传播功能，因为算法模型文件中的权重系数已经被固化，推理框架只需要读取、加载并完成对新数据的预测即可。

模型加载阶段

训练完成的模型被放置在两个文件中，一个是模型定义文件，一个是权重文件。

ONNX文件是将模型定义文件和权重文件合二为一的文件格式。

关于维度的预备知识

在Tensor张量中，共有三维数据进行顺序存放，分别是Channels(维度)，Rows(行高), Cols(行宽)，

三维矩阵我们可以看作多个连续的二维矩阵组成，最简单的方法就是std::vector<std::vector<std::vector<float>>>，但是这种方法非常不利于数据的访问（尤其是内存不连续的问题） 、修改以及查询，特别是在扩容的时候非常不方便。不能满足使用需求

不连续会造成数组访问慢的问题，在这里我用chrono做了测试：

#include<iostream>
#include <gtest/gtest.h>
#include <armadillo>
#include <glog/logging.h>
#include <vector>
#include <chrono>
#define TICK(x) auto bench_##x = std::chrono::steady_clock::now();
#define TOCK(x) std::cout << #x ": " << std::chrono::duration_cast<std::chrono::duration<double>>(std::chrono::steady_clock::now() - bench_##x).count() *1000000<< "ns" << std::endl;
using namespace std;
int m = 10000 , n = 10000 , channel = 2;
TEST(test_compare_vector , speed2D){LOG(INFO)<<"Test of vector & cube"<<endl;vector<vector<float>> matA (m , vector<float>(n , 1));TICK(2D);for (int  i = 0; i <matA.size(); i++){for (int j = 0; j < matA[0].size(); j++){matA[i][j] = matA[i][j]*matA[j][i];}}TOCK(2D);arma::fcube matB( m , n , 1 , arma::fill::ones);TICK(cube);for (int  i = 0; i <m; i++){for (int j = 0; j < n; j++){matB(i , j , 0) = matB(i , j , 0)*matB( j , i , 0);}}TOCK(cube);}

因此，综合考虑灵活性和开发的难易度，作者在这里以Armadillo类中的arma::mat(矩阵 matrix)类和arma::cube 作为数据管理(三维矩阵)类来实现Tensor 库中类的主体，一个cube由多个matrix组成，cube又是Tensor类中的数据实际管理者。一块连续的大内存分配开始写一个tensor，工作量会特别大，折中！

 作者设计的类是以arma::cube为基础实现了Tensor类，我们主要是提供了更方便的访问方式和对外接口。 

 上图即为Tensor与cube的对应关系。

 cube一般有多个维度，在channel维度上有多个matrix。

arma::cube(2,5,3)，表示当前的三维矩阵共有2个矩阵构成，每个矩阵都是5行3列的。如果放在我们项目中会以这形式提供 Tensor tensor(2,5,3)

下图是这种情况下的三维结构图，可以看出一个Cube一共有两个Matrix，也就是共有两个Channel。一个Channel放一个Matrix. Matrix的行宽均为Rows和Cols.

 Tensor类方法总览

这里的很多都不需要我们重新去造轮子

比如Fill(float value)就可以直接调用cube里的fill：

void Tensor<float>::Fill(float value) {CHECK(!this->data_.empty());this->data_.fill(value);
}

再比如这个at：

float &Tensor<float>::at(uint32_t channel, uint32_t row, uint32_t col) {CHECK_LT(row, this->rows());CHECK_LT(col, this->cols());CHECK_LT(channel, this->channels());return this->data_.at(row, col, channel);
}

再难一些的就需要我们自己去实现了：

Fill(vector)方法实现：

TEST(test_tensor, fill) {using namespace kuiper_infer;Tensor<float> tensor(3, 3, 3);ASSERT_EQ(tensor.channels(), 3);ASSERT_EQ(tensor.rows(), 3);ASSERT_EQ(tensor.cols(), 3);std::vector<float> values;for (int i = 0; i < 27; ++i) {values.push_back((float) i);}tensor.Fill(values);LOG(INFO) << tensor.data();int index = 0;for (int c = 0; c < tensor.channels(); ++c) {for (int r = 0; r < tensor.rows(); ++r) {for (int c_ = 0; c_ < tensor.cols(); ++c_) {ASSERT_EQ(values.at(index), tensor.at(c, r, c_));index += 1;}}}LOG(INFO) << "Test1 passed!";
}

padding功能实现：

 

TEST(test_tensor, padding1) {using namespace kuiper_infer;Tensor<float> tensor(3, 3, 3);ASSERT_EQ(tensor.channels(), 3);ASSERT_EQ(tensor.rows(), 3);ASSERT_EQ(tensor.cols(), 3);tensor.Fill(1.f); // 填充为1tensor.Padding({1, 1, 1, 1}, 0); // 边缘填充为0ASSERT_EQ(tensor.rows(), 5);ASSERT_EQ(tensor.cols(), 5);int index = 0;// 检查一下边缘被填充的行、列是否都是0for (int c = 0; c < tensor.channels(); ++c) {for (int r = 0; r < tensor.rows(); ++r) {for (int c_ = 0; c_ < tensor.cols(); ++c_) {if (c_ == 0 || r == 0) {ASSERT_EQ(tensor.at(c, r, c_), 0);}index += 1;}}}LOG(INFO) << "Test2 passed!";
}

再谈谈Tensor类中数据的排布

我们以具体的图片作为例子，来讲讲Tensor中数据管理类arma::cube的数据排布方式，Tensor类是arma::cube对外更方便的接口，所以说armadillo::cube怎么管理内存的，Tensor类就是怎么管理内存的。希望大家的能理解到位。如下图中的一个Cube，Cube的维度是2,每个维度上存放的是一个Matrix，一个Matrix中的存储空间被用来存放一张图像（lena） 。一个框内（channel）是一个Matrix，Matrix1存放在Cube第1维度(channel 1)上，Matrix2存放在Cube的第2维度上(channel 2). Matrix1和Matrix2的Rows和Cols均代表着图像的高和宽，在本例中就是512和384。