【转】OpenVINO是Intel推出的计算机视觉深度学习推理加速库，支持Intel CPU, 核心显卡，VPU和FPGA。前两篇文章分别介绍了OpenVINO的环境搭建、重要文件、目录和环境变量, 本文将详细介绍如何将人脸特征提取模型Insightface封装成C++ SDK, 以及基于SDK开发简单的特征提取程序。本文所有操作的系统环境为Ubuntu16.04。
本文完整的C++工程已经发布在Github：
adamydwang/insightface-openvino，可以直接clone下来使用。

InferenceEngine调用流程

OpenVINO InferenceEngine编程模型包含几个重要的类：

• InferenceEngine::Core

Core类内部管理了各种设备插件，如CPU，GPU，VPU等

• InferenceEngine::CNNNetwork
  保存在Host内存里的CNN网络对象，可以通过InferenceEngine::Core的ReadNetwork方法载入。CNNNetwork对象不提供用于推理的方法，因此不能直接用于推理（只有载入具体设备的对象才能用于推理）。
• InferenceEngine::InputsDataMap
  在Host程序中获取输入的接口，可通过InferenceEngine::CNNNetwork提供的getInputsInfo()方法获取。通过InputsDataMap对象可以对输入参数进行设置，比如输入参数的精度（U8, FP32等）和布局(NCHW, NHWC等)。
• InferenceEngine::OuputsDataMap
  在Host程序中获取输出的接口，可通过InferenceEngine::CNNNetwork提供的getOutputsInfo()方法获取。通过OutputsDataMap对象可以对推理结果的格式进行设置，比如设置输出参数的精度(FP16, FP32等)。
• InferenceEngine::ExecutableNetwork
  可执行网络对象ExecutableNetwork是将CNNNetwork加载到目标设备得到，该对象是实际用于推理的。可以通过InferenceEngine::Core的LoadNetwork方法获得。
• InferenceEngine::InferRequest
  InferRequest对象对ExecutableNetwork执行提供了接口。InferRequest提供了加载输入数据（GetBlob）、执行推理(同步推理Infer和异步推理StartAsync)和获取推理结果（GetBlob）的方法。

Host和Device的区别：

• Device

在OpenVINO中Device是指用来实际执行CNN网络加速的设备，比如GPU，VPU。Device一般是 异构设备，由Host程序来控制执行、获取执行结果等。因为OpenVINO也支持CNN网络在CPU中执行，因此CPU也是Device。

• Host
  Host一般是指通用的CPU，包括x86和arm。主要用来处理一些复杂的逻辑，以及给Device发送指令和数据，控制Device的开始停止。

CMake工程目录结构

CMake因其简单、易于理解的语法在C++工程构建中被普遍采用。本文人脸特征提取的工程构建采用CMake来完成， CMakeLists工程的目录结构如下图所示：

• bin：用于保存编译生成的二进制可执行程序。
• build：用于保存编译过程中产生的临时文件。
• image：保存了一张测试图片。
• include：用于保存C++头文件。
• model：用于保存openvino模型文件，大家可以根据前期文章自己从mxnet模型转换，也可以下载我已经转好的模型文件。
• src：用于保存C++源文件。

InsightFace类实现

InsightFace类定义：

class InsightFace {
public:
InsightFace(const std::string& model, const std::string& dev, int width=112, int height=112);
~InsightFace();
int init();
int process(cv::Mat& image, std::vector<float>& feature);
private:
void preprocess(cv::Mat& image);
private:
InferenceEngine::InferRequest m_ireq;
std::string                   m_model;
std::string                   m_device;
std::string                   m_input_name;
std::string                   m_output_name;
int                           m_width;
int                           m_height;
};

InsightFace类重要方法实现（有删减，完整版请参考Github:
adamydwang/insightface-openvino）：

//初始化方法，InsightFace类实例话必须被执行一次
int InsightFace::init() {
try {
  InferenceEngine::Core ie;
  //1. 读取网络模型到Host内存
  InferenceEngine::CNNNetwork network = ie.ReadNetwork(m_model);
  //2. 设置输入参数
  InferenceEngine::InputsDataMap input_info(network.getInputsInfo());
  auto input = *input_info.begin();
  m_input_name = input.first;
  input.second->setPrecision(InferenceEngine::Precision::U8);
  input.second->setLayout(InferenceEngine::Layout::NCHW);
  //3. 将模型载入目标设备
  InferenceEngine::ExecutableNetwork executable_network = ie.LoadNetwork(network, m_device);
  m_ireq = executable_network.CreateInferRequest();
  //4. 设置输出参数
  InferenceEngine::OutputsDataMap output_info(network.getOutputsInfo());
  m_output_name = output_info.begin()->first;
  output_info.begin()->second->setPrecision(InferenceEngine::Precision::FP32);
catch(...) { }
return 0; 
}
//CNN推理， 输入Mat格式BGR图片，输出float数组特征值
int InsightFace::process(cv::Mat& image, std::vector<float>& feature) {
//1.对输入图片预处理
preprocess(image);
//2.输入从Host拷贝至Device, 推理， 输出从Device拷贝至Host
m_ireq.Infer();
//3.从Host获取推理结果
InferenceEngine::Blob::Ptr output_blob = m_ireq.GetBlob(m_output_name);
const int dims = output_blob->size();
feature.resize(dims);
memcpy(feature.data(), output_blob->buffer(), dims * sizeof(float));
return 0;
}
//输入图片预处理
void InsightFace::preprocess(cv::Mat& image) {
cv::Mat resized;
//图片必须resize至模型所需要的大小
cv::resize(image, resized, cv::Size(m_width, m_height));
//将输入图片喂到可执行网络在Host对应的内存
InferenceEngine::Blob::Ptr blob = m_ireq.GetBlob(m_input_name);
unsigned char* ptr = (unsigned char*)blob->buffer();
for (int c = 0; c < 3; ++c) {
  for (int y = 0; y < m_height; ++y) {
    for (int x = 0; x < m_width; ++x) {
      *(ptr++) = resized.at<cv::Vec3b>(y, x)[c];
    }
  }
}
}

Demo程序开发

Demo程序完成单张人脸图片的特征提取。

InsightFace face(model_path, device);
face.init();
cv::Mat image = cv::imread(image_name);
face.process(image, feature);

CMake工程构建

编写CMakeLists.txt文件如下，其中InferenceEngine和OpenCV由OpenVINO的环境变量提供。因此在cmake构建工程之前必须执行：source
/opt/intel/openvino/bin/setupvars.sh

cmake_minimum_required(VERSION 2.7)
project(insightface)
add_definitions(-std=c++11)
find_package(InferenceEngine REQUIRED) 
find_package(OpenCV REQUIRED)
include_directories(${PROJECT_SOURCE_DIR}/include
                  ${InferenceEngine_INCLUDE_DIRS}
                  ${OpenCV_INCLUDE_DIRS})
set(LIBS ${InferenceEngine_LIBRARIES} ${OpenCV_LIBRARIES})
set(SRCS  ${PROJECT_SOURCE_DIR}/src/insightface.cpp)
add_executable(demo ${PROJECT_SOURCE_DIR}/src/demo.cpp ${SRCS})
target_link_libraries(demo  ${LIBS})
set(EXECUTABLE_OUTPUT_PATH ${PROJECT_SOURCE_DIR}/bin)

总结

完整的人脸识别包括人脸检测、特征提取、特征比对。InsightFace只是特征提取环节，若要完整实现人脸识别，需按照InsightFace的方式实现一个人脸检测类，然后再实现一个简单的特征比对类。