上回讲到OpenVINO工具包配置TensorFlow模型的一般情况(OpenVINO工具包配置TensorFlow模型(一) - 简书)。实际操作下来,能用一般步骤顺利跑下来的概率实在是太低了。对工业模型来说,大多都会是多个模型的混合或是不同思想的掺杂,自定义层不可避免。
有自定义层的TensorFlow模型
自定义层泛指所有不被包含在已知层列表中的拓扑结构。对于TensorFlow框架,所有的已知层如下:
Using the Model Optimizer to Convert TensorFlow* Models | Intel® Software
对于TensorFlow的自定义模型,有三中处理方法:
1、将这些层注册为模型优化器的扩展,这样就能使用模型优化器生成正确的IR文件;
2、子图的处理方法,下面会有具体的介绍;
3、计算迁移(这个看的不是很懂,先放一放)。
在模型优化器中替换子图
因为种种原因有些模型不能转为IR文件,但是在一些情况下,给模型优化器一丁点提示之后就可以了(补丁大法好)。
这里的一些情况主要是指以下三种:
1、拓扑结构中的未知操作(或子图)可以改写为已知操作的组合。此时的提示就是给优化器一个如何组合的描述。
2、拓扑结构中的操作子图可以表示为推理引擎中的单个已知层。
3、TensorFlow中tensor shape的格式一般为NHWC,推理引擎用的是NCHW。上一篇里讲到了mo_tf.py文件默认是会转化的,但一些情况下转化不了(比如把tensor拉成了一维),这种情况下pb文件是转不成IR文件的。
子图替换
这种情况下,原始graph中的子图或者单个node用新的子图或node替换掉,分5步走:
1、确定需要替换的子图(看mo_tf.py转化的时候断的地方,哪里不会点哪里)
2、生成新子图
3、将新子图和原图接起来(为新子图创建输入输出)
4、创建新子图的输出到原图中
5、处理一下被替换的子图(比如删掉)
这个步骤看下来,等于没说~~~还好接下来有具体的方法:
使用一个操作子图替换一个操作
简单来说,就是在TensorFlow中有一些操作在推理引擎中无法一步到位,但可以通过基础操作的组合实现。官方举的一个例子是TensorFlow可以直接计算(a-b)^2,但推理引擎不可以步子跨这么大。因此将b先取反,然后a于-b相加,最后再平方。
这个过程用python代码实现以后,放到<INSTALL_DIR>/deployment_tools/model_optimizer/extensions/front/文件夹下,例子如下:
import networkx as nx #模型优化器图形的内部表示使用networkx模块
from mo.front.common.replacement import FrontReplacementOp #类FrontReplacementOp用来生成新子图替换操作
from mo.graph.graph import Node
from mo.ops.eltwise import Eltwise #推理引擎支持的基本操作
from mo.ops.power import Power
class SquaredDifference(FrontReplacementOp):
"""
Example class illustrating how to implement replacement of a single op in the front-end of the MO pipeline.
This class replaces a single op SquaredDifference by a sub-graph consisting of 3 lower-level ops.
"""
op = "SquaredDifference"
enabled = True
def replace_op(self, graph: nx.MultiDiGraph, node: Node):
negate = Power(graph, dict(scale=-1, name=node.name + '/negate_'))
add = Eltwise(graph, dict(operation='sum', name=node.name + '/add_'))
squared = Power(graph, dict(power=2, name=node.name + '/squared_'))
out_node = squared.create_node([add.create_node([node.in_node(0), negate.create_node([node.in_node(1)])])])
# Replace edge from out port 0 of the matched node with a edge from node out_node.id with port 0.
# The "explicit" version of the return value is: [(out_node.id, 0)])
return [out_node.id]