如何计算CNN中batch normalization的计算复杂度（FLOPs）？ 第1页
1
quarrying 网友的相关建议:
下面分析在推理 (或者说测试) 时 BN 层的计算量:
设 是BN层的输入, 其尺寸为 ; 是BN层的moving mean, 是BN层的moving variance, 是BN层的scale, 是BN层的shift, 它们的尺寸均为 . 为了简化推导, 设 , 并令 , , , , , . 则BN层的输出的第k个通道为:
, 式中 是全1矩阵(而不是单位矩阵), 是一个很小的正数, 防止除零的发生.
令 , 则 . 由于 都是已知的, 和 可以预先计算 (NCNN中就是这样做的[1]), 在推理时不会占用额外的计算时间, 于是 的计算量只有 次乘法运算和 次加法运算, 对于C个通道计算量则有 次乘法运算和 次加法运算. 这个计算量相对于一般卷积层的计算量是很小的. 对于一般卷积则需要 次乘法运算, 次加法运算(有偏置项) 或 次加法运算(无偏置项), 这些符号可以顾名思义, 这里就不赘述了, 详细的推导可以参考[2].
另外如果网络采用Conv-BN-ReLU的设置, 则BN的参数还可以折叠 (fold) 到前面的卷积层的参数中, 这时BN的计算被包含到卷积的计算中了.
参考
1
相关话题
神经网络中的能量函数是如何定义的？消融实验是什么？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
2021 年，深度学习方面取得了哪些关键性进展？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
围棋AI为什么没有下出同局？
你有哪些deep learning（rnn、cnn）调参的经验？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
前一个讨论
CPU和GPU跑深度学习差别有多大？
下一个讨论
2020年CVPR有哪些优秀的论文？
相关的话题
如何评价Sony新出的深度学习库NNabla？如何计算CNN中batch normalization的计算复杂度（FLOPs）？
深度学习方面还有什么Open Problem?
如何用一句话证明自然语言处理很难？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
Batch normalization和Instance normalization的对比？
如何理解空洞卷积（dilated convolution）？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
CVPR 2019 有哪些值得关注的亮点？
如何理解空洞卷积（dilated convolution）？
TVM 最新发布版本 0.3 有哪些亮点？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
如何评价AlphaGo Zero？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
2019年NeurIPS有哪些糟糕的论文？
FPGA做深度学习能走多远？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
为什么要压缩模型，而不是直接训练一个小的CNN？
wav2vec中的30ms是怎么得来的?
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
如何评价最新的Octave Convolution？
自然语言处理怎么最快入门？
如何评价中科大实现了媲美人脑能效的类脑突触原型器件？
迁移学习入门，新手该如何下手？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
请解释下variational inference？