百科问答小站 logo
百科问答小站 font logo



DL/ML 模型如何部署到生产环境中? 第1页

  

user avatar   professor-ho 网友的相关建议: 
      

是时候给出我的文章了,如果你使用的神经网络框架是TensorFlow,那么TensorFlow Serving是你非常好的选择。目前本人用的是TensorFlow Serving + Docker + Tornado的组合,Docker非常易于部署任何模型,而Tornado负责处理高并发请求。

详细教程请移步查看我的文章:

如果你觉得有用,请先点赞再收藏。

另外,如果你使用的是其它神经网络框架,例如caffe、pytorch,我会推荐Nvidia的TensorRT Inference Server,它支持所有模型的部署,包括TF系、ONNX系、mxnet等等,TRT会先对你的网络进行融合,合并可以同步计算的层,然后量化计算子图,让你的模型以float16、int8等精度进行推理,大大加速推理速度,而你只需要增加几行简单的代码就能实现。而且TRT Inference Server能够处理负载均衡,让你的GPU保持高利用率。

日后有机会再写一篇TRT Inference Server的教程,这里先挖个坑,大家可以保持关注。

模型部署的方式越来越简单,许多大团队已经帮在帮我们简化部署的流程,以及提高部署的性能,我们只需要学会怎么用起来,剩下的就是写一些业务逻辑了,这为我们省下了大量的时间,专注于算法的研究。


--------19.1.27更新--------

现在又写了篇Mxnet Model Server的部署教程,大家可以参考学习:




  

相关话题

  近几年有哪些关于机器学习中隐私(Privacy)和安全(Security)相关的研究值得关注? 
  新智元提问:如何看待李飞飞高徒Karpathy加入特斯拉,主管人工智能部门? 
  土木和机器学习/深度学习/算法的交叉岗位在哪里找呀? 在哪找都找不到招聘公司? 
  如何评价何恺明、Ross Girshick组的自监督时空表征学习新作? 
  如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河?什么是 AutoML? 
  如何激怒一位人工智能(机器学习、深度学习、强化学习等)爱好者? 
  深度学习领域,你心目中 idea 最惊艳的论文是哪篇? 
  2020到2021年小样本学习取得重大进展了吗? 
  GAN的生成器是怎么产生图片的? 
  如何系统学习机器学习? 

前一个讨论
SQLite 的读写效率很高,有哪些使用其他数据库的理由?
下一个讨论
如何看待《工作细胞 第一季》将在2021年2月13日于CCTV-6播出?





© 2025-01-31 - tinynew.org. All Rights Reserved.
© 2025-01-31 - tinynew.org. 保留所有权利