BentoML - 基于 Python 的机器学习模型生产部署框架 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
parano
V2EX    Python

BentoML - 基于 Python 的机器学习模型生产部署框架

  •  1
     
  •   parano
    parano 2020-05-06 16:54:41 +08:00 4049 次点击
    这是一个创建于 2061 天前的主题,其中的信息可能已经有所发展或是发生改变。

    hi 大家好,分享我最近在做的一个开源项目 BentoML,一个基于 Python 的 machine learning model serving 框架: https://github.com/bentoml/BentoML

    BentoML 是一个用于将机器学习模型生产化和部署的工具。数据科学家可以通过 BentoML,来将训练好的机器学习模型,开发成适用于生产环境的 API 服务器(mode server)。BentoML 支持绝大多数主流的机器学习框架,包括 Tensorflow, Keras, PyTorch, XGBoost, scikit-learn, fastai, 等等。

    BentoML 自带一个 基于 aiohttp 和 asyncio 开发的高性能模型服务器。它支持 micro-batching,可以在做实时请求的时候,更高效地利用机器学习框架和底层硬件在处理 batch 数据时的优势,从而达到更大的 throughput 和更小的 latency 。它同时也提供离线的 batch serving 、模型管理、和自动化部署等功能。

    希望对在做机器学习的朋友有帮助,有什么问题或建议欢迎指出,感谢!

    相关链接:

    7 条回复    2023-12-19 10:09:02 +08:00
    carmark
        1
    carmark  
       2020-05-06 16:58:57 +08:00   1
    赞,可惜不太懂 python,要不就贡献下了。
    parano
        2
    parano  
    OP
       2020-05-07 02:19:50 +08:00
    @carmark BentoML 里面也有一些 TypeScript/Javascript 的 component 噢,有兴趣 contribute 的朋友欢迎加 [BentoML Slack]( https://join.slack.com/t/entoml/shared_invite/enQtNjcyMTY3MjE4NTgzLTU3ZDc1MWM5MzQxMWQxMzJiNTc1MTJmMzYzMTYwMjQ0OGEwNDFmZDkzYWQxNzgxYWNhNjAxZjk4MzI4OGY1Yjg) 来找我聊
    carmark
        3
    carmark  
       2020-05-07 09:30:27 +08:00
    @parano 我是 golang 生态,kubeflow 那套
    dick20cm
        4
    dick20cm  
       2020-05-07 11:10:03 +08:00
    何必又造一遍轮子~
    parano
        5
    parano  
    OP
       2020-05-08 16:51:40 +08:00
    @carmark 计划用 go 做 Kubernetes 的 CRD wrapper 和对应的 controller 。Btw BentoML 现在已经是 kubeflow 推荐的 model serving 工具之一了 https://www.kubeflow.org/docs/components/serving/overview/

    Kubeflow & BentoML 部署文档: https://www.kubeflow.org/docs/components/serving/bentoml/
    parano
        6
    parano  
    OP
       2020-05-08 16:52:25 +08:00
    @dick20cm 因为市场上现在找不到这样的轮子啊
    Davic1
        7
    Davic1  
       2023-12-19 10:09:02 +08:00
    OP 是 BentoML 的 Founder 吗? 这周末正参加 PyCon2023 的时候了解到了 BentoML ,20 年的帖子现在看来发展的非常好哦!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2607 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 06:09 PVG 14:09 LAX 22:09 JFK 01:09
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86