推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
用 poetry 和 pyproject.toml，如何保证开发/测试环境和生产环境 dependency 同步？
tcdh 2021-05-11 17:51:12 +08:00 2232 次点击这是一个创建于 1613 天前的主题，其中的信息可能已经有所发展或是发生改变。
当前 workflow：
- 开发 /测试的 dependency 在 poetry.lock 里，poetry install 安装
- 测试通过后用 poetry build & poetry publish 发布
- 生产环境 docker image 里 pip install 上一步的 package
问题：开发环境的 dependency 在 poetry.lock 里，发布 package 的 dependency 在 pyproject.toml 的 tool.poetry.dependencies 里。有可能不同步。
我能想到的解决方法：
-
手动同步 pyproject.toml 和 poetry.lock 。不过这样一来似乎也没什么必要用 poetry.lock 了。根据 poetry 的文档如果没有 poetry.lock 的话 poetry install 会读取 pyproject.toml 里的 dependency，那干脆开发和生产都用 pyproject.toml 。
-
docker 里 git checkout 出 poetry.lock，安装 dependency 然后再安装发布包。不过这样一来需要在 image 里装没什么用的 git，并且如果是 private repo 的话可能要添加一些设置。
python 半小白，感觉应该是比较常见的问题但是搜了一圈没看到人怎么说。请不吝赐教。
9 条回复 2021-05-19 14:53:59 +08:00
 | 1 GoLand 2021-05-11 18:23:14 +08:00 正常很难把整个项目打包到一个 pip 包里，更多的是直接构建 docker image，再去分发 image 即可。 然后就解决了你这个问题。 |
 | 2 0bit 2021-05-11 18:36:47 +08:00 楼上正解，还是建议用容器级别的封装和分发。 Python 的包，如果都是纯 Python 还好，如果有二进制依赖就很难受，充满不确定性。 |
 | 3 so1n 2021-05-11 18:49:31 +08:00 我是开发用 poetry 然后会用 otry 命令导出一份 requirements, 生产就直接用这份 requirements |
 | 4 tcdh OP @GoLand 对 docker 也只是一知半解。请问你的意思是构建当前 package 的 image，然后 production 的 image （需要多个不同的 package ）用 https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds 来构建吗？ 这个流程可以避免生成 python distribution(sdist, wheel ）吗？我的理解是只要需要生成通过 pip 安装的 distribution 就会出现我目前面临的问题（开发的 denpendency 和打包的 dependency 不同步） |
 | 5 no1xsyzy 2021-05-11 21:49:08 +08:00 @tcdh 不要 multi-stage，直接 FROM python COPY RUN poetry install CMD 既然你生产环境是 docker，发布就不应当是 poetry publish 而是 docker push |
 | 6 lychee930224 2021-05-12 21:12:00 +08:00 docker 统一 |
 | 7 frostming 2021-05-13 10:08:00 +08:00 poetry.lock 就是让你复制可用环境部署用的，否则这文件没任何意义。 你既然选择用发布 pypi 包部署就是放弃了 poetry.lock 的能力。 要复制环境应该在 docker 里装 poetry 然后用 poetry.lock 安装，或者用导出 requirements.txt 的方式来避免安装 Poetry |
 | 8 CharAct3 2021-05-16 12:13:11 +08:00 1. 将安装了 poetry 的 python image 作为基础镜像 2. 复制依赖文件到自定义的 work dir 下 3. 运行 poetry 命令安装依赖 FROM custom_python_with_poetry WORKDIR /work_dir COPY pyproject.toml poetry.lock /work_dir RUN poetry config virtualenvs.create false && poetry install --no-dev --no-interaction --no-ansi |
| 9 no1xsyzy 2021-05-19 14:53:59 +08:00 捞个出来稍微改了改。 https://gist.github.com/no1xsyzy/c4c291d32dfc94693f0d7d2f0ea4544e poetry 似乎没有官方的 image…… 理应当不用 get-poetry 这个 installer 的，直接 ADD release.tar.gz 就行…… 或者照着 aur/python-poetry-git 的 PKGBUILD 改改，安装到 /usr/bin 下面去。 |
Select Language