![]() | 1 meshell 2024-08-15 12:16:13 +08:00 显卡识别是不是无法并行,以前部署 df 的时候生成图必须前面的生成完才可以生成后面的。让 AI 大佬给你个解决方案 |
3 patwww 2024-08-15 15:16:05 +08:00 内存无法释放遇到过,我们是 3 个服务轮流定时重启解决,并发这个没遇到过。 |
![]() | 4 sunjun 2024-08-15 15:35:23 +08:00 内存无法释放是指加载的识别的图片的内存无法释放吗? 多线程同时识别,需要多启动几个实例可以实现 |
5 longredzzz 2024-08-15 16:31:36 +08:00 内存无法释放可能是 paddle 的问题,可以考虑将 paddle 模型转化为 onnx 模型进行调用。 并发问题可以考虑同一时刻接受到的图片合并成 batch 一个然后推理,可以参考 https://docs.ray.io/en/latest/serve/advanced-guides/dyn-req-batch.html |
6 pangglovedd 2024-08-15 18:47:15 +08:00 内存无法释放是图片内存还是模型内存,你给的是 tg 号吗,微信搜不到,可以加我 v 讨论下 MTg5MTYzMzY2ODY= |
![]() | 7 sslzjx 2024-08-16 17:39:36 +08:00 没用过 ocr,我用 paddleseg 和 paddledet 那些用 fastDeploy 可以多线程,我记得也是有例程的 |