这是一个创建于 415 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近的项目需要用到人脸识别 Landmark 和 face mesh ，调研了市面上主流的 NN 框架：MNN, NCNN, TNN, MediaPipe;
MNN 阿里的，速度快，有个 MNNKit demo ，人脸关键点 106 个，单帧处理耗时在 3-5ms ； TNN 腾讯基于 NCNN 做的速度优化版本，有个 demo ，270+关键点，识别速度，单帧 3-5ms ，缺点关键点有点抖动； MediaPipe：谷歌开源的，有 473 点 face landmark ，在 iOS 平台识别速度 10-15ms 单帧；但安卓平台同配置手机 30-50ms ，CPU 占用也比 MNN 高 2-3 倍；
除了人脸识别，MediaPipe 还带了背景分割，头发分割等，缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别，没有其他官方 demo 。TNN 有快一年没更新了，所以不准备考虑。
本人刚接触深度学习，还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架，准备从这个两个入手, 个人倾向 MediaPipe ，现成的 demo 功能比较多。
OK ，问题：
- MediaPipe 的性能问题存在在哪里，是模型的问题还是框架的问题？
- MNN 和 MediaPipe 推荐哪个，如果 MNN 做 face mesh ，有哪些快速可用的模型或代码？
 | 1 gavin6liu 2024-08-21 21:58:09 +08:00 首先来个暴论，AI 领域 Google 的东西最好别碰，所以 MediaPipe 排除。 其次这些都是推理引擎而已，MNN ，NCNN 属于同一类型，TNN 属于基于 NCNN 的二次封装。 另外由于你刚接触这个，只有用一些预训练好的模型和代码，策略就是哪个框架有现有的 Demo 就用哪个。 和 TNN 类似的还有，YY 开源的 VNN ，可以选择。 |
 | 2 devzhaoyou OP @gavin6liu 感谢回复，深度学习不是起源与 Google ，为啥 Google 的最好不碰，网上资料好像还挺多 |
| 3 gavin6liu 2024-08-22 09:25:06 +08:00 |
 | 4 psklf 2024-08-22 10:36:37 +08:00 |
 | 5 Cyrix686 2024-08-22 10:56:28 +08:00 既然是初学阶段，都可以上手玩玩啊，看看哪个顺手就用哪个 非要选一个，选 MNN 吧 |
| 6 devzhaoyou OP @Cyrix686 好的 感谢，mnn 个人调研就是性能非常优秀，而且一直在更新，其他能说说推荐原因吗 |
 | 7 keepwalk2020 2024-08-23 11:13:00 +08:00 MediaPipe 对硬件要求高，但是效果是相对较好的，高精度模型 google 没有放出来 Yolo 对硬件要求低，甚至可以抛在树莓派上，效果中上吧 dlib 貌似也不错 SPIGA 正在试，对比后才知道效果 油管上有一个视频，对比各种人类识别框架的效果，自己搜了一看便知，楼主有方便发个 QQ 吗，一起讨论，最近也在做这方面的东西 |
 | 8 Folder 2024-08-23 16:26:19 +08:00 MNN 和 ncnn 都有试过部署自己训练的模型. 个人感觉这俩速度都挺快的, ncnn 的好处是有 QQ 群里面可以直接问开发者, MNN 也不错但是用 valgrind 测了一下有内存泄漏. |
| 9 devzhaoyou OP @Avafly 好的 感谢，深度学习有什么好的入门资料推荐吗，最好能快速上手动手实践的 |
| 10 devzhaoyou OP @keepwalk2020 希望交流 206899376 |
 | 11 gongfuxiongmao 223 天前 @keepwalk2020 哈喽，可以一起交流下吗，最近也是在调研人脸关键点相关的 |
 | 12 snowflake007 36 天前 google 的也还行吧，后面也不会搞那种突然不兼容升级了。但是 TensorFlowLite android 平台都已经 LiteRT 了，iOS 还在那 pod XXXX, 也不积极拥抱一下 Swift 的 SPM |
Select Language