

我现在想在静态图片上用 CoreML 去掉人体(能打码最好),进行了以下尝试,但有些问题不太懂
用 Vison 里的人体分割识别,可以实现人体透明,但是对其中的参数不太理解。
现象:分割前传入 image size 为 1920*1080 px, 识别后返回 mask size 为 2016 * 1512 。最后渲染的时候根据宽高比进行 scale 后实现效果。
问题:为什么 mask size 和原始图片比例不一样?但是最后又能实现效果。还是说其中有些像素差了但是我并没有察觉吗?
使用了 DeepLabV3 模型。模型要求输入 Image (Color 513 × 513) ,输出 MultiArray (Int32 513 × 513)。其实 renderView 还是 200*200pt 。
现象:我传入了 19201080 的 image, renderView 是拿返回的 513513 数据渲染的。可以实现人体的黑色范围标记。
//renderView render //200*200 let size = self.bounds.size //513 let segmentatiOnmapWidthSize= segmentationmap.segmentationmapWidthSize let segmentatiOnmapHeightSize= segmentationmap.segmentationmapHeightSize let w = size.width / CGFloat(segmentationmapWidthSize) let h = size.height / CGFloat(segmentationmapHeightSize) for j in 0..<segmentationmapHeightSize { for i in 0..<segmentationmapWidthSize { //这里是模型返回的标记的 class 类型 let value = segmentationmap[j, i].int32Value let rect: CGRect = CGRect(x: CGFloat(i) * w, y: CGFloat(j) * h, width: w, height: h) let color: UIColor = segmentationColor(with: value) color.setFill() UIRectFill(rect) } } 问题:
1. 为什么传入比例明明不是 513*513 ,返回的数据进行如上处理后可以和原来图片重合?是内部自动将图片先处理成 513*513 的了吗? - 如果没处理,为什么通过以上方法后可以和原图重叠?现在返回类别里透明的和原图背景都是 0 ,我怎么去区分透明的和原图的背景? - 如果处理了,它又怎么保证和原图对得上? 请大佬帮我答疑解惑。如果打字太多,直接甩我一些链接或者关键字也可以。