工单节点使用指南 请用平和的语言准确描述你所遇到的问题 厂商的技术支持和你一样也是有喜怒哀乐的普通人类，尊重是相互的 如果是关于 V2EX 本身的问题反馈，请使用 反馈 节点
Google File Stream 非常可怕的 Bug，随机添加已存在的数据到另一个文件，大家小心
8e47e42/a> 2019-03-29 13:54:35 +08:00 8412 次点击这是一个创建于 2395 天前的主题，其中的信息可能已经有所发展或是发生改变。
Google File Stream 老用户了，最近更新了 30.1 版本以后突然经常出现 PDF/AI 文件编辑过以后随机打不开的情况，像这样：
直到有一天客户和我说，我们发过去的 PDF 文件是损坏的，但是通过某些 PDF 阅读器能看得到一张别人的合同的一部分，这可真的把我们吓得不轻，赶紧抽样了那些损坏的 PDF 文件做了比对，发现：
这些 PDF 文件损坏的原因是一样的，是这个文件随机包含了一部分额外的数据，因此尺寸、文件大小都增加了很多。
于是我们提取了这部分数据，发现居然是一个多媒体文件，而这个文件正是另一个 Google File Stream 里已经存在的 PDF 当中的一张图。也就是说，GFS 被更新版本以后的这个 bug 会随机的把已经存在你 GFS 里面的文件的一部分随机的插入到你最近更改的文件当中去，这个随机部分可以是你硬盘里的小姐姐，也可以是机密合同。细思极恐。
联系了 G Suite Business 的技术支持，只说有可能是服务器问题，没有任何实质性帮助，连滚回的安装包居然都提供不出来。
各位 G Suite 的 Google File Stream 用户发邮件之前一定记得查验一下自己发的文件，这种诡异的 Bug 实在是坑爹啊！！！
直到有一天客户和我说，我们发过去的 PDF 文件是损坏的，但是通过某些 PDF 阅读器能看得到一张别人的合同的一部分，这可真的把我们吓得不轻，赶紧抽样了那些损坏的 PDF 文件做了比对，发现：
这些 PDF 文件损坏的原因是一样的，是这个文件随机包含了一部分额外的数据，因此尺寸、文件大小都增加了很多。
于是我们提取了这部分数据，发现居然是一个多媒体文件，而这个文件正是另一个 Google File Stream 里已经存在的 PDF 当中的一张图。也就是说，GFS 被更新版本以后的这个 bug 会随机的把已经存在你 GFS 里面的文件的一部分随机的插入到你最近更改的文件当中去，这个随机部分可以是你硬盘里的小姐姐，也可以是机密合同。细思极恐。
联系了 G Suite Business 的技术支持，只说有可能是服务器问题，没有任何实质性帮助，连滚回的安装包居然都提供不出来。
各位 G Suite 的 Google File Stream 用户发邮件之前一定记得查验一下自己发的文件，这种诡异的 Bug 实在是坑爹啊！！！
第 1 条附言 2019-03-29 14:37:44 +08:00
复现步骤：
Win10 最新版+GFS+最新版 Adobe 系列编辑器，干净系统
PDF 里面加上若干矢量图形（如稍微复杂一点的自定义 PDF 印章）。数量一多以后保存，同步图标闪一下以后，就会触发这个 BUG
雷同的 AI 文件如果加了一个复杂的元素（>原来文件的大小尺寸很多的修改）也会有比较大几率触发 bug
有点随机，但是还是有规律的。
Win10 最新版+GFS+最新版 Adobe 系列编辑器，干净系统
PDF 里面加上若干矢量图形（如稍微复杂一点的自定义 PDF 印章）。数量一多以后保存，同步图标闪一下以后，就会触发这个 BUG
雷同的 AI 文件如果加了一个复杂的元素（>原来文件的大小尺寸很多的修改）也会有比较大几率触发 bug
有点随机，但是还是有规律的。
第 2 条附言 2019-03-29 17:26:25 +08:00
#更新一个更可怕的错误
就在刚才，我和 G Suite Support 邮件跟进的时候发现我的 attachment 缩略图变了，出于好奇我点开来看了一下，在 Gmail 当中的问题附件居然变成了一份别的公司的完整合同，我可以在 gmail 中正常浏览，但是不能下载。G 家这是要完啊
就在刚才，我和 G Suite Support 邮件跟进的时候发现我的 attachment 缩略图变了，出于好奇我点开来看了一下，在 Gmail 当中的问题附件居然变成了一份别的公司的完整合同，我可以在 gmail 中正常浏览，但是不能下载。G 家这是要完啊
第 3 条附言 2019-04-02 18:49:14 +08:00
我们有帮 Google 做 log 分析（对大家没看错 9102 年谷人希现在都没有处理完这个 critical bug，甚至拖了这么多天连 log 分析结果都没有给），基本应验你说的 2，Google Drive File Stream 的虚拟驱动有问题，导致 actually 和 expected 的不同，从而在写入的时候导致错误，具体体现为报错日志和出问题文件的写入时间高度一致，服务器上是不是有更进一步的问题尚不明确，但是 local 的 GFS 是真的有问题，建议大家别用了。
更可怕的是我们做 research 的时候发现了这个： https://www.greyhathacker.net/?p=1041
而这种级别的 bug，Google 根本就没有发任何通知。
给大家讲个笑话，Google Drive File Stream 是企业级应用呢
更可怕的是我们做 research 的时候发现了这个： https://www.greyhathacker.net/?p=1041
而这种级别的 bug，Google 根本就没有发任何通知。
给大家讲个笑话，Google Drive File Stream 是企业级应用呢
 | 1 loveour 2019-03-29 14:03:32 +08:00 不会吧，这个是太严重的 BUG 啊！如果有这种问题，那根本就没办法相信 GFS 了好吧。。 |
| 2 loveour 2019-03-29 14:08:08 +08:00 有没有什么复现步骤？ |
 | 3 8e47e42 OP @loveour 直到真的自己去比对了损坏的文件才敢相信这个错误，疑似和更新中 “ Drive File Stream now uses cached content more efficiently, resulting in faster downloads that use less network bandwidth.” 有关。 |
| 4 loveour 2019-03-29 14:14:53 +08:00 @8e47e42 #3 确实，这样的错误也太低级太严重了。基础服务搞不好，什么优化都是扯。不过我去搜了下“ Google File Stream data corrupted ”，貌似不少人遇到过数据损坏，然后 Google Adviser 就都建议卸载删掉缓存重新安装。。。 |
| 5 8e47e42 OP 复现步骤： Win10 最新版+GFS+最新版 Adobe 系列编辑器，干净系统 PDF 里面加上若干矢量图形（如稍微复杂一点的自定义 PDF 印章）。数量一多以后保存，同步图标闪一下以后，就会触发这个 BUG，而如果只是简单修改以后保存不会触发这个 bug |
 | 6 rocbomb 2019-03-29 14:18:15 +08:00  1 随着硅谷印度人越来越多,软件发展也越来越迅速 |
 | 7 xiaolanger 2019-03-29 15:21:55 +08:00 @rocbomb #6 我一直以为关于印度人的代码质量，是个段子，现在来看，真的影响这么大？ |
 | 8 lastpass 2019-03-29 15:26:41 +08:00 擦，这种低级的 bug 太过可怕了。 谷狗写出代码?简直不敢相信。 |
 | 9 ldm0 2019-03-29 15:35:52 +08:00 这种 bug 是怎么做到过测试的。。。 这两年软件质量很绝望啊。。iOS11，Win10 1809, 现在 Google 家也出现这种问题了吗。。 |
| 10 8e47e42 OP 我比较相信是服务器的问题，我和 G Suite Support 邮件跟进的时候发现我的 attachment 缩略图变了，出于好奇我点开来看了一下，在 Gmail 当中的问题附件居然变成了一份别的公司的完整合同，我可以在 gmail 中正常浏览，但是不能下载。 |
| 12 8e47e42 OP |
 | 13 yexm0 2019-03-29 17:57:48 +08:00 via Android 发去国外的论坛搞大它吧 |
 | 14 gqfBzoLVY3Wl4Tng 2019-03-29 18:08:14 +08:00 所以 IT 界都是印度人了嘛 |
 | 16 mmdsun 2019-03-29 18:44:59 +08:00 via Android 学百度云的吧。文件都是共享的 hash 匹配，只存一份。 其他的人都是超链接。 估计是 hash 冲突了 |
| 17 8e47e42 OP @billytom 我们应该会去这边消费者仲裁会让他们出面跟进，全部复现我们录了复现视频，截至目前都没有修复。 最令人惊讶的是，Google 居然没有回，相比之下 M$一小时内响应的企业客服支持不知道高到哪里去了 |
 | 18 geelaw 2019-03-29 19:01:13 +08:00 学习了一下 Google File Stream 是什么……你是说 Drive File Stream 吗？（也就是 Windows 10 最近开放的 storage provider 接口提供的 on-demand 文件同步 API。） 如果是的话那真的是了，因为 Drive File Stream 是 G Suite （企业产品）专用，居然是这样的 support 水平…… |
 | 20 wangsongyan 2019-03-29 19:33:30 +08:00 via iPhone 太恐怖了 |
 | 21 Dragonish3600 2019-03-29 19:36:26 +08:00 @ldm0 你为什么会 产生 google 代码比其他家好的错觉。。google 的代码质量一直是几家里最差的，你看看 android, chrome 这玩意就知道了，bug 无穷无尽，无非就是靠的快速更新来取胜。。只不过 google 一直没有像样的产品进入企业市场，和大众接触的少罢了 |
 | 22 jememouse 2019-03-29 19:39:26 +08:00 这也太恐怖了。我一百多 g 的资料，现在这问题是出在客户端还是服务器里面？ |
 | 23 burning 2019-03-29 19:43:55 +08:00 用过一段时间 Google Drive，很不理想，转 Dropbox 了。 |
 | 24 lizhuoli 2019-03-29 20:19:39 +08:00 via iPhone 关注 |
 | 25 NimaQu 2019-03-29 21:35:59 +08:00 图炸了楼主 |
 | 26 visualer 2019-03-29 21:40:37 +08:00 via Android 建议直接转 reddit |
 | 27 JerryCha 2019-03-29 21:40:39 +08:00 卧槽？得立马停用了。好在我 Google Drive 目前只是拿来做文件跨设备同步为主。 |
 | 28 Da11as 2019-03-29 21:50:25 +08:00 via Android |
 | 29 will0404 2019-03-29 21:54:38 +08:00 via Android 关注 |
 | 30 run2 2019-03-29 22:01:01 +08:00 建议转 reddit 时不要提印度人（不然会被当成种族歧视而。。。） |
 | 31 msg7086 2019-03-30 02:30:22 +08:00 File Stream 不建议大量使用……以前挂载 GDrive 曾经搞死过 Windows 内核…… |
 | 32 xiechengen 2019-03-30 03:34:14 +08:00 via iPhone 可以联系我吗 我帮你开个 ticket |
| 33 8e47e42 OP @xiechengen 求联系方式 |
| 34 8e47e42 OP |
 | 35 BCy66drFCvk1Ou87 2019-03-30 07:52:27 +08:00 via Android 关注 |
| 36 xiechengen 2019-03-30 10:24:28 +08:00 via iPhone @8e47e42 看我简介 或者你留个邮箱啥的 |
 | 37 Trumeet 2019-03-30 12:25:15 +08:00 via Android 话说用什么工具看的文件对比？ |
 | 40 PP 2019-04-02 10:17:16 +08:00 via iPad 能看见别人家的完整合同这件事很不可思议，加解密过程是如何完成的呢，错误配置了别人家的解密？ |
 | 42 quickma 2019-04-02 10:40:15 +08:00 收钱的吗？ |
| 43 8e47e42 OP |
 | 44 janssenkm 2019-04-02 13:43:41 +08:00 via Android 谷歌大叔的 drive 应该类似 ClusterFS, Ceph,HDFS 等，将文件拆成一个个数据块后以分布式方式存储。在某处维护一套索引机制，一个文件有一个唯一标识码，通过标识码和数据包顺序标识引用来实现文件的读写操作。 楼主遇到的问题我猜测是因为这几个原因导致吧， 1. 文件标识码计算方式遇到冲突，也就是出现两个或三个文件计算标识码的算法出现了雷同，这样就会出现文件不一致的情况。 2. 一个文件拆分多个数据包后会将多个数据包分别存放在不同服务器上，刚好某个数据包解析存储的服务器包括冗余服务器接收到该数据包时出现标识码丢失部分内容，过程也许很复杂，但确确实实丢了一位。比如原文件标识码为 1173734, 可丢失一位后变成 117373，两个不同标识码就代表了不同文件，所以就出现某个文件丢失了一个数据块，而另一个文件多了一个数据块。 数据量小时这些问题很难复现，在达到谷歌这种巨巨巨巨巨量数据块下，我觉得还真有可能，而导致故障的原因也许只是某个小小寄存器校验失败。对于巨量存储环境下，这种错误几乎可以忽略了。因为要他不报错还真不可能，只是这微乎其微的概率刚好被楼主遇到了。 给楼主一个建议，分布式存储原理下的数据存储都会有一定几率造成数据包异常，我们只能尽量减少发生概率。有条件的话， 1. 建议存放时做一下校验，本地生成一个 md5，存上去后再抓回来做一个校验，两个值相同时才能认为存入成功。 2. 检查调用的 api 是否使用了老接口，保证全部走 SSL，这个可以防止被污染和篡改。谷歌有些老接口不知还存在否，那可是货真价实的 http，虽然谷歌在努力走全 HTTPS，但也许会有漏网之鱼，刚好这一瞬间遭遇了污染劫持篡改也有可能。 |
 | 46 skyfree 2019-04-02 14:40:47 +08:00 还有这么大的 bug? 建议国内使用 G Suite 的公司可以看看我们开发的 G Suite 备份软件 ：CubeBackup https://www.cubebackup.com . 真的是个非常好用的企业数据备份工具 |
 | 47 CrabAss 2019-04-02 15:16:14 +08:00 via Android 关注 |
| 48 8e47e42 OP @janssenkm 我们有帮 Google 做 log 分析（对大家没看错 9102 年谷人希现在都没有处理完这个 critical bug，甚至连 log 分析结果都没有给），基本应验你说的 2，Google Drive File Stream 的虚拟驱动有问题，导致 actually 和 expected 的不同，从而在写入的时候导致错误，具体体现为报错日志和出问题文件的写入时间高度一致，服务器上是不是有更进一步的问题尚不明确，但是 local 的 GFS 是真的有问题，建议大家别用了。 更可怕的是我们做 research 的时候发现了这个： https://www.greyhathacker.net/?p=1041 而这种级别的 bug，Google 根本就没有发任何通知。 |
 | 52 FancyKing 2019-04-08 11:24:52 +08:00 via Android 关注，大谷歌竟然出这种事情，我好几百 G 的文件啊，害怕～～～ |
Select Language