这是一个创建于 2435 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 1.通过User-agent 判断是否为爬虫访问。如果是则通过反向代理或者其他程序代理到一个专门为爬虫准备的服务
- 2.自己通过 nodeJs+puppeteer 或则模拟浏览器访问我们的项目然后返回渲染完成好的 HTML。
下面列出了一些常见的爬虫 agent
User-agent: Googlebot User-agent: Googlebot-Image User-agent: Baiduspider-news User-agent: Baiduspider User-agent: Baiduspider-image User-agent: Sosospider User-agent: bingbot User-agent: 360Spider User-agent: HaosouSpider User-agent: yisouspider User-agent: YoudaoBot User-agent: Sogou Orion spider User-agent: Sogou News Spider User-agent: Sogou blog User-agent: Sogou spider2 User-agent: Sogou inst spider User-agent: Sogou web spider User-agent: EasouSpider User-agent: MSNBot User-agent: ChinasoSpider
7 条回复 2019-04-19 23:50:18 +08:00
 | 1 creedowl 2019-04-15 21:20:45 +08:00 via Android 很多爬虫都会伪装成搜索引擎吧，而且像 vue 这些前端框架都有 ssr 组件 |
 | 2 fuxinya 2019-04-15 23:13:04 +08:00 via Android 像是谷歌搜索，会不定时伪装成正常的访问，如果爬取二者页面相差很大，会认定你作弊 |
 | 3 whypool 2019-04-15 23:35:04 +08:00 目前打算上 ssr 了 |
 | 4 nobb519 2019-04-16 00:23:46 +08:00 现在已经不存在 SEO 了。外语站就有，但需要 PWA，百度的话，散了吧 |
 | 5 alexmy 2019-04-16 12:37:00 +08:00 如果是 react, vue，ssr 的解决方案也挺多的了。 |
 | 6 LongLights 2019-04-16 15:46:35 +08:00 via Android 4 楼说的对 中文网站已经没有 SEO 了 |
 | 7 abcbuzhiming 2019-04-19 23:50:18 +08:00 目前前后端分离项目如果一定要做 SEO，最理想的方案就是退回到后端渲染，针对爬虫返回不同内容很容易被判作弊的 |
Select Language