有没有爬虫王！可以教下我 Websocket 怎么爬吗?

你应该发到程序员版面 《恕我直言，用 websocket 发送对话，根本没有人能爬到我的内容 》

你发外包我可以接

看你这个描述，不是卡在 ws 而是卡在过不了 cf

有头手工点 cloudflare

我有个办法，别用无头，用有头。手动过下 cf ，然后程序自动爬。

NSFW 警告，不要看首页

，websocket 也能爬？如果能爬，那基于 TCP 协议的应该都能爬吧？

@peteretep 今日 funning

用 electron 开 cdp 监听 ws

@rabbbit 你跟我看的是一个首页吗？哪有 NSFW ，都是穿得严严实实的印度大妈和卡通人物

@peteretep 太经典了. 太厉害了. 赔付

@peteretep 佩服 你是懂发帖的

用 chrome 打开，然后打开 inspector network 页，右键复制 curl(cmd/bash)，这种基本可以下载下来

@xiaoming1992 你登录了吗

@xiaoming1992 登录解锁

@peteretep 你是懂程序员的

@musi 我试试，谢谢

@coderzhangsan 看页面源代码解析逻辑，可以爬

@coderzhangsan 不能爬网站是怎么显示的？你能看到的东西都能爬

playwright 这样过 cf
Browser browser = playwright.chromium().launch(new BrowserType.LaunchOptions().setHeadless(true)
.setArgs(List.of("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"))
);

@peteretep 你是懂拿捏人心理的

建议你看看 browser use 项目。

https://r.jina.ai/ https://crushon.ai/character/7e388767-63c7-45e3-b922-53458b4ae4f7/chat

@peteretep #1 《提问的艺术》

指纹浏览器

这个应该能过 CF 盾
https://github.com/FlareSolverr/FlareSolverr

@peteretep 怎么大胆，抖音弹幕都有人能爬 websocket 加密的还是

@peteretep 怎么大胆，抖音弹幕都有人能爬 websocket 加密的

@991547436 牛的

搞定了，用的有头 playwright ，手动过 cloudflare ，还可以吧，只需要确认一次就行