不用 vscode 的？ copilot 都集成两年了，现在都支持 mcp agent 了

pipeline 处理 item 比抓取还慢？那要考虑你的储存架构设计方式了，自己存东西怎么会比爬慢

如果暂时无法解决，将 item 队列从内存队列换为磁盘队列即可，这样会 spider 在 yield item 的时候，item 会被先序列化到磁盘上，就不占用内存了

还有楼上说的 io 和计算没分离纯属没怎么用过 scrapy

这种大文件，就不适合在内存中操作，正确的方法是使用虚拟内存
import mmap
可以将直接将一个硬盘文件变为虚拟内存
这样的进行写入的好处不只是省内存，还减少了一次用户态和内核态之间的切换

@feiniu 只要 app ，之前是爬阿里的也可以，现在还在招聘

@AFOX 是电商数据吗？可以加个微信聊聊？

@HenryHe613 我们这边领导没那么多条条框框，招的人能解决问题就行

copilot

APatch 自身是有这个功能的

爬虫必备的逆向技术就是指纹伪造，反混淆，指令去花，虚拟机反编译，还有汇编和脱壳，动态调试，沙盒、安卓系统二次开发，反验证码等等，这些需要你对网络协议、编译原理、操作系统、以及安全方面有深刻的理解
此外的话还需要框架开发能力，如何设计好一个高可用，支持弹性扩容和高并发的爬虫框架，并支持海量数据存储
从严格意义上来说，爬虫的逆向部分属于网络安全的属于一个子集，而框架开发技术属于后端概念

功能上一致就行了，不需要考虑那么多

丽丽：是中国人就说你好，一德格拉米

@yhxx 好的感谢，这个真是非常重要的一点，这一点确实没考虑到

@XuyangJin 3.5 年

@BelongLin 需要的，考察不仅很深，而且广度也很广，并且很考验承压能力，我感觉自己技术和业务还是比较强的，并且沟通能力还可以，一面面试官当时和我聊的很好，让我好好想想三面该怎么面。结果还没来得及高兴呢，后面二面就直接上压力了，问的我怀疑人生(ps:实际上这里有点委屈，面试官问我框架，他有些记错的部分我予以纠正，结果面试官强调是我记错了，并且由于我确实很久没接触这个框架了，也不敢反驳，后面结束后我又好好查看了文档和源码，发现我的记忆确实是正确的，但是我由于疏于准备没有深入探讨，这个对我的面评造成了很大的影响)

@ceilingyear 一本非科班，给我说简历卡本科，如果能进面试，面试官对学历就不是特别感冒了，更关注技术，最终由 hr 评定

@zhandi4 y 因为我现在的这份工作薪酬谈判没谈好，只有 11-12k 的样子，我怕卡涨幅

@XuyangJin 我 3.5 年，在西安 11k*13

@wantstark 我目前已经终面了，不知道会不会加面，还是比较焦虑的。个人在小城市每个月只有一万出头，并且专业上来说不是科班，阿里在 boss 上面标的这个岗位是北京杭州的，薪酬范围是 20k 起，我在想会不会直接给我卡到 15k 左右的水平，如果是的话那就惨了

@ufan0 说的我好焦虑啊，没有面过一线企业，hr 面具体会问些什么呢