如何科学的衡量 copilot 这类编程助手对研发的提效水平？
JkCola JkCola 2024-10-10 22:09:09 +08:00 1565 次点击这是一个创建于 430 天前的主题，其中的信息可能已经有所发展或是发生改变。
1 、大家都知道：开会评审、理解需求、追问补充细节也很占时间。
2 、大家也知道：技术方案制定、代码 review 、上线观察的工作耗时必不可少。
3 、大家也知道：向 copilot 描述需求内容、UI 细节等，额外增加了自己的沟通成本。
4 、大家还知道：很多业务需求是零散着改动多个已有的文件，充满了逻辑细节，而不是宣传 DEMO 里的从 0-1 搞个无业务逻辑的玩具出来。
但是，你如何科学的衡量 copilot 之类工具（包括最近火热的 cursor ），用 or 不用，对研发效率的影响是多少？
哪些结果指标和过程指标、怎么统计。而不是主观感觉提升了 x%。
2 、大家也知道：技术方案制定、代码 review 、上线观察的工作耗时必不可少。
3 、大家也知道：向 copilot 描述需求内容、UI 细节等，额外增加了自己的沟通成本。
4 、大家还知道：很多业务需求是零散着改动多个已有的文件，充满了逻辑细节，而不是宣传 DEMO 里的从 0-1 搞个无业务逻辑的玩具出来。
但是，你如何科学的衡量 copilot 之类工具（包括最近火热的 cursor ），用 or 不用，对研发效率的影响是多少？
哪些结果指标和过程指标、怎么统计。而不是主观感觉提升了 x%。
 | 1 vsitebon 2024-10-10 22:12:06 +08:00 代码行数直接统计 OR 完成任务时效统计 |
 | 2 JkCola OP @vsitebon 行数是 copilot 角度的效果指标，也就是说 copilot 能帮忙写出多少行可被提交的代码，非效率类指标。 完成任务的时效，充满了开会评审、需求细节沟通等干扰；包括需求的大小是不一样的，这个月偏大，下个月可能全是小需求，怎么做都快。 |
 | 3 ztm0929 2024-10-10 22:24:34 +08:00 via iPhone  2 https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/ 我没细看文章，不过应该可以做参考（辩证地看，作为商品，它一定会存在自夸的成份的） 如果有用请点个没币了 |
Select Language