2小时实测:手搓代码VS AI编程 ,传统手艺能否赢AI?

原创
💍
IPD
2026-04-09 18:09:08
13
摘要:耗时2小时实测,OpenAI Codex真能比手搓代码更厉害?

AI VS古法编程,传统手艺能否赢AI?


最近圈子里到处都在讨论“AI能不能替代程序员”,各类观点众说纷纭、莫衷一是,让人难以分辨。


到底是人机协作还是人机竞争?AI究竟是不是比手搓代码更厉害?为了评估AI在实际开发场景中的表现,我们组织了一场人工手搓代码OpenAI Codex的比赛,看看在实际研发场景中,两者到底谁更胜一筹。

这次要解决的问题场景是研发团队最日常的研发工作——解Bug

解Bug不仅考验技术功底,更需要对项目逻辑、业务场景的熟悉度,也是最能体现编程实操能力的环节。

比赛规则


产品经理提前准备好10个Bug和1个需求,由参赛的两组选手同时处理。


处理完成后,需要提交代码,再由禅道研发负责人刚哥负责评审双方的代码质量,最后由2名测试工程师分别对两组提交的成果进行测试,重点验证Bug是否完全解决、需求是否实现。


接下来,让我们隆重介绍古法编程参赛选手:



(手搓代码组,由禅道资深研发工程师小明负责,全程纯手工编写代码、修复Bug、完成需求开发。)

以及新新新新新势力AI参赛选手:



AI辅助组,依靠OpenAI Codex,搭配禅道研发总监金庸哥哥完成所有任务。


比赛当天9点10分,两组同时开始处理,11点20分结束,全程耗时2小时10分钟


(请看现场播报)



最终比拼结果如下



Tips:此次主要聚焦日常解Bug的场景,后续还会补充更多的测试情况,覆盖不同场景下的真实表现。

综合本次比拼的全程表现,我们的复盘总结如下:

首先,AI组的整体进度主要卡在了前4个Bug的处理阶段,由于对禅道的近期功能设计并不熟悉,遇到“设计如此”类问题时,AI会在无效路径中反复尝试,导致耗时偏高;而人工组则更熟悉禅道设计,对于“设计如此”的Bug能够快速给出判断,同时整体的Bug处理速度和节奏也明显更快

其次,在OpenAI Codex的使用过程中暴露出了几个明显问题,这也是影响AI效率的关键因素:
  • AI组未参与部分功能开发,对项目的已有逻辑不熟悉,如果操作人员无法给出进一步的精准提词,Codex就会一直在多种解决思路中反复尝试,反而消耗大量时间,这也是前期进度受阻的核心原因之一;
  • 禅道的代码存在不少特殊判断逻辑,Codex在没有明确提示的情况下,很容易给出错误的解决方案,需要后续反复调整;
  • 缺少完善的项目文档支撑,Codex每次处理任务时,都需要从0开始阅读整个代码库,浪费了大量不必要的时间,也间接影响了整体进度。

基于上述发现,我们也能够梳理后续的AI辅助的优化方向,既能提升AI的使用效率,又能完善团队自身的研发流程:


一是增加前端和后端业务的Skill文档,让AI能快速了解项目业务逻辑和代码规范,减少无效尝试;


二是可以让AI对接visual、用例和日志,实现反馈循环,让其能根据测试结果和日志信息自动调整解决方案,提升准确性;


三是优化产品代码库的整体组织,让代码结构更清晰,方便AI快速检索关键信息;


四是在业务流程中,相关人员提Bug时可带上对应url,这样能够实现一步定位到模块方法,减少AI阅读代码库的时间,提升定位效率。


手搓 VS AI,究竟哪方更胜一筹?


从比赛的全程及后续的优化方式来看,基于不同的人员操作,AI确实能实现提效,但效果并没有我们想象中那么惊艳,不存在AI能够“一键替代程序员”的情况。

同时,AI辅助编程也存在一定的成本,比如需要投入时间整理文档、优化提词、调整AI给出的错误方案,这些都需要人工参与,并没有大家说的那样省心省力。

当然,还有很多人认为AI编程完全“不需要熟悉代码,全部交给AI干就可以”,但从实际结果来看,对代码的熟悉程度虽然不影响AI的使用,但会影响提词的精准度,进而影响AI的效率和解决方案的准确性。

整体来看,AI能达到20%~30%的提效,就已经能够满足日常研发的需求了。而通过这次实测,我们也更清晰地明确了AI的定位:它更适合作为辅助工具,用来提升编程效率、减轻人工负担,而不是完全替代程序员。毕竟在实际研发场景中,项目的特殊逻辑、个性化需求、代码质量的把控,以及问题的精准定位,依然离不开人工的专业判断。

那些在担心AI能不能替代自己的程序员们,或是在思考能不能用AI替代程序员的老板们,看到这个结果,大家会作何感想?


  • manual-programming-vs-ai-programming-5.png

推荐阅读

经济下行,当下企业如何破局?

禅道前几天刚发布的企业决策分析解决方案2.0中,增加了适合IPD市场分析的3C战略三角模型。我想借着此次发布,和大家分享一下企业如何落地IPD,让企业的真金白银不浪费。
🌻
陈哥聊测试
2024-11-04

吴恩达老师《ChatGPT提示工程》课程笔记

近期学习了一部分吴恩达老师推出的《ChatGPT提示工程》视频课程,做了一些笔记,跟大家分享下。
📘
春哥
2023-05-06

IPD(产品集成开发)与传统项目管理的区别

IPD和项目管理相辅相成,IPD 体系可以使企业“做正确的事”,同时借助于项目管理知识、技能、工具“正确地做事”,两者相结合方能使企业发展更为顺畅。
📘
禅道
2023-07-28

你做的产品,为什么不受欢迎? ——IPD(集成产品开发)模式下的产品研发揭秘

IPD作为开放性很高的研发管理模式,其本身就是一个取其精华、不断优化、吐故纳新的体系,因而对IPD的应用和借鉴不能机械地无脑照搬,需要根据行业特点和公司业务实践进行调整,同时也需要在IPD模式在公司推广运行过程中不断完善和改进,才能达到较为理想的效果。
📘
lujie
2023-11-22
返回顶部
客服头像
金娟
高级客户经理
客服微信
18562856230
1826606239
统一服务热线 4006-8899-23
我要提问提问有任何问题,您都可以在这里提问。问题反馈反馈点击这里,让我们聆听您的建议与反馈。
gtm跟踪器
gtag