Claude 4.5 vs GPT-5 vs DeepSeek V3：用同一批测试题折腾了三天
Claude 4.5 vs GPT-5 vs DeepSeek V3：用同一批测试题折腾了三天
最近 V2EX 上关于 Codex 重置、ChatGPT Agent Mode 消失的帖子一直在刷，感觉大家对各家模型的状态都有点摸不准。趁这个机会，我把手头几个主力模型用同一套测试场景跑了一遍，结果有些出乎意料。
测试对象 & 版本
| 模型 | 版本 | 测试时间 |
|---|---|---|
| Claude | claude-sonnet-4-5 | 2025-07 |
| GPT | gpt-5 | 2025-07 |
| DeepSeek | deepseek-v3（最新） | 2025-07 |
Gemini 2.5 Pro 和 Grok 4 也有跑，但样本量不够，本文不单独列入评分，会在相关场景备注。
场景一：Bug 定位（真实生产代码）
取了一段 Rust 异步代码，有一个典型的生命周期 + Arc 死锁问题，故意不加注释，直接贴给三个模型，问："这段代码有什么问题？"
Claude 4.5：定位准确，直接指出 Arc 在 async block 里的 guard 跨 await 导致的死锁风险，给出了 drop(guard) 前置的修复方式，还顺带提了 tokio::sync::Mutex 更适合这个场景。回答结构清晰，没有废话。
GPT-5：同样定位到了死锁，但解释路径更长，绕了一圈从 Rust 所有权模型开始讲，适合新手，对熟悉 Rust 的人略显啰嗦。修复建议是正确的。
DeepSeek V3：找到了死锁，但对 async 上下文的分析浅了一层，给的修复方案是"加 timeout"，治标不治本。如果你用 DeepSeek 做 Rust 异步这类场景，建议多追问一轮。
备注：Grok 4 在这个场景表现不错，和 Claude 4.5 接近，但偶发幻觉（捏造了一个不存在的 crate）。
场景得分（满分 5）
| 模型 | 准确性 | 解释质量 | 修复可用性 |
|---|---|---|---|
| Claude 4.5 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| GPT-5 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| DeepSeek V3 | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
场景二：长文理解（40K token 技术文档）
把一份 AWS re:Invent 的架构白皮书（约 38K token）喂进去，问三个问题：核心架构决策是什么、有哪些已知局限、如果要迁移到 GCP 需要注意什么。
Claude 4.5：200K context 窗口的优势明显，三个问题的回答都能精确引用原文段落，迁移建议有条理，没有乱发散。这是 Claude 系列一贯的强项。
GPT-5：回答质量高，但在"迁移到 GCP"这个开放性问题上有点过度发散，引入了文档里没提到的服务，需要人工核实。对长文的"抓重点"能力略逊于 Claude。
DeepSeek V3：context 窗口够用，但在超长文档的细节召回上有明显丢失，第三个问题的回答基本是通用建议，和文档本身关联不大。
场景得分
| 模型 | 内容召回 | 答题相关性 | 幻觉控制 |
|---|---|---|---|
| Claude 4.5 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| GPT-5 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| DeepSeek V3 | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ |
场景三：数学推理（竞赛级）
取了 AIME 2024 的三道题，不给提示直接作答。
Claude 4.5：3 题对 2 题，过程写得很清楚，错误那道推导过程本身没问题，是最后一步计算失误。
GPT-5：3 题对 3 题。数学推理是 GPT-5 目前最明显的提升点，过程严谨，基本没有跳步。
DeepSeek V3：3 题对 2 题，和 Claude 4.5 持平，但有一道用了不标准的符号记法，如果直接拿来教学需要二次整理。
Gemini 2.5 Pro 这个场景跑了一次，3 题全对，数学能力确实强，但这不是本文重点，有需要可以单独测。
场景得分
| 模型 | 准确率 | 推导过程 | 可读性 |
|---|---|---|---|
| GPT-5 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| Claude 4.5 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| DeepSeek V3 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
场景四：成本计算（最关心的一项）
按我三天的实际用量估算：每天约 2M input tokens + 500K output tokens，跑一个月。
官方定价（人民币，汇率按 7.25 估算）
| 模型 | Input /M | Output /M | 月成本估算 |
|---|---|---|---|
| Claude Sonnet 4.5 | ¥21.75 | ¥108.75 | ≈ ¥2,308 |
| GPT-5 | ¥54.4 | ¥217.5 | ≈ ¥5,625 |
| DeepSeek V3 | ¥1.97 | ¥7.98 | ≈ ¥196 |
通过无量Api（SVIP 7.7折）
| 模型 | Input /M | Output /M | 月成本估算 | 节省 |
|---|---|---|---|---|
| Claude Sonnet 4.5 | ¥7.5 | ¥37.5 | ≈ ¥795 | 约 65% |
| GPT-5 | ¥18.7 | ¥74.8 | ≈ ¥1,935 | 约 66% |
| DeepSeek V3 | ¥0.7 | ¥2.8 | ≈ ¥69 | 约 65% |
DeepSeek 本来就便宜，再打折之后月成本不到 70 块，适合高频调用的场景（比如批量处理、RAG 召回排序等）。Claude 和 GPT-5 的折扣更有感知——每个月能少花一千多，一年就是一万多的差距。
综合结论
不偏袒版总结：
- 代码 debug / 工程类任务：Claude 4.5 和 GPT-5 都可以，Claude 4.5 在 Rust/Go 这类内存安全语言上细节把握更好
- 长文档处理：Claude 4.5 目前最稳，不是因为情怀，是实测结果
- 数学 / 逻辑推理：GPT-5 这次表现最强，如果你的场景数学密集，值得优先考虑
- 成本敏感 / 高并发：DeepSeek V3 性价比无敌，能用它解决的问题就别浪费 Claude/GPT
没有一个模型全场景最优，实际项目里建议做 routing：数学题走 GPT-5，长文摘要走 Claude，批处理走 DeepSeek。
附：如何低成本跑完这套测试
这三天测试我全程用的是国内直连的 API，改一行 Base URL 就能切换模型，不需要挂代理。注册有 ¥1 试用金，余额永久不过期，适合先小额充值跑评测，确认效果再加量。
无量Api：api2everything.xyz
支持 OpenAI / Claude / Gemini / DeepSeek 等 300+ 模型，国内直连，SVIP 7.7折
如果你也在做类似的横评，欢迎评论区交流测试方法，或者把你的测试集分享出来，大家一起完善。