Claude 4.5 vs GPT-5 vs Gemini 2.5 vs DeepSeek V3:用同一批任务测了一周,结论有点意外
Claude 4.5 vs GPT-5 vs Gemini 2.5 vs DeepSeek V3:用同一批任务测了一周,结论有点意外
最近 V2EX 上关于 GPT 额度缩水、Fable 5.1 可用性的讨论很热,说明大家都在认真选模型——不是为了跑分,是为了真实工作流里哪个更顶用、哪个更划算。
我用同一套任务跑了这几个模型,把结果整理出来。没有赞助,不刷好感,看完你自己判断。
测试场景设计
挑了四个最能暴露差异的场景:
1. 代码补全与 debug:给一段有隐藏逻辑 bug 的 Python 异步代码,要求找出问题并修复
2. 长文理解与摘要:喂一篇 12000 字的技术报告(英文),要求提炼核心论点、数据,并指出作者没说清楚的地方
3. 数学推理:五道混合题,覆盖组合数学、概率和简单数论,要求给出完整推导过程
4. 成本敏感型批量任务:模拟一个日处理 100 万 token 的翻译任务,重点看输出稳定性和实际花费
测试结果
场景一:代码 Debug
# 原始代码——有一个经典的 asyncio 竞态问题
async def fetch_all(urls):
results = []
for url in urls:
result = await fetch(url)
results.append(result)
return results
这段代码逻辑上"能跑",但串行 await 完全没利用异步优势,高并发下还可能因为 session 未正确关闭产生泄漏。
| 模型 | 是否发现根本问题 | 给出 asyncio.gather 方案 | 主动提示 session 管理 |
|---|---|---|---|
| Claude 4.5 Sonnet | ✅ | ✅ | ✅ 主动加了 async with |
| GPT-5 | ✅ | ✅ | ⚠️ 提了但没改代码 |
| Gemini 2.5 Flash | ✅ | ✅ | ❌ 未提 |
| DeepSeek V3 | ✅ | ✅ | ⚠️ 在注释里提了 |
四个都找出了问题,差异在代码完整性上。Claude 直接给了可运行的完整版本;GPT-5 的解释最详细但代码需要自己补;Gemini 最快。
场景二:长文理解
12000 字报告,核心考点是:能不能识别作者用了哪些数据但结论跳跃的地方。
| 模型 | 核心论点提炼 | 发现逻辑跳跃 | 指出数据缺口 | 幻觉情况 |
|---|---|---|---|---|
| Claude 4.5 Sonnet | ⭐⭐⭐⭐⭐ | ✅ 找出 2 处 | ✅ | 未发现 |
| GPT-5 | ⭐⭐⭐⭐⭐ | ✅ 找出 3 处 | ✅ | 未发现 |
| Gemini 2.5 Flash | ⭐⭐⭐⭐ | ✅ 找出 1 处 | ⚠️ 部分 | 未发现 |
| DeepSeek V3 | ⭐⭐⭐⭐ | ✅ 找出 2 处 | ✅ | 1 处轻微 |
长文理解上 Claude 和 GPT-5 旗鼓相当,GPT-5 找出的逻辑跳跃更多,但 Claude 的表述更适合直接用于工作文档。
场景三:数学推理
五道题,两道组合数学、两道概率、一道数论。重点看推导过程是否完整、有没有跳步。
| 模型 | 正确题数 | 推导完整 | 跳步情况 |
|---|---|---|---|
| Claude 4.5 Sonnet | 4/5 | 是 | 第 3 题跳了一步 |
| GPT-5 | 5/5 | 是 | 无 |
| Gemini 2.5 Flash | 4/5 | 部分 | 第 2、4 题有跳步 |
| DeepSeek V3 | 5/5 | 是 | 无 |
数学这块 GPT-5 和 DeepSeek V3 表现最稳,DeepSeek 在推导风格上更像教材,适合需要严格过程的场景。
场景四:成本计算(这才是大多数人最关心的)
以日处理 100 万 token(输入 70 万 + 输出 30 万)的翻译任务为例:
官方定价(人民币,按当前汇率换算)
| 模型 | 输入价 /M token | 输出价 /M token | 日成本估算 |
|---|---|---|---|
| Claude Sonnet 4.5 | ¥21 | ¥105 | ¥14.7 + ¥31.5 = ¥46.2 |
| GPT-5(估算) | ~¥36 | ~¥144 | ~¥25.2 + ¥43.2 = ~¥68.4 |
| Gemini 2.5 Flash | ~¥2.5 | ~¥10 | ~¥1.75 + ¥3 = ~¥4.75 |
| DeepSeek V3 | ~¥2 | ~¥8 | ~¥1.4 + ¥2.4 = ~¥3.8 |
通过无量Api(SVIP 7.7 折)
| 模型 | 无量Api 输入价 /M | 无量Api 输出价 /M | 日成本估算 |
|---|---|---|---|
| Claude Sonnet 4.5 | ¥7.5 | ~¥38 | ¥5.25 + ¥11.4 = ¥16.65 |
| GPT-5 | 按官方价打折 | — | 相应节省约 35-65% |
Claude Sonnet 4.5 通过无量Api,日成本从 ¥46.2 降到 ¥16.65,月省 ¥884。对高频调用的团队来说,这个差距是真实的。
综合对比
| 维度 | Claude 4.5 Sonnet | GPT-5 | Gemini 2.5 Flash | DeepSeek V3 |
|---|---|---|---|---|
| 代码质量 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| 长文理解 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| 数学推理 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 响应速度 | 中 | 中 | 快 | 快 |
| 官方成本 | 高 | 最高 | 低 | 最低 |
| API 兼容性 | OpenAI 格式 | OpenAI 格式 | 独立格式 | OpenAI 格式 |
结论
没有"最好"的模型,只有"最合适"的模型:
- 代码工作流为主:Claude Sonnet 4.5,代码可直接用,省 review 时间
- 需要严格数学推导:DeepSeek V3,价格还便宜
- 成本敏感的批量任务:Gemini 2.5 Flash 或 DeepSeek V3
- 综合能力 + 可控成本:Claude Sonnet 4.5 走第三方 API,性价比最高
GPT-5 能力确实强,但按目前定价,除非你的场景对准确率要求极苛刻,否则性价比很难说服人。
关于成本这件事
这次测试让我重新审视了"直接用官方"的习惯。Claude Sonnet 4.5 官方 ¥21/M 输入,如果通过无量Api(api2everything.xyz)走 SVIP 渠道,可以降到 ¥7.5/M——同样是 Claude 的接口,同样的 OpenAI 格式,改一行 base_url 就切过去了。
他们支持 300+ 模型,包括 OpenAI、Claude、Gemini、DeepSeek,国内直连不需要额外网络配置。注册还有 ¥1 体验额度,余额不会过期。
对个人开发者来说,省下来的钱可以多跑几倍的实验量;对团队来说,月省几百到几千是真实的预算空间。
注:价格数据基于写作时的公开信息,实际以各平台官网为准。