|
 文：王智远 | ID:Z201440
Kimi这两天悄悄推出数学版，名字叫：k0-math。 知道模型前，已经有不少外部不少信息说对标OpenAI o1系列，还有人放出了在MATH、中考、高考、考研4个数学基准测试中的数据。结论是，Kimi数学版成绩均超过了OpenAI o1-mini和o1-preview模型。对于这种评测肯定有各种说法。有些人认为，Kimi 在处理几何、代数和计算准确性方面表现不错，还能提供多种解题思路。即使遇到一时解不出的题目，它也会“回炉”重新分析，最终给出正确答案。但也有人指出，国内大模型推出数学版的同时，也暴露了自身的真实水平；以前，数学能力不是大家关注的重点，但随着 Kimi 推出这个新模型，人们逐渐意识到：数学才是衡量大模型底层能力的核心。既然如此，大模型卷数学哪家更强呢？纸上得来终觉浅，绝知此事要躬行；所以，和团队伙伴一口气测了8个模型。 01 模型包括：主流的Kimi、ChatGPT（o1 和 o1-preview）、豆包、通义千问 2.5、讯飞星火、夸克和知乎直答。 问题来了，该怎么测试这些模型的数学能力？刚好前两天发完小绿书后，有位朋友留言推荐了一道题。他说，试试这个问题：正方形ABCD绕B逆时针旋转任意角度得正方形 BPQR ，连 QD ，连 CP 交 QD 于 E 。已知CE =5V2, ED =4，求AB的边长。 说实话，我不是专业的数学博主，只能从评测的角度来还原这个过程。先说明一点，这里面有些模型可能并没有对外宣传自己能做数学题，但这没关系，测一测或许会发现一些意想不到的表现。说实话，我不知道。毕竟这些几何知识早就还给老师了，为了避免答得太离谱，我顺便问了 Kimi 一个问题：这道题属于什么范畴、什么难度？它告诉我：这是一道正方形旋转、勾股定理、以及三角形组成的题，主要在初中、高中的几何课程中，反复被讨论更复杂的几何变换使用。好吧，先不纠结我自己的数学水平，接着测试豆包。为了阅读方便，这里就不放截图了。豆包的计算速度很快，结论和 Kimi 数学版完全一致。这么看来，这两个模型在答案上还是比较统一。通义千问2.5模型怎么样呢？它的第一个答案是 √33，但当我再次测试时，它给出的结果变成了 √66。这个结果让我有点懵。事情总是按照英雄之旅的模式发展，测试讯飞星火时，它的计算速度比其他几个模型明显慢了一些。更离谱的是，它得出的结论是正方形 ABCD 的边长是 9，而我问的是 AB 的边长；于是，我指出了这个错误，要求重新计算，这才得到一个和通义千问类似的答案。它提供了三个不同的计算过程，但结论并不一致，带着疑惑，我又测了知乎直答，结果更不一样，答案五花八门，让人有点摸不着头脑。这个模型很有意思，它一开始几乎快解完了，却突然删掉了；更有趣的是，它解完又删，又重新计算，像在“反思”自己的解题思路。最终，它的答案和 Kimi 数学版一致。切换到 ChatGPT o1-preview 模型后，答案和通义千问、讯飞星火类似。8个模型最终测试下来，豆包、Kimi、ChatGPT 4o计算方式和答案一致；通义千问、讯飞星火、ChatGPT o1-preview答案另一个答案；夸克和知乎直答，提供了不同的结果。 02 有句话，被人经常说起，即：如果给我一个小时来解决问题，我会用55分钟来思考问题，再用5分钟来思考解决方案。 虽然，无法证明是不是爱因斯坦说的，至少告诉我们，思考比答案更重要，问题被定义，答案也就很好解决。于是乎，我们来了一波反向操作，把问题又给了8个大模型，让它来纠正错误。首先，拿ChatGPT4o和ChatGPT o1-preview进行对比，果然，统一大模型下测试语言类和数学类就能看出它真正的能力。ChatGPT4o逻辑性比较明显，回答也很干脆，它说： 一，旋转角度不明确，比如“绕 B 点逆时针旋转任意角度”，这个角度到底是多少？需要明确。二，已知条件和几何关系不匹配，导致计算困难。 三，因为有前两个问题存在，求 AB 角度会很灵活，结果容易变化。
ChatGPT 0.1-preview 的回答方式有点不同。它会先分析，等梳理完再给出完整答案。虽然内容和ChatGPT4o一致，但思路展开得更全面些。 它更懂中国人一些，我虽然做数学题的能力早蜕化完了，但能看懂解题思路；它分析了三个关键问题，最后建议直接设定一个具体角度（比如 90°）或补充几何信息，这样能避免理解偏差；总体来说，Kimi 的回答简单明了。豆包回答更注重细节。它明确指出旋转角度模糊、缺少等量关系线索等问题，给出具体修改建议，比如将“绕 B 点逆时针旋转任意角度”改为“旋转 45°”，或者增加三角形面积比等条件。Kimi结构化清晰，列出几点就没了；豆包，则会在条目上进行一步展开动作，内容更丰富一些。通义千问 2.5 的表现有些矛盾。它一开始说问题没有逻辑错误，但又指出条件中 CE 和 ED 的长度与旋转角度不匹配。这种前后不一致让我有点困惑。再说说讯飞星火模型，它在纠错方面表现一般，会直接还原解题思路，但几乎没有排查问题，即使调整提示词，结果还是一样，和其他模型的表现有明显差距。对于夸克，体验感受是这样，它网页版只有搜题、上传图片来解题这俩功能，不像其他智能体能直接把问题发给它，再给提示词让帮忙解题。缺了过程就限制了互动性。只能换种形式，对着电脑拍张图片给它；不过它的解题能力很强，能根据缺少的条件生成多个答案，并还原出对应的解题思路。知乎知答倒是挺意外，虽然它没宣传解题功能，但它不仅能解决问题，还能纠错。一部分答案依赖搜索，另一部分通过生成完成，它还能直接指出题目中模糊的地方，加入修正设想。不过它的回答没有 Kimi 或豆包那样条理清晰，可能是训练数据不足的原因。8个模型，整体纠错下来，ChatGPT 4.o和Kimi水平相当，回答清晰，ChatGPT o1-preview和豆包细节更丰富，展开更多。通义千问 2.5 表现模糊，讯飞星火 在纠错方面还需提升，夸克解题能力强，但互动性差。知乎知答算是意外之喜，能解题纠错，但条理性稍弱。以上是我和团队另一位伙伴测试中的个人体验，如果认为不准，也可以亲自测试一下模型中的表现。测试完后，我查了一下，这道题如果出现在试卷里通常会明确说明旋转角度。但在我的测试中，这个条件没有给出，所以问题本身确实有些模糊。也正因如此，我更觉得，明确和梳理清楚问题才能找到答案。 03 大模型卷数学能力蛮重要，为什么重要？理由有很多，不过，从我的感受上认为有两个值得关注下。 家长们辅导孩子做作业已经够费劲了，尤其是数学题，将来你有了孩子，遇到难题想用AI帮忙，结果几个模型给出的答案都不一样，那得多让人焦虑？从大方面看，解题思路可以有很多种，但答案必须准确无误。因为数学是严格按照逻辑规则来的学科，从公理到定理，每一步推导都要精确，数学结论出错了，接下来的推导可能全错。某天我们用 AI 模型帮忙计算关键数据，结果有偏差，那施工时是不是会直接酿成事故？还有一点，我感觉数学模型的实际应用场景比语言模型更多，从金融分析到天气预测，从自动驾驶到工程设计，哪一样离得开精确的数学运算？过去几年，大语言模型学了不少东西，比如语言、语义和情感表达。这就像一个刚出生的孩子，最初大脑充满了对情感、语言和人际交流的敏感性。但接下来，模型要进入更高层次的认知发展阶段，就像孩子逐渐开始上学，学习数学、科学等逻辑性更强的东西。这个阶段，好比大脑的“系统2”，更高级的理性思考能力。系统2的作用是什么？深入理解、推理和解决复杂问题的基础。如果模型在理科上不够精准，那怎么能指望它在复杂的任务中表现得好呢？所以，数学是对系统2的极限测试，因为数学不容模糊，要么对，要么错，没有中间地带。更进一步说，大语言模型不能只会讲故事、安慰人，它得成为一个会计算的“科学家”或者“工程师”，这样才能解决更高层次的问题，而这一切都要靠数学能力。 04 我注意到除Kimi外，还有不少大公司推出了专门提升数学能力的大模型。 比如：好未来的MathGPT，它主要为全球的数学爱好者和科研机构服务的，主要做搜题和答题，属于千亿级别的大模型。百川智能的Baichuan 4，主要关注金融行业，能做风险评估和交易策略分析，已经和用友、软通动力、新致软件、达观数据、华胜天成等伙伴合作了。阿里云的Qwen2-Math是个开源模型，专门用来解数学题。虽然它还没公布具体客户，但在学术研究和竞赛培训中经常看到它的影子。除此之外，还有云从科技的从容大模型和MiniMax的abab6.5等等。它们有的专注政府领域，有的更偏向制造业，以前，这些公司大多通过大模型或者某个具体应用场景来让大家了解。现在AI在个人用户端应用竞争，已经变得有些局限了。因为主要集中在搜索、对话、写作、代码生成这几个领域，AI的极致体验，更多是从搜索开始，然后逐步建立起搜集、应用、输出的完整流程。这种局限让AI的潜力还没有完全发挥出来，实际上数学模型的应用场景要比文科类、代码生成要广泛得多；不信，只要思考一个场景就够了：上班时，无论是财务、运营还是市场决策，几乎所有公司每天都离不开数据。管理者们关注的是什么？是各种报表上的ROI指标，是增长率、转化率，是用数字来衡量业务健康状况的关键指标。进一步来说，这种能力在更大的层面甚至关系到供给侧的优化。比如，企业如何通过数据优化供应链，降低库存成本，同时提升交付效率？如何用数学模型分析市场需求波动，及时调整生产计划？这些都是企业面临的核心问题，而解决问题的关键，正是强大的数学建模能力。所以，数学模型意义早已超越学科本身，它是推动经济发展，加速商业效率的支柱，AI模型卷数学，无疑能让能力迈向新高度。 不太好定义，不过，我认为，在比能力这件事上，不如多思考一下，如何进入某个领域拿到数据，毕竟数据是训练模型重要的语料。 ————
|
