抄袭的风刮到了大模型圈，这一次抄袭方直指斯坦福 AI 团队，而被抄袭方则是国内大模型公司面壁智能。
事情要从 5 天前说起，网罗前沿技术最新动态的 HN 上出现一条有关大模型成果的最新消息，一个名为 Llama 3-V 的模型横空出世，它是比 GPT4-V 小 100 倍的 SOTA（State-of-the-Art，即技术水平最先进的模型），而且只需要 500 美元就能训练出来。
观其背后团队，更是有名校斯坦福大学的加持，项目作者之一的 Aksh Garg 是斯坦福大学、Point72 和 Jump 的机器学习研究员，曾就职于特斯拉、SpaceX、DE Shaw。
在介绍 Llama 3-V 的文章中，Aksh Garg 分享了该项目的由来。他表示，“Llama3 风靡全球，几乎在所有基准测试中都优于 GPT3.5，在多项测试中优于 GPT4。随后，GPT4o 横空出世，以其多模式的精妙性能夺回了王座。今天，我们将发布一款产品来改变这一局面：Llama3-V ，这是有史以来第一个基于 Llama3 构建的多模态模型。更为值得注意的是，我们的训练费用不到 500 美元。”
至于 Llama 3-V 性能如何，Aksh Garg 放上了与 Llava、GPT-4o、Gemini 1.5 Pro 等当前 SOTA 和最受欢迎的多模态理解模型对比图，其中相比 Llava，Llama 3-V 的性能提升了 10-20%。此外，除 MMMU 外，Llama 3-V 在所有指标上的表现都非常接近其 100 倍规模的封闭源模型。
用更低的成本训练出更好的模型，这也是业界诸多大模型公司一直在致力于做的事情。随着 Aksh Garg 的官宣，众多大模型爱好者蜂拥而至，探索这个最新开源的大模型的风采。
万万没想到，在体验与深挖技术实现的过程中，意外出现了。一位名为 pzx163 用户跑到了中国面壁智能 GitHub 项目 issue 地址下（https://github.com/OpenBMB/MiniCPM-V/issues/196），对着 MiniCPM-Llama3-V 2.5 项目作者举报：你们被“偷家”了。
pzx163 为了节约面壁智能的调查时间，还顺便直接甩出自己发现的三大事实。
事实 1：Llama3-V 项目使用与 MiniCPM-Llama 3-V 2.5 项目几乎完全相同的模型结构和代码
先从时间线来看，面壁智能在 5 月 21 日刚开源了端侧多模态模型 MiniCPM-Llama3-V 2.5（https://github.com/OpenBMB/MiniCPM-V），参数量为 8B。根据基准测试显示，多模态综合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用闭源模型，OCR 能力及指令跟随能力进一步提升，能够精准识别难图长图长文本，并支持超过 30 种语言的多模态交互。
而 Llama 3-V 是在 5 天前，即 5 月 29 日才发布的。
二者都在 GitHub 上开源了。
pzx163 在分析代码时发现，Llama3-V 具有与 MiniCPM-Llama3-V 2.5 完全相同的模型结构和配置文件，只有变量名称不同。
从下图来看（左：MiniCPM-Llama3-V 2.5，右：Llama3-V）
Llama3-V 的代码看起来像是 MiniCPM-Llama3-V 2.5 的代码，但进行了一些重新格式化和变量重命名，包括但不限于图像切片、分词器、重采样器和数据加载。只举几个例子：
Llama3-V 的作者引用了 LLaVA-UHD 的架构，并在 ViT 和 LLM 的选择上列出了一些差异。但作者没有提到的是，它们的具体实现其实与与 MiniCPM-Llama3-V 2.5 完全相同，而后者在很多方面都与 LLaVA-UHD 不同，比如空间模式。
Llama3-V 还具有与 MiniCPM-Llama3-V 2.5 相同的分词器，包括 MiniCPM-Llama3-V 2.5 新定义的特殊标记。
实锤之下，网友 pzx163 再放“猛料”，称：「最初，Llama3-V 作者上传的代码直接导入 MiniCPM-V 的代码，后来将名字改为 Llama3-V。https:///mustafaaliadery/llama3v/commit/3bee89259ecac051d5c3e58ab619e3fafef20ea6」。
实证 2：Llama3-V 的作者撒谎
在发现这些细节问题之后，网友 pzx163 起初并没有直接找到面壁智能团队反馈，而是先去 Llama3-V GitHub 项目 Issue 中联系了 Llama3-V 的作者们，想要让他们先出面解释一下。
没想到在看到 pzx163 的质疑时，Llama3-V 的作者们先是做了回复：
这是非常错误的。我们在此 repo 中使用了 MiniCPi-llama3 上的配置，因为要使用 huggingface Transformer 运行模型，必须有特定的配置！现在，要在 huggingface Transformer 上运行模型，还存在一些实现问题。
我测试过 MiniCPM，他们的配置很有效，所以我们使用了相同的配置。此外，我强调了架构的相似性，但 MiniCPM 的架构来自 Idefics。SigLiP 来自 ldefics，关于投影的想法也是如此。我们从 ldefics 的论文中找到了这些内容。LLava UHD 来自他们的实验室，我已经强调了这一点。此外，我还强调了更多关于它的架构是如何相同的，但架构是来自联合研究，你怎么能说它是 MiniCPM。请阅读 MiniCPM 的代码，从字面上看，它的视觉代码来自 Idefics。
我们还将在本周末发布训练和数据代码以及固定推理:)
随即 pzx163 又发现 Llama3-V 团队直接上删除了 Huggingface 上 Llama3-V 的 repo。
如果不是“心虚”，或许不会直接走到删库这一步。没想到的是，Llama3-V 团队作者对于自己删库的行为，解释称：
我把它设为私有，以修复推理问题。推理仍不起作用的原因是，你必须有特定的配置才能让它与 Huggingface Transformer 一起工作。我尝试使用的 MiniCPM-LLama3 配置与模型不兼容！人们在下载模型后发现它无法工作。这就是为什么我把它设为私有，这样人们在我解决问题时就不会下载了。
这些话也让 pzx163 找到了漏洞，这位网友再次质问 Llama3-V 作者：
你说你只是使用 Mini CPM-Lama3-V2.5 的tokenizer。但也声称在Mini CPM-Lama3-V2.5 发布之前就已经开始了这项工作。我很好奇你是如何在 MinicPM-Llama3-V2.5 项目发布之前就使用上 MinicPM-Llama3-V2.5 tokenizer 的？
Llama3-V 作者自己貌似也有些“糊涂”了，连忙矢口否认，称自己用的是面壁上一代 MiniCPM-V-2 项目的 tokenizer（https:///openbmb/MinicPM-V-2/blob/main/tokenizer.json），还附上了链接。
这的确是在 MinicPM-Llama3-V2.5 之前发布的，但是需要注意的是，MinicPM-V-2 的 tokenizer 与 MinicPM-Llama3-V2.5 完全不同，它们不是同一个标记符文件，文件大小也完全不同。
而 MinicPM-Llama3-v2.5 的 tokenizer 是由 Llama3 tokenizer 加上 miniCPM-v 系列模型中的几个特殊 token 组成的，而且 MinicPM-v2 发布都是在 llama3 开源之前，怎么会有 Llama3 分词器。
毫无疑问，Llama3-V 作者撒谎了。
事实 3：Llama3-V 项目的作者害怕面对质疑，删除了网友在 llama3-V 上提出的质疑他们偷窃的问题
此外，Llama3-V 作者似乎并不完全了
