YAYI2-30B – 新中国Base LLM刚刚推出

YAYI2-30B – 新中国基地LLM刚刚推出。

声称在基准测试中取得疯狂的分数

预训练于2.65T个标记，MMLU得分为80.5，HumanEval得分为53。

架构上与LLaMA-2-30B（GQA，RoPE，SwiGLU）非常相似。4k上下文。

声称他们已将数据集从240TB减少到10TB。Deepseek有一个类似的流程，并且表现非常好。