首页 > 业界 > 正文
分享到:

小米的大语言模型MiLM-6B首次现身C-Eval、CMMLU两大AI模型评测榜单

时间:2023-08-13 10:54:42 来源: 评论:0 点击:0
8月11日消息,近日,小米的大语言模型MiLM-6B首次现身C-Eval、CMMLU两大AI模型评测榜单。

截至本文成稿,MiLM-6B在C-Eval总榜单排名第10、同参数量级排名第1,在CMMLU中文向大模型排名第1。

根据C-Eval给出的信息,MiLM-6B模型在各个测试科目中的平均成绩如下:

具体各科目成绩上,在STEM(科学、技术、工程和数学教育)全部20个科目中,计量师、物理、化学、生物等多个项目获得了较高的准确率。

而在10个社会科学科目中,该模型在教育学和地理外的所有科目,都获得了较为理想的准确率。

人文科学的11个科目中,MiLM-6B则在历史与法律基础上有着不错的准确率表现。

可以看出,MiLM-6B模型目前已经在大多数科目中表现出了相对良好的准确度,但在诸如法学、数学、编程、概率论、离散数学等科目上的表现依旧有明显进步空间。

快科技延展阅读:

根据GitHub项目页给出的信息,MiLM-6B是由小米开发的一个大规模预训练语言模型,参数规模为64亿。