允中 发自 凹非寺量子位 | 公众号 QbitAIkaiyun官方网站
新的妄语语模子（LLM）评估基准对于跟上妄语语模子的快速发展至关穷苦。
近日，淘宝天猫集团的斟酌者们建议了中语轻佻问答（Chinese SimpleQA），这是首个全面的中语基准，具有“中语、万般性、高质料、静态、易于评估”五个性情，用于评估话语模子回答轻佻问题的果然性才气。
斟酌东说念主员示意，中语轻佻问答大要指挥开辟者更好地交融其模子的中语果然性才气，并促进基础模子的发展。
论文地址：https://arxiv.org/abs/2411.07140
小引
东说念主工智能发展中的一个紧要挑战是确保话语模子生成的回答在事实上准确无误。面前前沿模子无意会产生漏洞输出或穷乏笔据因循的谜底，这即是所谓的“幻觉”问题，极地面龙套了通用东说念主工智能本领（如妄语语模子）的庸碌哄骗。此外，评估现存妄语语模子的果然性才气也颇具难度。举例，妄语语模子时时会生成冗长的回应，包含多数事实性敷陈。最近，为处治上述评估问题，OpenAI发布了轻佻问答基准（SimpleQA），其中包含4326个精辟且寻求事实的问题，使得算计果然性变得轻佻可靠。
然则，轻佻问答基准主要针对英语，导致对妄语语模子在其他话语中的才气了解有限。此外，受近期几个中语妄语语模子基准（如C-Eval、CMMLU）的启发，为了评估妄语语模子在中语语境下的果然性才气，淘天集团的斟酌东说念主员建议了中语轻佻问答基准。该基准由3000个高质料问题构成，涵盖从东说念主文到科学工程等6个主要主题。具体而言，中语轻佻问答的显耀主要特征如下：
中语性情：专注于中语话语，大要全面评估现存妄语语模子在中语语境下的果然性才气。万般性：涵盖6个主题，即“中国文化”“东说念主文”“工程、本领与哄骗科学”“生存、艺术与文化”“社会”和“当然科学”。这些主题悉数包括99个细粒度的子主题，体现了中语轻佻问答的万般性。高质料：实施了全面且严格的质料限度历程，以确保中语轻佻问答的质料和准确性。静态性：与SimpleQA肖似，为保抓中语轻佻问答的常青性情，系数参考谜底不会随时分变嫌。易于评估：与SimpleQA肖似，由于问题和谜底都相配轻佻，通过现存妄语语模子（如OpenAI API）进行评分的过程快速方便。
斟酌东说念主员在中语轻佻问答上对现存妄语语模子进行了全面评估和分析，得出了以下一些有知奋发的发现：
中语轻佻问答具有挑战性：唯有o1-preview和Doubao-pro-32k达到合格分数（在正确主义上分离为63.8%和61.9%），很多闭源和开源妄语语模子仍有很大的纠正空间。模子越大成果越好：基于Qwen2.5系列、InternLM系列、Yi-1.5系列等的终结，作家不雅察到模子越大性能越好。更大的模子更校准：作家不雅察到o1-preview比o1-mini更校准，GPT-4o比GPT-4o-mini更校准。检索增强生成（RAG）很穷苦：当将RAG政策引入现存妄语语模子时，不同妄语语模子之间的性能差距显耀收缩。举例，对于GPT-4o和Qwen2.5-3B，使用RAG后性能差距从42.4%收缩到9.3%。存在对王人代价：现存的对王人或后试验政策时时会裁减话语模子的果然性。SimpleQA和中语简问答的排行不同：几个专注于中语的妄语语模子（Doubao-pro-32k和GLM-4-Plus）的性能接近高性能的o1-preview。至极是在“中国文化”主题上，这些中语社区妄语语模子光显优于GPT或o1系列模子。
中语轻佻问答
概括
中语轻佻问答的类别漫步，包含六个主要主题，每个主要主题包含多个二级子主题。在表1中，作家将中语轻佻问答与几个主流的妄语语模子评估基准进行了比较，这标明中语轻佻问答是第一个专注于评估妄语语模子中中语知识鸿沟的基准。
数据汇聚
如图2所示，中语轻佻问答的数据汇聚过程触及自动构建和东说念主工考证。自动阶段包括：（1）提真金不怕火和过滤关联知识内容，（2）自动生成问题-谜底对，（3）根据预界说圭表使用妄语语模子考证这些对，（4）执行检索增强生成（RAG）考证，以及（5）进行难度筛选。
具体而言，着手，作家从各式知识鸿沟（如维基百科）汇聚多数知识丰富的文本内容，并使用质料评估模子过滤掉低质料数据。然后，作家指示妄语语模子使用这些高质料知识内容生成问题-谜底对。之后，为确保中语轻佻问答的质料，作家使用妄语语模子去除不相宜预界说圭表条件的样本。通过这种花式，不错得回多数初步筛选后的知识问题-谜底对。同期，为了擢升谜底的质料，部署外部检索器具（即搜索引擎）来汇聚更万般化的信息，这率领妄语语模子基于RAG系统评估谜底的事实正确性。具体来说，哄骗LlamaIndex手脚检索步伐，以谷歌和必应的搜索终结手脚数据源。对于生成和考证的详确信息不错在附录A中找到。此外，作家过滤一些轻佻样本以发现妄语语模子的知识鸿沟并擢升中语轻佻问答的难度。具体来说，若是一个问题不错被四个大模子正确回答，则以为它是一个轻佻问题并将其丢弃。
值得注重的是，问题-谜底对的构建基于以下圭表：
谜底必须客不雅且唯独：问题应与客不雅全国的事实知识关联，不受个东说念主主不雅不雅点影响。举例，以“你以为……怎么样？”或“你如何评价……？”开端的问题是不对适的。此外，每个问题的谜底必须是唯独的，甩掉多个正确谜底的可能性。举例，“朱祁镇在哪一年登上皇位？”这个问题是不充分的，因为它有两个可能的谜底：1435年和1457年。谜底必须不随时分变化：谜底应遥远反应不灭的事实，不受发问时分的影响。举例，“碳的原子序数是若干？”，谜底“6”遥远不变。比较之下，对于神志的问题，如“某个国度的现任总统是谁？”是不对适的，因为其谜底会随时分变化。问题必须具有挑战性：问题不应过于轻佻，联想的查询需要全面评估模子的知识深度。问题必须为止2023年可回答：每个问题必须在2023年12月31日前可回答，以确保对在此日历后试验的数据的模子进行公说念评估。
2.3质料限度
在自动数据汇聚之后，袭取东说念主工考证来擢升数据集质料。具体来说，每个问题由两个东说念主工凝视者零丁评估。着手，凝视者服气问题是否相宜上述预界说圭表。若是任何一个凝视者以为问题不相宜条件，则丢弃该样本。随后，两个凝视者都使用搜索引擎检索关联信息并制定谜底。在此阶段，凝视者应使用巨擘来源（如维基百科、百度百科）的内容，况兼每个凝视者必须提供至少两个因循性URL。若是凝视者的谜底不一致，则由第三个凝视者审查该样本。最终凝视由第三个凝视者根据前两个评估服气。终末，将东说念主工凝视终结与妄语语模子生成的回应进行比较，仅保留王人备一致的问题-谜底对。这个严格的东说念主工考证过程确保了数据集保抓高准确性并相宜既定圭表。
在构建和凝视中语轻佻问答的通盘过程中，很多低质料的问题-谜底对被丢弃。具体来说，着手生成了10000对。经过使用不同模子进行难度评估后，梗概保留了6310对，其中约37%的较轻佻数据被丢弃。在此之后，经过基于规矩的考证和基于模子的RAG考证，又删除了2840个样本，这意味着仅剩下约35%的原始生成数据。终末，经过绝对和严格的东说念主工审查，仅保留了约3000个样本，约占原始数据集的30%。
2.4数据集统计
表2展示了中语轻佻问答的统计数据。共有3000个样本，中语轻佻问答在六个主要主题上的数据漫步相对平衡，这不错有用地评估妄语语模子在各个鸿沟的知识鸿沟。此外，该数据连合问题和参考谜底的长度漫步都相配短，这是基于知识查询的性情。值得注重的是，使用中语轻佻问答评估模子需要最少的输入和输出符号，从而导致相配低的评估贪图和时分资本。
2.5评估主义
与SimpleQA肖似，中语轻佻问答也袭取以下五个评估主义：
正确（CO）：展望谜底王人备包含参考谜底，且不引入任何矛盾元素。未曾试（NA）：展望谜底未王人备给出参考谜底，但与参考谜底不存在矛盾元素。不正确（IN）：展望谜底与参考谜底矛盾，即使矛盾不错处治。尝试后正确（CGA）：该主义是在尝试回答的问题中准确回答问题的比例。F分数：该主义示意正确和尝试后正确之间的斡旋平均值。
3.实验
3.1基线模子
作家评估了17个闭源妄语语模子（即o1-preview、Doubao-pro-32k、GLM-4-Plus、GPT-4o、Qwen-Max、Gemini-1.5-pro、DeepSeek-V2.5、Claude-3.5-Sonnet、Yi-Large、moonshot-v1-8k、GPT-4-turbo、GPT-4、Baichuan3-turbo、o1-mini、Doubao-lite-4k、GPT-4o-mini、GPT-3.5）和24个开源妄语语模子（即Qwen2.5系列、InternLM2.5系列、Yi-1.5系列、LLaMA3系列、DeepSeek系列、Baichuan2系列、Mistral系列、ChatGLM3和GLM-4）。
3.2主要终结
如表3所示，论文提供了不同妄语语模子在中语轻佻问答上的性能终结。具体来说，与SimpleQA肖似，作家提供了五个评估主义的总体终结。
此外，论文还报酬了六个主题的F分数，以分析这些妄语语模子的细粒度果然性才气。在表3中，有以下有知奋发和兴致的不雅察终结：
o1-preview进展最好：o1-preview在中语轻佻问答上取得了最好性能，况兼几个近期专注于中语的闭源妄语语模子（Doubao-pro-32k和GLM-4-Plus）的性能终结与o1-preview相配接近。“mini”系列模子进展较差：很光显，“mini”系列模子（o1-mini、GPT-4o-mini）的终结比相应的更大模子（o1-preview、GPT-4o）低，这也标明这些“mini”系列模子不贯注追溯事实性知识。
模子越大性能越好：基于很多模子系列（如GPT、Qwen2.5、InternLM2.5、Yi-1.5），咱们不错得出更大的妄语语模子会导致更好的性能这一论断。小模子在“未曾试”上得分较高：袖珍妄语语模子时时在“未曾试（NA）”上得分较高。o1-mini、InternLM2.5-1.8B的NA分数分离为20.5和9.3，远高于相应更大模子的分数（o1-preview为8.1，Qwen2.5-72B为1.8）。不同子主题性能各异显耀：不同妄语语模子在不同子主题上存在显耀的性能各异。值得注重的是，中语社区妄语语模子（如Doubao-pro-32k、GLM-4-Plus、Qwen-Max、Deepseek）在“中国文化（CC）”子主题上光显优于GPT或o1模子。比较之下，o1在与科学关联的子主题（如“工程、本领与哄骗科学（ETAS）”和“当然科学（NS）”）上具有显耀上风。
此外，论文还在图3中提供了六个主题的详确终结（CO和CGA主义）。
3.3进一步分析
3.3.1校准分析
对于不同妄语语模子的校准，与SimpleQA肖似，作家指令模子在回答问题时提供相应的置信水平（从0到100），以算计模子对其谜底的信心（见附录B中的指示）。咱们知说念，一个圆善校准的模子的置信度（%）应该与其谜底的内容准确性相匹配。图4中的左图评释了校准性能，这标明GPT-4o比GPT-4o-mini校准得更好，o1-preview比o1-mini校准得更好。对于Qwen2.5系列，校准规矩为Qwen2.5-72B>Qwen2.5-32B>Qwen2.5-7B>Qwen2.5-3B，这标明更大的模子尺寸会导致更好的校准。此外，对于系数评估模子，它们在置信度>50的范围内的置信度低于圆善校准线，这意味着它们都高估了其回应的准确性，存在过度自信的情况。
3.3.2测试时分贪图分析
论文还评估了不同模子在增多测试时分贪图时与回应准确性的相干。具体来说，从中语轻佻问答中赶快抽取50个样本，对于每个样本，模子被条件零丁回答100次。然后，使用最好N法跟着推理次数的增多得回模子的回应准确性。终结如图4中的右图所示。作家不雅察到，跟着推理次数的增多，系数模子的回应准确性都有所擢升，并最终达到一个上限。这对于中语轻佻问答来说是合理的，因为它专诚用于探伤模子知识的鸿沟。
3.3.3检索增强生成（RAG）成果分析
在这项斟酌中，论文探索了检索增强生成（RAG）政策在擢升妄语语模子在中语轻佻问答数据集上的事实准确性方面的有用性。具体来说，作家基于LlamaIndex重现了一个RAG系统，并整合了谷歌搜索API。如图5所示，系数模子在使用RAG后准确性都有显耀擢升。举例，Qwen2.5-3B的性能擢升了三倍多。值得注重的是，简直系数使用RAG的模子都优于原生的GPT-4o模子。同期，RAG的哄骗也显耀裁减了模子之间的性能差距。举例，使用RAG的Qwen2.5-3B与使用RAG的Qwen2.5-72B之间的F分数各异仅为6.9%。这标明RAG大大收缩了模子之间的性能差距，使较小的模子在使用RAG增强时也能齐备高性能。总体而言，这标明RAG是擢升妄语语模子果然性的有用捷径。
3.3.4对王人代价分析
最近，先前的斟酌（OpenAI，2023；Song等东说念主，2023）发现，对王人可能会导致话语模子才气的下落，即所谓的“对王人代价”。为了评释对王人对果然性的影响，作家对预试验模子和经过监督微调（SFT）或强化学习从东说念主类反馈（RLHF）试验的对王人模子进行了比较性能分析。如图6所示，不同模子在试验后进展出不同的趋势，但大多数模子都有显耀下落。其中，Baichuan2系列模子下落最为显耀，Baichuan2-7B和Baichuan2-13B的F分数分离裁减了47%和28%。这反应出面前大多数妄语语模子的对王人试验在产生知识幻觉方面仍然存在光显劣势，这进一步反应了这次数据集的必要性。
3.3.5子主题终结分析
如2.2节所述，该基准涵盖了悉数99个子主题，不错全面检测模子在各个鸿沟的知识水平。图7展示了o1模子和七个闻明的中语社区模子在几个常见鸿沟内的性能比较。着手，从举座上看，o1-preview模子在这些鸿沟中进展出最全面的性能，Doubao模子紧随自后。比较之下，Moonshot模子总体性能最弱。其次，在具体鸿沟方面，中语社区模子和o1模子在贪图机科学和医学等鸿沟存在显耀差距。然则，在教养和经济等鸿沟，这种差距最小。值得注重的是，在教养鸿沟，一些中语社区模子优于o1-preview，凸起了它们在特定垂直鸿沟取得得胜的后劲。终末，在具体模子方面，Moonshot模子在数学、法律和文娱等鸿沟光显较弱，而Baichuan模子在文娱鸿沟也进展欠安。Yi-Large模子在教养鸿沟进展出色，o1模子在其他鸿沟保抓最强性能。评估模子在基准数据集内不同鸿沟的性能使用户大要服气最适当其特定需求的模子。
3.3.6中语轻佻问答与SimpleQA的比较
论文还比较了各式模子在SimpleQA和中语轻佻问答上的排行各异。如图8所示，这些两个基准上的模子性能存在显耀各异。举例，Doubao-pro-32k在中语轻佻问答上的排行显耀擢升，从第12位高潮到第2位（+10）。违反，GPT-4在中语轻佻问答上的性能下落，从第3位下落到第9位（-6）。这些各异强调了在不同话语的数据集上评估模子的穷苦性，以及斟酌优化模子在不同话语环境中性能的必要性。值得注重的是，o1-preview在两个数据集上遥远保抓跨越地位，标明其对不同话语险阻文的持重性和适合性。此外，大多数中语社区开辟的模子（如Qwen-Max、GLM-4-Plus、Yi-Large、Doubao-pro-32k）在SimpleQA上的进展优于在轻佻问答上的进展，展示了它们在中语任务上的竞争力。
4.关联使命
-妄语语模子果然性：妄语语模子果然性是指妄语语模子产生顺从事实内容的才气，包括学问、全国知识和鸿沟事实，况兼这些事实内容不错通过巨擘来源（如维基百科、教科书）得到说明。最近的作品探索了妄语语模子手脚事实知识库的后劲（Yu等东说念主，2023；Pan等东说念主，2023）。具体而言，现存斟酌主要连合在对妄语语模子果然性的定性评估（Lin等东说念主，2022；Chern等东说念主，2023）、对知识存储机制的斟酌（Meng等东说念主，2022；Chen等东说念主，2023）以及对知识关联问题的分析（Gou等东说念主，2023）。
-果然性基准：仍是建议了很多果然性基准（Hendrycks等东说念主，2021；Zhong等东说念主，2023；Huang等东说念主，2023；Li…等东说念主，2023b；Srivastava等东说念主，2023；Yang等东说念主，2018）。举例，MMLU（Hendrycks等东说念主，2021）用于测量在各式不同任务上的多任务准确性。TruthfulQA（Lin等东说念主，2022）专注于评估话语模子生成谜底的果然性。此外，HaluEval（Li等东说念主，2023c）用于查验妄语语模子产生幻觉的倾向。最近，SimpleQA（Wei等东说念主，2024）被建议用于测量妄语语模子中的轻佻事实性。然则，SimpleQA仅关切英语鸿沟。比较之下，中语轻佻问答旨在全面评估中语语境下的果然性。
论断
为了评估现存妄语语模子的果然性才气，淘天集团的斟酌者们建议了第一个中语轻佻事实性基准（即中语轻佻问答），它包括6个主要主题和99个子主题。此外，中语轻佻问答主要具有五个穷苦特征（即中语、万般性、高质料、静态和易于评估）。基于中语轻佻问答，斟酌东说念主员全面评估了现存40多个妄语语模子在果然性方面的性能，并提供了详确分析，以评释注解中语轻佻问答的上风和必要性。在改日，斟酌东说念主员将斟酌擢升妄语语模子的果然性，并探索将中语轻佻问答延伸到多话语和多模态确立。
论文地址：https://arxiv.org/abs/2411.07140