谷歌开源大模型评测工具LMEval，买通谷歌、OpenAI、Anthropic

智工具编译金碧辉编辑程茜

智工具5月28日消息，据科技媒体The Decoder 5月26日报道，当天，谷歌正式宣布开源大模型评测框架LMEval，支持对GPT-4o、Claude 3.7 Sonnet、Gemini 2.0 Flash、Llama-3.1-405B等主流模型进行多模态能力标准化评估。

LMEval基于LiteLLM框架（能让开发者通过统一API便捷挪用GPT、Claude、Llama等上百款大模型，并支持流式响应、批量推理及本钱监控等功效的开源框架）买通谷歌、OpenAI、Anthropic、Ollama和Hugging Face五大厂商API接口，首次实现文本、图像、代码三类任务的一站式评测，并通过增量评估技术减少80%重复测试算力消耗。

LMEval的源代码和示例条记本已经在GitHub上果真，供宽大开发者使用和研究。

地点：https://github.com/google/lmeval

一、跨平台互通，接纳增量评估+多线程并行盘算技术，测试效率提升5倍

LMEval基于LiteLLM框架，将谷歌、OpenAI、Anthropic、Ollama、Hugging Face的API接口标准化，开发者无需针对差别平台重写测试代码。

同时，科技媒体The Decoder援引谷歌官方说道，LMEval系统接纳增量评估技术，配合多线程并行盘算，能节省80%算力，原本8小时的测试流程可压缩至1.5小时。

在评估场景层面，LMEval突破了简单文本问答的局限，将图像理解、代码生成等场景纳入评测领域，满足多领域对大模型能力评测的需求。

在题型方面，LMEval提供了是非判断、多选问答、开放式生成等多达12种题型，为全面评估模型在差别任务形式下的体现创立了条件。同时，LMEval�？榛杓圃市砜⒄咭谰葑陨硌芯炕蛞滴裥枨�，灵活添加新的评估维度，增强了框架的扩展性与适应性。

在宁静评估层面，LMEval新增的规避性回覆检测功效能够识别模型在面对敏感问题时所接纳的推诿战略，这关于评估模型在处理敏感信息时的可靠性意义重大。

▲Giskard的宁静评分显示了差别的AI模型如何有效地规避潜在的有害内容。百分比越高，宁静性就越高。（图源：谷歌）

在数据存储与隐私�；げ忝�，LMEval将测试数据存储于自加密的SQLite数据库中，外地会见需密钥验证，有效阻断搜索引擎抓取，在数据使用历程中全方位包管数据宁静与隐私。

二、评测本钱直降90%，月之暗面已安排

据The Decoder报道，LMEval接纳增量评估技术后，企业新增测试场景的运维本钱降低90%。海内大模型创业公司月之暗面技术卖力人王海明、刘征瀛在今年5月26日谷歌LMEval框架宣布后的媒体相同会上透露，该工具已应用于其内部流程优化，在未使用LMEval前，月之暗面针对新模型或新场景的评测往往需要数周时间来搭建测试情况、设计评测流程以及执行测试。

而引入LMEval后，原本庞大冗长的流程得以简化，现在仅需几天就能完成一轮全面评测，研发周期大幅缩短超两周。

LMEval配套的LMEvalboard可视化工具支持生成雷达图，能直观比照差别模型在各项能力上的体现短板。

开发者点击图表即可检察具体过失案例，还能并排比照差别模型对同一问题的响应差别，助力精准定位模型性能优劣，为模型的优化与革新提供有力依据

结语：谷歌开源LMEval框架，买通五大厂商API接口

谷歌开放的开源框架LMEval基于LiteLLM框架，买通谷歌、OpenAI、Anthropic、Ollama和Hugging FaceAPI的API接口，让开发者能在统一情况下评测差别来源模型。通过�？榛杓�，它可同时满足文本、图像、代码等多模态评估需求，提供12种题型，还能灵活添加新评估维度。而增量评估技术配合多线程并行盘算，节省80%算力，使企业新增测试场景的运维本钱降低90%，显著提升测试效率、降低测试本钱。

谷歌推出的LMeval框架通过标准化和灵活性的结合，为研究人员和开发者提供了便当。在未来，随着AI技术的不绝演进，LMeval框架或有可能成为行业内评测事情的标准，助力推动AI模型的连续生长与优化。

来源：The Decoder

《甘雨挤奶🈲🚫动漫》，《w3u7903ejky2ywls》

二次元女生大胸壁纸壁纸

“芳泽霞脱了内裤打开腿让人躁”

斗破苍穹曹颖被❌到爽被爆

……

06月01日

“女学生巨大乳免费观看”男童被武术教练殴打致死案一审宣判

↓↓↓