当前位置： 首页 > news >正文

【InternLM实战营第二期笔记】07：OpenCompass ：是骡子是马，拉出来溜溜

news 文章来源：https://blog.csdn.net/leayc/article/details/139582310 2025/1/12 6:02:21

文章目录

  • 课程
  • 实操

课程

评测的意义是什么呢？我最近也在想。看到这节开头的内容后忽然有个顿悟：如果大模型最终也会变成一种基础工具（类比软件），稳定或可预期的效果需要先于用户感知构建出来，评测 case 就需要变成用例的相对充分抽样。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
除了提高效率本身，最近还有一个很好的工作 MixEval，把标准、静态的 benchmarks 跟 elo 表现做了充分关联，使得只测试少量样本就能得到近似 lmsys arena 的打分，也非常厉害。
对了 Opencompass 也开了 arena，感兴趣可以去打打分和体验一些最新模型的效果。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

实操

如果有人跟我一样，运行评测命令行时总是提示包没安装，那文档可能写的有问题，pip install -r requirements.txt 是必须的。
在这里插入图片描述
评测完毕。

相关文章：

【InternLM实战营第二期笔记】07：OpenCompass ：是骡子是马，拉出来溜溜

文章目录 课程实操 课程 评测的意义是什么呢？我最近也在想。看到这节开头的内容后忽然有个顿悟：如果大模型最终也会变成一种基础工具（类比软件），稳定或可预期的效果需要先于用户感知构建出来，评测 case 就…...

编程日记 2024/6/11 6:56:26

matlab演示银河系转动动画

代码 function GalaxyRotationSimulation()% 参数设置num_stars 1000; % 恒星数量galaxy_radius 1; % 银河系半径rotation_speed 0.05; % 旋转速度% 生成银河系中的恒星分布theta 2 * pi * rand(num_stars, 1); % 角度r galaxy_radius * sqrt(rand(num_stars, 1)); % 半径…...

编程日记 2024/6/11 6:55:25

备战 清华大学 上机编程考试-冲刺前50%,倒数第5天

T1：多项式求和 小K最近刚刚习得了一种非常酷炫的多项式求和技巧，可以对某几类特殊的多项式进行运算。非常不幸的是，小K发现老师在布置作业时抄错了数据，导致一道题并不能用刚学的方法来解，于是希望你能帮忙写一个程序…...

编程日记 2024/6/11 6:54:24

leetCode127. 单词接龙

leetCode127. 单词接龙 // bfs 剪枝 class Solution { public:int ladderLength(string beginWord, string endWord, vector<string>& wordList) {// 1.将所有的单词放在set字段中unordered_set<string> s;for (auto & ele : wordList) s.insert(ele);//…...

编程日记 2024/6/11 6:53:23

进程概念（二）

目录 进程优先级基本概念查看系统进程PRI and NIPRI vs NI修改进程优先级的命令renice修改优先级进程其他概念 环境变量基本概念查看环境变量方法常见环境变量PATHHOMESHELL 查看环境变量环境变量相关的命令 环境变量特征命令行参数main函数中的俩个参数 argc argvmain函数的第…...

编程日记 2024/6/11 6:52:21

java程序100道01—20

1&#xff0e;用循环的嵌套&#xff0c;输出输出如下图形 * * * * * * * * * * * * * * * * * * * * * * * * * package Exercises.One_Hundred; ​ public class Demo01 {public static void main(String[] args) {for(int i1;i<5;i){for(int j1;j<2*i-1;j){Sys…...

编程日记 2024/6/11 6:50:19

让GNSSRTK不再难【第二天-第7部分2】

状态更新计算过程&#xff1a; 计算卡尔曼增益&#xff1a; 根据预测的误差协方差矩阵 P k − P_k^- Pk−​ 和观测噪声协方差矩阵 R R R 计算卡尔曼增益 K k K_k Kk​&#xff1a; K k P k − H T ( H P k − H T R ) − 1 K_k P_k^- H^T (H P_k^- H^T R)^{-1} Kk​Pk…...

编程日记 2024/6/11 6:49:18

计算引擎：Flink核心概念

Apache Flink 是一个流处理框架，擅长处理实时数据流和批处理任务。Flink 提供了强大的功能来处理和分析大量数据。以下是 Flink 的核心概念： 1. DataStream 和 DataSet API DataStream API: 用于处理无界数据流，即不断生成和流动的数据。例如，传感器数据、日志等。DataSet…...

编程日记 2024/6/11 6:48:17

技术前沿 |【大模型InstructBLIP进行指令微调】

大模型InstructBLIP进行指令微调 一、引言二、InstructBLIP模型介绍三、指令微调训练通用视觉语言模型的应用潜力四、InstructBLIP的指令微调训练步骤五、实验结果与讨论六、结论与展望 一、引言 随着人工智能技术的快速发展&#xff0c;视觉语言模型&#xff08;Vision-Langu…...

编程日记 2024/6/11 6:47:16

CSS-布局-flex

CSS3 新增了弹性盒子模型( Flexible Box 或 FlexBox )&#xff0c;是一种新的用于在 HTML 页面实现布局的方式。使得 HTML 页面适应不同尺寸的屏幕和不同的设备时&#xff0c;元素是可预测地运行。 基本概念 容器&#xff1a;使用 display:flex 或 display:inline-flex 声明的…...

编程日记 2024/6/11 6:46:14

「C系列」C 数组

文章目录 一、C 数组1. 声明数组2. 初始化数组3. 访问数组元素4. 数组越界5. 多维数组 二、C 操作数组的方法有哪些三、C 数组-应用场景1. 存储固定数量的数据2. 实现算法&#xff08;如排序&#xff09;3. 处理数据集合 四、相关链接 一、C 数组 在C语言中&#xff0c;数组是…...

编程日记 2024/6/11 6:45:13

Python框架scrapy有什么天赋异禀

Scrapy框架与一般的爬虫代码之间有几个显著的区别&#xff0c;这些差异主要体现在设计模式、代码结构、执行效率以及可扩展性等方面。下面是一些关键的不同点&#xff1a; 结构化与模块化&#xff1a; Scrapy&#xff1a;提供了高度结构化的框架&#xff0c;包括定义好的Spider…...

编程日记 2024/6/11 6:44:12

【ROS2大白话】四、ROS2非常简单的传参方式

系列文章目录 【ROS2大白话】一、ROS2 humble及cartorgrapher安装 【ROS2大白话】二、turtlebot3安装 【ROS2大白话】三、给turtlebot3安装realsense深度相机 【ROS2大白话】四、ROS2非常简单的传参方式 文章目录 系列文章目录前言一、launch文件传参的demo1. 编写launch.py文…...

编程日记 2024/6/11 6:43:11

浅谈mysql 的批量delete 和 使用in条件批量删除问题

在考虑这两个DELETE语句的性能时&#xff0c;我们需要考虑数据库如何执行这些查询以及它们背后可能涉及的索引和数据结构。 1.执行多个单独的DELETE语句&#xff1a; DELETE FROM a WHERE b 1 AND c 1; ... DELETE FROM a WHERE b 1000 AND c 1000; 这种方法的优点是每…...

编程日记 2024/6/11 6:40:08

【Spring Boot】过滤敏感词的两种实现

文章目录 项目场景前置知识前缀树 实现方式解决方案一&#xff1a;读取敏感词文件生成前缀树构建敏感词过滤器1. 导入敏感词文件 src/main/resources/sensitive_words.txt2. 构建敏感词过滤器 SensitiveFilter3. 测试与使用 解决方案二&#xff1a;使用第三方插件 houbb/sensit…...

编程日记 2024/6/11 6:39:07

在 Zustand 中管理状态能使用类（Class）吗

在 Zustand 中&#xff0c;通常不推荐使用类&#xff08;Class&#xff09;来管理状态&#xff0c;因为 Zustand 的设计理念是基于函数式编程和 React Hooks 的。然而&#xff0c;仍然可以在 Zustand 中间接地使用类&#xff0c;但这并不是 Zustand 的典型用法。 如果确实想要…...

编程日记 2024/6/11 6:38:06

MoreTable 方法selectWithFun,count 使用实例

ORM Bee, example for MoreTable methods:selectWithFun,count ORM Bee时, MoreTable 方法selectWithFun,count 使用实例 package org.teasoft.exam.bee.osql;import org.teasoft.bee.osql.BeeException; import org.teasoft.bee.osql.FunctionType; import org.teasoft.be…...

编程日记 2024/6/11 6:37:04

【SpringBoot】在Spring中使用自定义条件类在Java声明Bean时实现条件注入

在Spring框架中&#xff0c;通过实现org.springframework.context.annotation.Condition接口并重写matches()方法&#xff0c;可以根据自定义条件来控制Bean的注入。这种机制非常灵活&#xff0c;可以帮助开发人员根据环境或配置来有选择地启用或禁用某些Bean。本文将详细介绍如…...

编程日记 2024/6/11 6:34:01

网卡聚合链路配置

创建名为mybond0的绑定&#xff0c;使用示例如下&#xff1a; # nmcli con add type bond con-name mybond0 ifname mybond0 mode active-backup添加从属接口&#xff0c;使用示例如下&#xff1a; # nmcli con add type bond-slave ifname enp3s0 master mybond0要添加其他从…...

编程日记 2024/6/11 6:33:00

PlantSimulation导入cad图作为背景

PlantSimulation导入cad图作为背景 首先要整理cad文件&#xff0c;正常的工艺规划总图中存在较多杂乱文件&#xff0c;这些信息是不需要的&#xff0c;如果直接导入&#xff0c;会非常卡。 1、打开cad软件&#xff0c;使用layon命令打开所有的隐藏图层&#xff0c;删除不需要…...

编程日记 2024/6/11 6:29:55

【大模型】个人对大模型选择的见解

选择大模型产品时&#xff0c;需要考虑多个因素&#xff0c;包括但不限于以下几点&#xff1a; 需求匹配度&#xff1a;首先&#xff0c;要明确你的需求是什么。不同的大模型产品可能在功能、性能、应用场景等方面有所侧重。例如&#xff0c;有的模型擅长自然语言处理&#xff…...

编程日记 2024/6/11 6:27:52

java的反射和python的鸭子类型

Java的反射&#xff08;Reflection&#xff09;和Python的鸭子类型&#xff08;Duck Typing&#xff09;感觉相似但又说不出具体的细节&#xff0c;本文借助kimi试图给出总结。 相似之处&#xff1a; 动态性&#xff1a;Java的反射允许程序在运行时查询、创建和修改类和对象的…...

编程日记 2024/6/11 6:23:49

爬虫工具yt-dlp

yt-dlp是youtube-dlp的一个fork&#xff0c;youtube-dlp曾经也较为活跃&#xff0c;但后来被众多网站屏蔽&#xff0c;于是大家转而在其基础上开发yt-dlp。yt-dlp的github项目地址为&#xff1a;GitHub - yt-dlp/yt-dlp: A feature-rich command-line audio/video downloaderA …...

编程日记 2024/6/11 6:22:48

【代码随想录训练营】【Day 50】【动态规划-9】| Leetcode 198, 213, 337

【代码随想录训练营】【Day 50】【动态规划-9】【需二刷】| Leetcode 198, 213, 337 需强化知识点 需二刷&#xff0c;打家劫舍系列 题目 198. 打家劫舍 class Solution:def rob(self, nums: List[int]) -> int:if len(nums) 1:return nums[0]dp [0] * (len(nums))dp…...

编程日记 2024/6/11 6:21:47

源码讲解kafka 如何使用零拷贝技术（zero-copy）

前言 kafka 作为一个高吞吐量的分布式消息系统，广泛应用与实时应用场景中。为了实现高效的数据传输，kafka使用了零拷贝技术（zero-copy）显著提高了性能。本文将详细讲解 Kafka 如何利用零拷贝技术优化数据传输。 什么是零拷贝 零拷贝技术目的是减少数据传输的效率。在传统…...

编程日记 2024/6/11 6:20:46

Ubuntu20.04配置qwen0.5B记录

环境简介 Ubuntu20.04、 NVIDIA-SMI 545.29.06、 Cuda 11.4、 python3.10、 pytorch1.11.0 开始搭建 python环境设置 创建虚拟环境 conda create --name qewn python3.10预安装modelscope和transformers pip install modelscope pip install transformers安装pytorch co…...

编程日记 2024/6/11 6:18:44

java自学阶段二:JavaWeb开发--day80（项目实战2之苍穹外卖）

《项目案例—黑马苍穹外卖》 目录&#xff1a; 学习目标项目介绍前端环境搭建(前期直接导入老师的项目&#xff0c;后期自己敲&#xff09;后端环境搭建&#xff08;导入初始项目&#xff0c;新建仓库使用git管理项目&#xff0c;新建数据库&#xff0c;修改登录功能&#xff…...

编程日记 2024/6/11 6:17:43

HPUX系统Oracle RAC如何添加ASM磁盘

前言 HPUX简介 HP-UX (Hewlett-Packard Unix) 是惠普公司开发的类 Unix 操作系统。自 1980 年代问世以来&#xff0c;HP-UX 在技术和功能上不断发展&#xff0c;适应了多种硬件平台和企业计算需求。以下是 HP-UX 的发展历史概述&#xff1a; 1980 年代&#xff1a;起源与早期…...

编程日记 2024/6/11 6:15:40

Jmeter 压力测测试的简单入门

下载安装 官方网站&#xff1a;Apache JMeter - Download Apache JMeter 下载完成解压即可。 配置 1. 找到 bin 目录下的 ApacheJMeter.jar 包&#xff0c;直接打开 如果向图片这样不能直接打开&#xff0c;就在此路径运行 CMD&#xff0c;然后输入下面的命令即可启动。 ja…...

编程日记 2024/6/11 6:14:39

N叉树的层序遍历-力扣

本题同样是二叉树的层序遍历的扩展&#xff0c;只不过二叉树每个节点的子节点只有左右节点&#xff0c;而N叉树的子节点是一个数组&#xff0c;层序遍历到一个节点时&#xff0c;需要将这个节点的子节点数组的每个节点都入队。 代码如下&#xff1a; /* // Definition for a N…...

编程日记 2024/6/11 6:13:38

网站八个/软文广告是什么

在国家“3060”碳达峰碳中和的政策背景下&#xff0c;如何寻求经济-能源-环境的平衡有效发展是国家、省份、城市及园区等不同级别经济体的重要课题。根据国家政策、当地能源结构、能源技术发展水平以及相关碳排放指标制定合理有效的低碳能源发展规划需要以科学准确的能源环境发…...

编程日记 2025/1/12 5:51:26

画册设计1p一般多少钱/网站seo优化

数位DP 什么是数位DP 数位DP是DP的一种&#xff0c;顾名思义&#xff0c;按每一个数位来进行DP。 什么时候使用 题目的要求与一个数字相关&#xff0c;并且它能通过每一个数位来进行转移。 例题&#xff1a;求所有nnn位数中能被mmm整除的数的个数。 怎么使用 一般的DP是多…...

编程日记 2025/1/12 3:50:07

做彩票网站代理/淘宝大数据查询平台

如何玩转iPhone手机&#xff1f;最近手机连接投影仪被大家关注&#xff0c;那么苹果手机是如何连接投影仪的呢&#xff1f;新出的iPhone8可以连接吗&#xff1f;跟随小编一起来了解一下详细的步骤教程吧。苹果手机与投影仪连接的方法教程&#xff08;步骤&#xff09; 1、第一次…...

编程日记 2025/1/12 1:10:40

坦克大战网站开发课程设计报告/郑州网站推广哪家专业

首先需要两个服务器&#xff08;也可以用一台&#xff0c;但不推荐&#xff09; 1服务器用yum安装Apachephpphp-mysql 2服务器用yum安装mysql 1服务器 用yum安装Apache和phpphp-mysql yum install httpd -y yum install php -y yum install php -mysql 完成后必须关闭防火墙和…...

编程日记 2025/1/11 21:59:55

自助网站建设工具/成都高新seo

推荐&#xff1a;《PHP视频教程》phpjieba_ffi使用PHP 7.4的 FFI 测试直接调用cjieba分词的动态库选用CJieba的原因是FFI使用的是C的调用约定&#xff0c;如果用Cpp&#xff0c;还得自己包装一下&#xff0c;然后extern C,让编译器生成标准C的动态库。碰到的问题段错误C变量没有…...

编程日记 2025/1/11 21:08:49

网站备案 论坛/百度云服务器官网

root-tools 项目地址&#xff1a;root-toolsRootToolsNeo 正式发布啦~ RootTools 是一款专注于给 root 后的用户提供方便的软件。主要提供&#xff1a; 应用冻结 不删除系统内的应用&#xff0c;而是将其冻结&#xff0c;在需要时可以解冻&#xff0c;但是别乱来哦&#xff0c;…...

编程日记 2025/1/11 21:03:30