[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。
发现是transformers版本问题。但。。其实我都默认安的是最新版本。。
也许这就是人生吧。。
报错：
File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213, in build_tokenizertokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__tokenizer = _Qwen2Tokenizer(args.load, args.extra_vocab_size)File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 174, in __init__self.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedself.tokenizer = AutoTokenizer.from_pretrained(File "/usr/local/lib/python3.10/dist-packages/transformers/models/auto/tokenization_auto.py", line 784, in from_pretrainedraise ValueError(raise ValueError(
ValueError ValueErrorraise ValueError(: :
Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.Tokenizer class Qwen2Tokenizer does not exist or is not currently imported.raise ValueError(raise ValueError( ValueError
raise ValueError(解决方案：
原本的：
pip install -U transformers -i https://pypi.doubanio.com/simple/
改成：
pip install transformers==4.40 -i https://mirrors.aliyun.com/pypi/simple/Successfully installed huggingface-hub-0.23.3 safetensors-0.4.3 tokenizers-0.19.1 transformers-4.41.2
相关文章：
[linux] Qwen2Tokenizer报错 transformers版本问题
上午没问题，下午pull了新代码，就有了报错。。 发现是transformers版本问题。但。。其实我都默认安的是最新版本。。 也许这就是人生吧。。 报错： File "/Pai-Megatron-Patch/megatron_patch/tokenizer/__init__.py", line 213…...
算法刷题笔记 单链表（C++实现）
文章目录 题目描述基本思路实现代码 题目描述 实现一个单链表，链表初始为空，支持三种操作： 向链表头插入一个数；删除第 k个插入的数后面的一个数；在第 k个插入的数后插入一个数。 现在要对该链表进行M次操作&#x…...
Oracle 排查慢SQL
Oracle 排查慢SQL select * from v s q l a r e a w h e r e r o w n u m < 10 ; s e l e c t ∗ f r o m v sqlarea where rownum<10; select * from v sqlareawhererownum<10;select∗fromvsql where rownum<10; select * from dba_hist_sqltext where rownum<…...
java技术专家面试指南80问【java学习+面试宝典】（七）
Dubbo需要 Web 容器吗？ 不需要，如果硬要用 Web 容器，只会增加复杂性，也浪费资源。 PrintStream、BufferedWriter、PrintWriter的比较? PrintStream类的输出功能非常强大，通常如果需要输出文本内容，都应…...
4机器学习期末复习
在机器学习中，数据清洗与转换包括哪些内容？ 对数据进行初步的预处理，需要将其转换为一种适合机器学习模型的表示形式对许多模型类型来说，这种表示就是包含数值数据的向量或者矩阵： 1）将类别数据编码成为对…...
chatgpt: int t[] int *t 区别
在C语言中，int t[]和int *t虽然在某些情况下可以相互替换，但它们有一些关键的区别。这些区别主要体现在声明的语义、内存分配方式和使用场景上。以下是详细的解释： ### 1. int t[] #### 语义: - int t[]声明了一个数组，t是一个数…...
网络安全技术实验六 入侵检测技术实践
一、实验目的和要求 理解基于网络的入侵检测系统的基本原理，掌握snort IDS工作机理； 学习应用snort三种方式工作；熟练编写snort规则； 完成snort数据包记录、日志查看、字符串匹配、ARP欺骗攻击检测、端口扫描工具检测等功能。 …...
SpringBoot中获取当前请求的request和response
在Spring Boot中，你可以以多种方式获取当前请求的HttpServletRequest和HttpServletResponse对象。以下是几种常见的写法示例： 1. 在方法参数中声明 最常见和推荐的方式是在控制器方法的参数中直接声明HttpServletRequest和HttpServletResponse对象。Sp…...
Neo4j 桌面版打不开踩坑贴
真的踩坑。。。没有人告诉我为啥桌面版和社区版不能一起下啊！！ 我是先下载了社区版之后再下载的桌面版，结果桌面版界面一直打不开。 尝试了网上多种办法都没效果，好多都是说jdk不兼容导致无法打开，让我从JDK 17 ->…...
[数据集][目标检测]中国象棋检测数据集VOC+YOLO格式300张12类别
数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：300 标注数量(xml文件个数)：300 标注数量(txt文件个数)：300 标注类别…...
全方位·多层次·智能化，漫途水库大坝安全监测方案
党的十九届五中全会提出，到2025年前，完成新出现病险水库的除险加固，配套完善重点小型水库雨水情和安全监测设施，实现水库安全鉴定和除险加固常态化。 加快推进小型水库除险加固。加快构建气象卫星和测雨雷达、雨量站、水文站组成…...
windows安装SQLyog
windows安装SQLyog 1. 下载 SQLyog 安装包 访问 SQLyog 的官方网站。在网站上找到下载链接，通常会有一个“Download”或“Try Now”按钮。如果需要注册或填写信息以获取下载链接，请按提示操作。 2. 运行安装程序 下载完成后，双击运行下载…...
jEasyUI 转换 HTML 表格为数据网格
jEasyUI 转换 HTML 表格为数据网格 jEasyUI 是一个基于 jQuery 的框架，它为用户提供了一套完整的用户界面组件，使得网页开发变得更加简单快捷。在本文中，我们将探讨如何使用 jEasyUI 将一个普通的 HTML 表格转换为功能丰富的数据网格（datagrid）。 为什么使用数据网格？ …...
深度解析RocketMq源码-持久化组件（一） MappedFile
1. 绪论 rocketmq之所以能够有如此大的吞吐量，离不开两个组件，一个是利用netty实现的高性能网络通信组件；另一个就是利用mmap技术实现的存储组件。而在rocketmq的存储组件中主要有三个组件，分别是持久化文件commitLog，…...
贝壳APP渗透测试WP
前期配置 环境说明 使用PIXEL 4手机，为Android 12系统 APP名为贝壳找房，包名com.lianjia.beike，版本号3.01.10，截至2024/05/07为最新版，小米应用市场下载 绕过反Frida机制 可以参考往期推送，《绕过最新…...
IDEA快速入门02-快速入门
二、快速入门 2.1 打开IDEA,点击New一个项目 入口，依次打开 File -> New -> Project。 2.2 使用Spring Initializr方式构建Spring Boot项目 2.3 设置项目所属组、项目名称、java版本等 2.4 选择SpringBoot版本及依赖组件 点击Create进行创建。 2.6 创建成…...
快速构建本地RAG聊天机器人：使用LangFlow和Ollama实现无代码开发
基于LangChain的快速RAG应用原型制作方法 还记得构建智能聊天机器人需要数月编码的日子吗？ LangChain这样的框架确实简化了开发流程，但对非程序员来说，数百行代码仍然是一道门槛。 有没有更简单的方法呢？ 图片由 Ravi Palwe 在…...
关于使用pycharm中控制台运行代码错误之FileNotFoundError: [Errno 2] No such file or directory:
在使用pycharm环境下复现《python编程：从入门到实践》这本书第16.1.1内容中分析csv文件头一节的代码时出现如下问题： 1、文章中使用的数据来源问题 直接参考本站Kenny C同学的文章提供内容即可。 https://github.com/kenidi8215/Hello-World 打开网页&a…...
【SpringBoot】深入分析 SpringApplication 源码：彻底理解 SpringBoot 启动流程
在黄昏的余晖里，梦境渐浓，如烟如雾。心随星辰，徜徉远方，岁月静好，愿如此刻般绵长。 文章目录 前言一、SpringBoot 应用二、SpringApplication2.1 SpringApplication 中的属性2.2 SpringApplication 的构造器2.3 Sprin…...
边界内聚和耦合
内聚 功能内聚 功能内聚是软件工程中一个重要的概念，它描述了一个模块内部各个元素之间的紧密程度。一个具有高功能内聚的模块意味着其内部的各个组件都共同完成一个具体的、明确的功能，并且这些组件之间的联系不是偶然的，而是因为它们共同服…...
单调栈——AcWing.830单调栈
单调栈 定义 单调栈是一种特殊的数据结构，栈内元素保持某种单调性（通常是单调递增或单调递减）。 运用情况 求解下一个更大元素或下一个更小元素。计算每个元素左边或右边第一个比它大或小的元素。 注意事项 要明确单调栈是递增还是递减…...
手机上安装AI模型是一种什么体验？
昨天参加微软的AI DAY活动，看到微软的技术大佬分享了一个场景，就是坐飞机从上海到北京，机长广播因为天气原因，飞机需要盲降，他说当时听到盲降第一反应感觉有点恐慌，但是因为飞机上受限于网络环境࿰…...
【MySQL】主从复制
https://www.bilibili.com/video/BV1Kr4y1i7ru/?p161 https://blog.csdn.net/qq_47959003/article/details/126058710 主从复制是指将数据库的DDL和DML操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做）&…...
vscode插件开发之 - menu配置
上一遍博客介绍了如何从0到1搭建vscode插件开发的base code，这遍博客将重点介绍如何配置menu。通常，开发一款插件，会将插件显示在VSCode 左侧的活动栏（Activity Bar），那么如何配置让插件显示在Activity Bar…...
自学C语言-9
** 第9章 函数 ** 大型程序一般会被分为若干个程序模块，每个模块实现一个特定功能 。C语言中，由函数实现子程序，由子程序实现模块功能。本章致力于使读者了解函数的概念，掌握函数的定义及调用方式；了解内部函数和外部…...
NVIDIA Triton系列01-应用概论
NVIDIA Triton系列01-应用概论 推理识别是人工智能最重要的落地应用，其他与深度学习相关的数据收集、标注、模型训练等工作，都是为了得到更好的最终推理性能与效果。 几乎每一种深度学习框架都能执行个别的推理工作，包括 Tensorflow、Pytorc…...
LIMS（实验室）信息管理系统源码、有哪些应用领域？采用C# ASP.NET dotnet 3.5 开发的一套实验室信息系统源码
LIMS（实验室）信息管理系统源码、有哪些应用领域？采用C# ASP.NET dotnet 3.5 开发的一套实验室信息系统源码 LIMS实验室信息管理系统，是一种基于计算机硬件和数据库技术，集多个功能模块为一体的信息管理系统。该系统主…...
Web前端进国企：挑战与机遇并存
Web前端进国企：挑战与机遇并存 随着互联网的飞速发展，Web前端技术已经成为企业信息化建设的重要组成部分。对于许多热衷于前端技术的年轻人来说，进入国企工作既是一种挑战，也是一种机遇。本文将从四个方面、五个方面、六个方面和…...
快速上手SpringBoot
黑马程序员Spring Boot2 文章目录 1、SpringBoot 入门程序开发1.1 创建一个新的项目 2、浅谈入门程序工作原理2.1 parent2.2 starter2.3 引导类2.4 内嵌tomcat 1、SpringBoot 入门程序开发 1.1 创建一个新的项目 file > new > project > empty Project 创建新模块&a…...
SQL 快速参考
SQL 快速参考 SQL（Structured Query Language）是一种用于管理关系数据库管理系统（RDBMS）的标准编程语言。它用于执行各种操作，如查询、更新、插入和删除数据库中的数据。本快速参考将提供SQL的基本语法和常用命令&…...