加载模型时出现 OSError: Unable to load weights from pytorch checkpoint file 报错的解决
加载模型时出现 OSError: Unable to load weights from pytorch checkpoint file 报错的解决
- 报错信息
- 原因查明
- 网传解决措施
- 好消息
- 我的解决措施
报错信息
- 查了下，在网上还是个比较常见的报错
一般为加载某模型时突然报错
原因查明
- 一般为下载某个
XXX_model.bin的时候下载报错了
而下载源可以看到为 HuggingFace
网传解决措施
- 首先得看看你是下载哪个模型报错了。像我这里有一个中间模型，所以不知道是哪个低层模型下载报错了。
打开~/.cache/huggingface/hub，这里~表示本机用户名
若有多个模型，你可以看一下修改日期是今天的为哪个
这里发现，是模型potsawee--t5-large-generation-squad-QuestionAnswer
去HuggingFace上搜索相应模型，自行下载，比如我这里即为 网址
该文件下载到刚刚那个缓存文件夹中对应的放那些files的文件夹。 - 做法二：删除该缓存文件夹中所有东西，再运行一遍代码。
好消息
- 虽然貌似没有报错，但是加载
selfcheck_mqag模型的时候内存完全吃完了，卡到死机也没跑完初始化，可能是没问题了只是太吃内存了
对于一般的小模型该报错可能可以直接解决了。
我的解决措施
-
既然本机实在是跑不了，大不了不跑本机，去
Colab上跑
见我的博客，关于Colab的简单应用 -
首先代码放进去，然后先跑个
install包命令
-
然后再运行代码
-
发现对于所有的文件，包括
bin文件都成功安装。
初始化成功，且不吃本机资源，nicenicenice
-
yy：
MQAG也太tm吃资源了
相关文章：
加载模型时出现 OSError: Unable to load weights from pytorch checkpoint file 报错的解决
加载模型时出现 OSError: Unable to load weights from pytorch checkpoint file 报错的解决报错信息原因查明网传解决措施好消息我的解决措施报错信息 查了下，在网上还是个比较常见的报错 一般为加载某模型时突然报错 原因查明 一般为下载某个 XXX_model.bin 的…...
sessionStorage ， localStorage 和cookie的区别
一.sessionStorage(临时存储)sessionStorage是HTML5中新增的Web Storage API之一，用于在浏览器中存储键值对数据，与localStorage类似，但是sessionStorage存储的数据在会话结束时会被清除。可以通过以下方式使用sessionStorage：存储…...
C# 实例详解委托之Func、Action、delegate
委托是.NET编程的精髓之一，在日常编程中经常用到，在C#中实现委托主要有Func、Action、delegate三种方式，这个文章主要就这三种委托的用法通过实例展开讲解。 【Func】：Func是带返回值的委托： 原型函数如下(以下展示的…...
如何选电脑
1、CPU（中央处理器） 怎么看CPU型号：CPU:系列-代数等级核心显卡型号电压后缀 例如CPU:i7-10750H ： 1、系列：Intel的酷睿i3、i5、i7、i9这四个系列的CPU，数字越大就代表越高端。 2、代数：代表…...
SpringBoot项目创建
如果使用spring的源地址创建项目失败，就使用 阿里云的springBoot项目创建地址：https://start.aliyun.com/ 1.new 一个新的项目： 2.选择合适的版本java的JDK和maven项目 3.选择spring web依赖 4.直接finish 5. 删除无用的包，然后…...
神经衰弱该如何判断？确诊为神经衰弱，日常要做好这7大护理！
神经衰弱是由于长时间处于紧张或者压力的情况下导致精神出现兴奋或者疲乏现象而伴随着一系列症状。如情绪烦恼、容易激怒、睡眠障碍、肌肉出现紧张性疼痛等，生活中有很多人在自己的不到休息或者遇到强大打击时就会嘲笑自己患上神经衰弱。甚至一些会盲目采取措施&…...
Linux之进程替换
进程替换1.什么是进程替换2.替换函数2.1 execl函数2.2 execv函数2.3 execlp函数2.4 execvp函数2.5 在自己的C程序上如何运行其他语言的程序？2.6 execle 函数2.7 小结3.一个简易的shell1.什么是进程替换 fork()之后，父子各自执行父进程代码的一部分&…...
关于清除浮动
浮动最早是用来做图文排版，为了让块级元素同行显示，而html中块元素是有自己的排列规则，一般独占一行。所以有了浮动元素，一旦元素浮动了就会脱离文档流，产生问题。怎么去清除浮动：（1）…...
Uber H3 index 地图索引思考
H3 是 uber 设计的六边形空间索引，go 语言操作包是 h3-go，可以通过经纬度获取所在的 h3 六边形边界，每个经纬度对应的六边形都是确定的，每个六边形唯一对应了一个 h3index。在业务开发中，我们可以通过 h3index 来对地理…...
多线程的几种状态
Java-多线程的几种状态🔎1.NEW( 系统中线程还未创建,只是有个Thread对象)🔎2.RUNNABLE( (就绪状态. 又可以分成正在工作中和即将开始工作)🔎3.TERMINATED(系统中的线程已经执行完了,Thread对象还在)🔎4.TIMED_WAITING(指定时间等待…...
【算法题】1574. 删除最短的子数组使剩余数组有序
题目： 给你一个整数数组 arr ，请你删除一个子数组（可以为空），使得 arr 中剩下的元素是 非递减 的。 一个子数组指的是原数组中连续的一个子序列。 请你返回满足题目要求的最短子数组的长度。 示例 1： …...
理解对数——金融问题中的自然对数（以e为底的对数）
第3章 金融问题(Financial Matters)——金融问题中的自然对数If thou lend moneyto any ofMy people. ...thou shalt not beto him as a creditor;neither shall yelay upon him interest.(如果你借钱给我的任何人。 ……你不应该是他的债权人；也不可向他加息。)——…...
vue2进阶学习之路
HTML、CSS和JavaScript基础 在学习Vue2之前，需要掌握HTML、CSS和JavaScript的基础知识。包括HTML的标签、CSS的布局和样式、JavaScript的变量类型、条件语句、循环语句等。 Vue2的基础知识 掌握Vue2的基本概念和语法，包括Vue2实例、数据绑定、指令、组件…...
决策树ID3算法
1. 决策树ID3算法的信息论基础 机器学习算法其实很古老，作为一个码农经常会不停的敲if, else if, else,其实就已经在用到决策树的思想了。只是你有没有想过，有这么多条件，用哪个条件特征先做if，哪个条件特征后做if比较优呢&#…...
C++模板基础（一）
函数模板（一） ● 使用 template 关键字引入模板： template void fun(T) {…} – 函数模板的声明与定义 – typename 关键字可以替换为 class ，含义相同 – 函数模板中包含了两对参数：函数形参 / 实参；模板形…...
生产者消费者模型线程池（纯代码）
目录 生产者消费者模型 条件变量&&互斥锁（阻塞队列） makefile Task.hpp BlockQueue.hpp BlockQueueTest.cc 信号量&&互斥锁（环形队列） makefile RingQueue.hpp RingQueueTest.cc 线程池（封…...
K8s 应用的网络可观测性： Cilium VS DeepFlow
随着分布式服务架构的流行，特别是微服务等设计理念在现代应用普及开来，应用中的服务变得越来越分散，因此服务之间的通信变得越来越依赖网络，很有必要来谈谈实现微服务可观测性中越来越重要的一环——云原生网络的可观测。K8s 是微服务设计理念能落地的最重要的承载体，本文…...
3.29面试题
文章目录内存内存管理执行过程要点面试题内存 内存管理 由JVM管理 堆：new出来的对象（包括成员变量、数组元素、方法的地址）栈：局部变量（包括方法的参数）方法区：.class字节码文件（…...
操作系统漏洞发现
操作系统漏洞发现前言一、操作系统漏洞发现1.1 namp2. Goby3. Nessus二，进行渗透测试2.1 使用工具进行渗透1. metasploit2.2 EXP2.3 复现文章三，操作系统漏洞修复前言 不管是对于App来说，还是web站点来说，操作系统是必须的&#x…...
Linux gdb调试底层原理
TOC 前言 linux下gdb调试程序操作过程参考本人文章:gdb调试操作; 这里不再叙述; 本文主要内容是介绍GDB本地调试的底层调试原理，我们来看一下GDB是通过什么机制来控制被调试程序的执行顺序; 总结部分是断点调试的底层原理，可以直接跳转过去先看看大概…...
【Python】 -- 趣味代码 - 小恐龙游戏
文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...
Cursor实现用excel数据填充word模版的方法
cursor主页：https://www.cursor.com/ 任务目标：把excel格式的数据里的单元格，按照某一个固定模版填充到word中 文章目录 注意事项逐步生成程序1. 确定格式2. 调试程序 注意事项 直接给一个excel文件和最终呈现的word文件的示例，…...
（十）学生端搭建
本次旨在将之前的已完成的部分功能进行拼装到学生端，同时完善学生端的构建。本次工作主要包括： 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...
基于数字孪生的水厂可视化平台建设：架构与实践
分享大纲： 1、数字孪生水厂可视化平台建设背景 2、数字孪生水厂可视化平台建设架构 3、数字孪生水厂可视化平台建设成效 近几年，数字孪生水厂的建设开展的如火如荼。作为提升水厂管理效率、优化资源的调度手段，基于数字孪生的水厂可视化平台的…...
【Go】3、Go语言进阶与依赖管理
前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课，做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程，它的核心机制是 Goroutine 协程、Channel 通道，并基于CSP（Communicating Sequential Processes࿰…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序
一、开发环境准备 工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...
python爬虫：Newspaper3k 的详细使用（好用的新闻网站文章抓取和解析的Python库）
更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...
k8s业务程序联调工具-KtConnect
概述 原理 工具作用是建立了一个从本地到集群的单向VPN，根据VPN原理，打通两个内网必然需要借助一个公共中继节点，ktconnect工具巧妙的利用k8s原生的portforward能力，简化了建立连接的过程，apiserver间接起到了中继节…...
Fabric V2.5 通用溯源系统——增加图片上传与下载功能
fabric-trace项目在发布一年后，部署量已突破1000次，为支持更多场景，现新增支持图片信息上链，本文对图片上传、下载功能代码进行梳理，包含智能合约、后端、前端部分。 一、智能合约修改 为了增加图片信息上链溯源，需要对底层数据结构进行修改，在此对智能合约中的农产品数…...
GitFlow 工作模式（详解）
今天再学项目的过程中遇到使用gitflow模式管理代码，因此进行学习并且发布关于gitflow的一些思考 Git与GitFlow模式 我们在写代码的时候通常会进行网上保存，无论是github还是gittee，都是一种基于git去保存代码的形式，这样保存代码…...