当前位置： 首页 > news >正文

MinerU:PDF文档提取工具

news 文章来源：https://blog.csdn.net/qq_43920838/article/details/144403048 2025/1/12 12:28:24

目录

  • docker一键启动
  • 本地配置
  • 下载模型权重文件
  • demo.py
  • GPU使用情况

在这里插入图片描述

wget https://github.com/opendatalab/MinerU/raw/master/Dockerfile
docker build -t mineru:latest .

在这里插入图片描述

docker一键启动

有点问题，晚点更新

本地配置

就是在Python环境中配置依赖和安装包
根据需求中下载
在这里插入图片描述
可以pip install requirements-docker.txt
其中最难安装的是detectron2，因为直接pip是找不到的，而且他有CUDA版本要求在12.0以上
版本不够还需要先升级CUDA版本
在这里插入图片描述
可以通过下面命令安装

python -m pip install 'git+https://gitclone.com/github.com/facebookresearch/detectron2.git'

所有依赖安装好之后，安装应用

pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://mirrors.aliyun.com/pypi/simple

最后查看一下版本号

magic-pdf --version

在这里插入图片描述

下载模型权重文件

pip install modelscope
wget https://gitee.com/myhloli/MinerU/raw/master/scripts/download_models.py -O download_models.py
python download_models.py

在这里插入图片描述
根目录中已经安装了magic-pdf.json
在这里插入图片描述

demo.py

然后试了一下demo.py，解析一个13页的论文
大概每一页平均需要50s
在这里插入图片描述
解析得到了markdown格式的，但是没有图片，
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这种图片识别不了，还有表格
在这里插入图片描述

在这里插入图片描述

GPU使用情况

还未使用GPU加速
在这里插入图片描述

在这里插入图片描述

相关文章：

MinerU:PDF文档提取工具

目录 docker一键启动本地配置下载模型权重文件demo.pyGPU使用情况 wget https://github.com/opendatalab/MinerU/raw/master/Dockerfile docker build -t mineru:latest .docker一键启动 有点问题，晚点更新 本地配置 就是在Python环境中配置依赖和安装包 根据需求…...

编程日记 2024/12/13 6:23:09

spark的共享变量

因为RDD在spark中是分布式存储 1、python中定义的变量仅仅在driver中运行，在excutor中是获取不到值的——广播变量 2、若定义了一个变量进行累加，先分别在driver和excutor中进行累加，但是结果是不会主动返回给driver的——累加器 Broadcas…...

编程日记 2024/12/13 6:22:08

Scrapy与MongoDB

Scrapy可以在非常短的时间里获取大量的数据。这些数据无论是直接保存为纯文本文件还是CSV文件，都是不可取的。爬取一个小时就可以让这些文件大到无法打开。这个时候，就需要使用数据库来保存数据了。 MongoDB由于其出色的性能，已经成为爬虫的首…...

编程日记 2024/12/13 6:21:07

爬虫基础与实践

爬虫技术基础与实践 在当今数字化的时代，数据成为了宝贵的资源。爬虫技术作为获取数据的重要手段，受到了广泛的关注和应用。本文将介绍爬虫的基本概念、工作原理以及一些常用的技术和工具。 一、爬虫的基本概念 爬虫，也称为网络蜘蛛或网络机器…...

编程日记 2024/12/13 6:18:03

快速上手Serverless架构与FastAPI结合实现自动化移动应用后端

快速上手Serverless架构与FastAPI结合实现自动化移动应用后端 引言 随着云计算技术的发展，Serverless架构已经成为构建现代应用的一种流行选择。它允许开发者将更多精力集中在核心业务逻辑上，而无需管理底层基础设施。本文将以AWS Lambda和API Gateway…...

编程日记 2024/12/13 6:16:00

ansible自动化运维（二）playbook模式详解

一.Ansible中的playbook模式 Playbook不同于使用单个模块操作远程服务器，Playbook的功能更加强大。如果说单个模块执行类似于Linux系统中的命令，那么Playbook就类似于shell脚本，将多个模块组合起来实现一组的操作。 Playbook还是会用到ad-h…...

编程日记 2024/12/13 6:14:58

基于Springboot社团管理系统【附源码】

基于Springboot社团管理系统 效果如下： 系统登录页面 用户管理页面 社团信息管理页面 社团活动管理页面 经费信息管理页面 新闻信息管理页面 系统主页面 社团信息页面 研究背景 在当今高校与社区环境中，学生社团蓬勃发展，成为学生课余生活…...

编程日记 2024/12/13 6:09:52

CSS：html中，.png的动态图，怎么只让它显示部分，比如只显示右上部分的，或右边中间部分

目录 背景 方法 1: 使用 background-image 和 background-position 示例代码 解释 方法 2: 使用 clip-path 裁剪图像 示例代码 解释 方法 3: 使用 object-fit 和 overflow 示例代码 解释 示例 总结 背景 在HTML中，如果你有一个 .png 的动态图（例如一个 GIF 动画或…...

编程日记 2024/12/13 6:08:50

解读CVPR2024-论文分享|RepViT: Revisiting Mobile CNN From ViT Perspective

论文标题 RepViT: Revisiting Mobile CNN From ViT Perspective 论文链接： https://arxiv.org/abs/2307.09283 论文作者 Ao Wang, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding 内容简介 这篇论文探讨了在资源受限的移动设备上，轻量级视觉变…...

编程日记 2024/12/13 6:07:47

linux部署安装wordpress

一、环境准备 首先我们先介绍下环境和实验中所需要的包 环境： 我使用的是centos7.6的系统 建议关掉selinux和影响到80端口的防火墙策略 selinux永久有效 修改 /etc/selinux/config 文件中的 SELINUX"" 为 disabled ，然后重启。 selinux即…...

编程日记 2024/12/13 6:06:45

[Java] 配置Powershell 的 Maven 环境变量

目录 前言单独为 Powershell 设置 Maven 环境变量 前言 安装使用 maven 的时候发现，明明已经配置好了环境变量。但是在 powershell 中还是无法识别 mvn 命令。原来这货需要另外配置。 单独为 Powershell 设置 Maven 环境变量 要在 PowerShell 中永久配置 Maven 环…...

编程日记 2024/12/13 6:05:43

Android -- [SelfView] 自定义弹窗式颜色选择器

Android – [SelfView] 自定义弹窗式颜色选择器 PS: 1. 弹框式显示； 2. 支持透明度设置； 3. 支持拖动控件选择颜色； 4. 支持 ARGB | HEX 数值填写预览颜色并返回； 5. 输出支持Hex 和 Int 两种格式；效果 使用方法&…...

编程日记 2024/12/13 6:04:42

vue-echarts高度缩小时autoresize失效

背景 项目中采用动态给x-vue-echarts style赋值width&#xff0c;height的方式实现echarts图表尺寸的改变 <v-chart...autoresize></v-chart>给v-chart添加autoresize后&#xff0c;在图表宽度变化&#xff0c;高度增加时无异常&#xff0c;高度减小时图表并未缩…...

编程日记 2024/12/13 6:03:40

rabbitMq的rabbitmqctl status报错

Error: unable to perform an operation on node rabbitASUS-PC. Please see diagnostics information and suggestions below. 遇到上图这个错大部分问题可能是由于 RabbitMQ CLI 工具的 Erlang Cookie 与服务器上的不匹配而导致连接问题。Erlang Cookie 在 RabbitMQ 节点之间…...

编程日记 2024/12/13 6:00:36

linux c++ uuid编译时的问题

linux c uuid编译时的问题 写在前面可能编译过和不能编译过的可以编译和link过的不能编译过的 写在前面 几次翻车与uuid相关&#xff0c;超出我认知。 所以&#xff0c;把一些遇到的相关问题写在这里。 可能编译过和不能编译过的 可以编译和link过的 cmake_minimum_require…...

编程日记 2024/12/13 5:59:35

【STM32】RTT-Studio中HAL库开发教程九：FLASH中的OPT

文章目录 一、概要二、内部FLASH排布三、内部FLASH主要特色四、OTP函数介绍五、测试验证 一、概要 STM32系列是一款强大而灵活的微控制器&#xff0c;它的片内Flash存储器可以用来存储有关代码和数据&#xff0c;在实际应用中&#xff0c;我们也需要对这个存储器进行读写操作。…...

编程日记 2024/12/13 5:58:31

[SWPUCTF 2021 新生赛]crypto9

[MoeCTF 2021]Web安全入门指北—GET 意思是GET传参&#xff0c;moeflag 就可以得到falg 输入?moeflag flag为&#xff1a; NSSCTF{ff26110b-8793-403c-990e-15c7f1820596} [SWPUCTF 2021 新生赛]crypto9 #gpt写的代码 from itertools import product letter_list ABCDEFG…...

编程日记 2024/12/13 5:57:28

vue中常用的指令

v - if 指令 功能详细解释 它是一种真正的条件渲染指令。在 Vue 实例初始化以及数据更新过程中&#xff0c;Vue.js 会对v - if指令中的表达式进行求值。这个表达式可以是简单的布尔变量&#xff0c;也可以是一个复杂的计算表达式&#xff0c;只要最终结果是布尔值就行。当表达式…...

编程日记 2024/12/13 5:55:26

Docker Compose实战三：轻松部署PHP

通过前面的文章&#xff08;Docker Compose基础语法与MySQL部署&#xff09;&#xff0c;你已经掌握了Docker Compose的基本语法和常用指令&#xff0c;并成功部署了一个MySQL数据库服务器。今天&#xff0c;我们将继续深入探索Docker Compose的强大功能&#xff0c;介绍如何使…...

编程日记 2024/12/13 5:54:23

数据分析实战—房价特征关系

1.实战内容 &#xff08;1&#xff09; 读取房价特征关系表&#xff08;house_price.npz&#xff09;绘制离地铁站的距离与单位面积的房价的散点图&#xff0c;并对其进行分析&#xff1b; import pandas as pd import numpy as np import warnings warnings.filterwarnings(&…...

编程日记 2024/12/13 5:52:17

云和恩墨 zCloud 与华为云 GaussDB 完成兼容性互认证

近日&#xff0c;云和恩墨&#xff08;北京&#xff09;信息技术有限公司&#xff08;以下简称&#xff1a;云和恩墨&#xff09;的多元数据库智能管理平台 zCloud 与华为云计算技术有限公司&#xff08;以下简称&#xff1a;华为云&#xff09;的 GaussDB 数据库完成了兼容性互…...

编程日记 2024/12/13 5:51:14

【大语言模型LangChain】 ModelsIO OutputParsers详解

【大语言模型LangChain】 ModelsIO OutputParsers详解 一、简介二、OutputParsers 的优势三、解析器类型四、实战示例1、String 解析器2、Json 解析器3、Pydantic 解析器4、结构化输出解析器5、OpenAI 函数输出解析器5.1、JsonOutputFunctionsParser5.2、JsonKeyOutputFunction…...

编程日记 2024/12/13 5:50:13

PaddleSpeech本地部署文档

windows安装paddlespeech步骤&#xff1a; 1. 安装vs c编译环境 对于 Windows 系统&#xff0c;需要安装 Visual Studio 来完成 C 编译环境的安装。 Microsoft C Build Tools - Visual Studio 2. 安装conda conda create -y -p paddlespeech python3.8 conda activate pad…...

编程日记 2024/12/13 5:44:06

Android 第三方框架：RxJava：源码分析：责任链模式

文章目录 责任链模式RxJava中的责任链总结 责任链模式 RxJava中的责任链 链式调用的使用过程中形成了两个单向链表 第一个单向链表是Observable链表 它的形成过程&#xff1a; 1.首先调用Observable的静态方法创建第一个Observable对象&#xff0c;作为Observable链表的表…...

编程日记 2024/12/13 5:41:02

网络安全 与 加密算法

计算机中的网络安全 在本篇中介绍了以下几个方面: 机密性 密码学 对称加密算法(DES, 3DES, AES) 公开秘钥算法 RSA大素数的获取 完整性 散列函数(MD5, SHA-1, 并没有提及算法实现) 报文鉴别(MAC) 数字签名 端点鉴别 应用 SSL(TCP网络安全) 运行时安全 防火墙的基本知识 …...

编程日记 2024/12/13 5:40:01

UE4_贴花_贴花基础知识二

五、多表面投射 在本示例中&#xff0c;你将了解贴花如何在多个表面上进行投射。请注意&#xff0c;如果表面朝向与投射方向较为平行&#xff0c;贴花投射时必然会产生一些拉伸。另外&#xff0c;请记住&#xff0c;贴花可以在包括骨骼网格体在内的静态和动态网格体上进行投射。…...

编程日记 2024/12/13 5:39:00

ElasticSearch 搜索、排序、分页功能

一、DSL 查询文档 ElasticSearch 的查询依然是基于 json 风格的 DSL 来实现的。 官方文档&#xff1a;https://www.elastic.co/guide/en/elasticsearch/reference/8.15/query-dsl.html 1.1 DSL 查询分类 常见的查询类型包括&#xff1a; 查询所有&#xff1a;查询出所有数…...

编程日记 2024/12/13 5:37:59

MySQL-9.1.0 实现最基础的主从复制

目录 1 实验介绍 2 实验准备 2.1 创建目录为MySQL挂载使用 2.2 编写 docker-compose.yml 文件 2.3 启动容器 3 主从复制操作 3.1 MASTER 操作指令 3.2 SLAVE1 操作指令 3.3 SLAVE2 操作指令 4 验证是否实现主从 4.1 导入sql脚本查看是否正常主从复制 4.2 检验从库是否看见复制…...

编程日记 2024/12/13 5:33:55

Java中的“泛型“

泛型&#xff08;Generics&#xff09;是Java中的一种重要特性&#xff0c;它允许在定义类、接口和方法时使用类型参数&#xff08;type parameters&#xff09;。泛型的主要目的是提高代码的类型安全性和重用性。下面我将详细讲解Java中的泛型。 1. 泛型的基本概念 泛型允许我…...

编程日记 2024/12/13 5:32:54

前端（五）css属性

css属性 文章目录 css属性一、字体属性二、文本属性三、背景属性四、盒子模型 一、字体属性 font-weight&#xff1a;文字粗细&#xff0c;在100到900之间&#xff0c;normal(400),bord(700),inherit(继承父类) font-style&#xff1a;文字风格&#xff0c;normal表示正常(默认…...

编程日记 2024/12/13 5:30:52

广州网站的优化/网站快速收录软件

笔者是运维工程师&#xff0c;对Linux方面有点心得&#xff0c;现在说一下需要掌握哪方面的工具吧。说到工具&#xff0c;在行外可以说是技能&#xff0c;在行内我们一般称之为工具&#xff0c;就是运维必须要掌握的工具。我就大概列出这几方面&#xff0c;这样入门就基本没有问…...

编程日记 2025/1/12 12:15:55

电子商城开发网站建设/百度号注册官网

构建百万访问量电子商务网站之LVS负载均衡(前端四层负载均衡器)[连载之电子商务系统架构] 版本&#xff1a;V1 出处&#xff1a;http://jimmyli.blog.51cto.com/我站在巨人肩膀上Jimmy Li 作者&#xff1a;Jimmy Li 关键词&#xff1a;电子商务&#xff0c;系统架构&#xff0c…...

编程日记 2025/1/12 11:04:24

可视化建网站/市场推广方案

现在网上一查出现安全模式的连接&#xff0c;基本都是要关闭服务端的操作&#xff0c;其实这种方式是不正确的&#xff0c;最有效的解决方式是使用stunnel进行安全模式的连接。 我碰到的问题是微软云&#xff08;其实我不想用&#xff01;&#xff09;连接Redis&#xff0c;默认…...

编程日记 2025/1/12 8:37:37

罗湖外贸网站建设/百度打广告怎么收费

最近做了一系列的单元测试相关的工作&#xff0c;除了各种规范及测试框架以外&#xff0c;讨论比较多的就是关于代码覆盖率的产生&#xff0c;c/c与其他的一些高级语言或者脚本语言相比较而言&#xff0c;例如 Java、.Net和php/python/perl/shell等&#xff0c;由于没有这些高级…...

编程日记 2025/1/12 6:44:48

网页网站开发平台/学开网店哪个培训机构好正规

layout动画在每次布局发生变化的时候系统调用的一个预加载动画效果&#xff0c;使用layout动画可以让布局的变化过度看起来更自然。使用起来很简单&#xff0c;只需在控件中添加一个属性就可以了&#xff0c;系统默认是不会启动layout动画的&#xff0c;因此我们平时的应用中不…...

编程日记 2025/1/12 6:25:31

网站优化合同/南宁网站建设服务公司

在游戏中&#xff0c;我们都喜欢加一些描边效果&#xff0c;来凸显人物的边缘&#xff0c;提高识别度。美术一般都喜欢加。描边方式一般有两种&#xff0c;一种的模型边缘描边&#xff0c;一种的人物的转折点描边&#xff08;这种需要用到卷轴&#xff09; 在游戏中比较常用的…...

编程日记 2025/1/12 0:48:53