当前位置： 首页 > news >正文

Python遥感影像深度学习指南(2)-在 PyTorch 中创建自定义数据集和加载器

news 文章来源：https://blog.csdn.net/qq_16773699/article/details/135191735 2025/1/19 3:38:10

        在上一篇 文章中，我们Fast.ai 在卫星图像中检测云轮廓，检测物体轮廓被称为语义分割。虽然我们用几行代码就能达到 96% 的准确率，但该模型无法考虑数据集中提供的所有输入通道（红、绿、蓝和近红外）。问题在于，深度学习框架（如 Keras、Fast.ai 甚至 PyTorch）中的大多数语义分割模型都是为处理 RGB 图像而设计的，并带有预先训练好的权重。除此之外，这些库中的视觉模块也仅限于 RGB 文件。这就是我们在前面的故事中忽略近红外通道，只使用 RGB patchs的原因。

        这促使我采用了一种完全不同的方法，从头开始构建我自己的 U-Net，而不是使用视觉库来准备数据集。本篇我将介绍如何使用简单的 PyTorch 函数创建数据集，而下一篇将继续介绍如何创建一个简单的U-NET分割模型，并对其进行训练以获得结果。

1、数据准备

       在上一篇文章中我们使用的数据集，是由 8400 个大小为 384x384 的训练片段组成（适合深度学习）。还有一组 9201 个图像块patchs用于测试，但我们暂时不处理它们。这些patchs分别位于红、绿、蓝和近红外（NIR）通道的目录中，另外还有一个用于参考掩膜（真实值ground truth*_gt）的目录。

2、PyTorch 数据集类

        在上一篇文章中，我们在磁盘中创建了 rgb_patch*.tif 文件，并使用 PIL 将条带合并为 384x`384x3

相关文章：

Python遥感影像深度学习指南(2)-在 PyTorch 中创建自定义数据集和加载器

在上一篇 文章中，我们Fast.ai 在卫星图像中检测云轮廓，检测物体轮廓被称为语义分割。虽然我们用几行代码就能达到 96% 的准确率，但该模型无法考虑数据集中提供的所有输入通道（红、绿、蓝和近红外）。问题在于，深度学习框架（如 Keras、Fast.ai 甚至 PyTorch）中的大多数语…...

编程日记 2023/12/29 19:11:16

韩版传奇 2 源码分析与 Unity 重制（三）客户端渲染管线

专题介绍 该专题将会分析 LOMCN 基于韩版传奇 2，使用 .NET 重写的传奇源码（服务端 + 客户端），分析数据交互、状态管理和客户端渲染等技术，此外笔者还会分享将客户端部分移植到 Unity 和服务端用现代编程语言重写的全过程。 概览 在这一篇文章中，我们将开始分析传奇客户…...

编程日记 2023/12/29 19:10:15

深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第三节 栈与堆，值类型与引用类型

深入浅出图解C#堆与栈 C# Heaping VS Stacking 第三节 栈与堆，值类型与引用类型 [深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第一节 理解堆与栈](https://mp.csdn.net/mdeditor/101021023)[深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第二节 栈基本工…...

编程日记 2023/12/29 19:09:14

分享好用的chatgpt

1.在vscode中，点击这个： 2.搜索：ChatGPT - 中文版，个人觉得这个更好用： 3.下载完成之后，左侧会多出来这个： 点击这个图标就能进入chatgpt界面了 4.如果想使用tizi访问国外的chatgpt&#xf…...

编程日记 2023/12/29 19:08:12

【小白专用】C# 压缩文件 ICSharpCode.SharpZipLib.dll效果：

插件描述： ICSharpCode.SharpZipLib.dll 是一个完全由c#编写的Zip, GZip、Tar 、 BZip2 类库,可以方便地支持这几种格式的压缩解压缩, SharpZipLib 的许可是经过修改的GPL，底线是允许用在不开源商业软件中，意思就是免费使用。具体可访问ICSha…...

编程日记 2023/12/29 19:06:11

Protobuf 编码规则及c++使用详解

Protobuf 编码规则及c使用详解 Protobuf 介绍 Protocol Buffers (a.k.a., protobuf) are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data Protocol Buffers（简称为protobuf）是谷歌的语言无关、…...

编程日记 2023/12/29 19:05:10

Kafka优异的性能是如何实现的？

Apache Kafka是一个分布式流处理平台，设计用来处理高吞吐量的数据。它被广泛用于构建实时数据管道和流式应用程序。Kafka之所以能够提供优秀的性能和高吞吐量，主要得益于以下几个方面的设计和实现： 1. 分布式系统设计 Kafka是一个分布式系统…...

编程日记 2023/12/29 19:04:09

（二）MaterializedMySQL具体实施步骤举例

要将 MySQL 中的 test 数据库实时同步到位于同一台服务器（IP 地址为 192.168.197.128）上的 ClickHouse，您可以使用 MaterializedMySQL 引擎。以下是详细的步骤： 1. 准备工作 确保您的 MySQL 和 ClickHouse 服务都在运行&#xf…...

编程日记 2023/12/29 19:02:08

日志框架简介-Slf4j+Logback入门实践 | 京东云技术团队

前言 随着互联网和大数据的迅猛发展，分布式日志系统和日志分析系统已广泛应用，几乎所有应用程序都使用各种日志框架记录程序运行信息。因此，作为工程师，了解主流的日志记录框架非常重要。虽然应用程序的运行结果不受日志的有无影…...

编程日记 2023/12/29 19:01:06

c 语言， 随机数，一个不像随机数的随机数

c 语言， 随机数，一个不像随机数的随机数 使用两种方式获取随机数，总感觉使用比例的那个不太像随机数。 方法一： rand() 获取一个随机数，计算这个随机数跟最大可能值 RAND_MAX（定义在 stdlib.h 中&#xf…...

编程日记 2023/12/29 18:46:53

Git三种方法从远程仓库拉取指定分支

克隆指定分支 git clone -b dev开发分支 https://github.com/521/springboot-rabbitmq.git切换到远程分支 git checkout -b dev开发分支 origin/dev开发分支参考 Git三种方法从远程仓库拉取指定的某一个分支...

编程日记 2023/12/29 18:44:50

7.6分割回文串（LC131-M）

算法： 有很多分割结果，按照for循环去做肯定做不来 这个时候就要想到回溯！那就要画树！ 画树 分割的画树过程其实和组合很像。 例如对于字符串aab： 组合问题：选取一个a之后，在ab中再去选取第…...

编程日记 2023/12/29 18:43:49

stata回归结果输出中，R方和F值到底是用来干嘛的？

先直接回答问题，R方表示可决系数，反映模型的拟合优度，也就是模型的解释能力如何，也可以理解为模型中的各个解释变量联合起来能够在多大程度上解释被解释变量；F值用于模型整体的统计显著性，对应的P值越小&am…...

编程日记 2023/12/29 18:42:48

Windows搭建RTMP视频流服务（Nginx服务器版）

文章目录 引言1、安装FFmpeg2、安装Nginx服务器3、实现本地视频推流服务4、使用VLC或PotPlayer可视化播放器播放视频5、RTSP / RTMP系列文章 引言 RTSP和RTMP视频流的区别 RTSP （Real-Time Streaming Protocol）实时流媒体协议。 RTSP定义流格式&#xff…...

编程日记 2023/12/29 18:41:47

IP地址SSL证书

IP地址SSL证书是一种专门针对公网IP地址颁发的数字证书。与常规的域名SSL证书类似，其主要目标是提供数据加密和身份验证。以下几点概述了IP地址SSL证书的重要特性及其申请过程： 1. 保护直接IP访问： 当用户直接通过IP地址访问服务时&#xff…...

编程日记 2023/12/29 18:39:45

关于“Python”的核心知识点整理大全49

目录 16.2.10 加亮颜色主题 16.3 小结 第１7 章 使用API 17.1 使用 Web API 17.1.1 Git 和 GitHub 17.1.2 使用 API 调用请求数据 17.1.3 安装 requests 17.1.4 处理 API 响应 python_repos.py 注意 17.1.5 处理响应字典 python_repos.py import json i…...

编程日记 2023/12/29 18:37:43

爬虫学习(1)--requests模块的使用

前言 什么是爬虫 爬虫是一种自动化工具，用于从互联网或其他计算机网络上获取数据。它可以模拟人的行为，自动访问网页，提取感兴趣的数据，并将其存储到本地计算机或数据库中。爬虫通常用于搜索引擎、数据分析、信息聚合等领域&…...

编程日记 2023/12/29 18:34:41

【Vue2 + ElementUI】el-table中校验表单

一. 案例 校验金额 阐述&#xff1a;校验输入的金额是否正确。如下所示&#xff0c;点击【编辑图标】会变为input输入框当&#xff0c;输入金额。当输入框失去焦点时&#xff0c;若正确则调用接口更新金额且变为不可输入状态&#xff0c;否则返回不合法金额提示 <templat…...

编程日记 2023/12/29 18:33:40

PgSQL技术内幕 - ereport ERROR跳转机制

PgSQL技术内幕 - ereport ERROR跳转机制 使用客户端执行SQL的时候经常遇到报ERROR错误&#xff0c;然后SQL语句就退出了。当然&#xff0c;事务也会回滚掉。本文我们看下它是如何做到退出SQL语句并回滚事务的。 1、以insert一个numeric类型值为例 表一个字段为numeric(10,2)类型…...

编程日记 2023/12/29 18:32:39

【验证概括 SV的数据类型_2023.12.18】

验证概括 验证的过程是保证芯片实现符合规格说明书&#xff08;Specification&#xff0c;spec&#xff09;的过程 验证的两项任务&#xff1a; RTL sim&#xff1a;前仿真&#xff0c;验证功能 GLS-Gate (Level Simulation)&#xff1a;后仿真&#xff0c;验证功能和时序 验…...

编程日记 2023/12/29 18:28:34

如何在无公网IP环境下远程访问Serv-U FTP服务器共享文件

文章目录 1. 前言2. 本地FTP搭建2.1 Serv-U下载和安装2.2 Serv-U共享网页测试2.3 Cpolar下载和安装 3. 本地FTP发布3.1 Cpolar云端设置3.2 Cpolar本地设置 4. 公网访问测试5. 结语 1. 前言 科技日益发展的今天&#xff0c;移动电子设备似乎成了我们生活的主角&#xff0c;智能…...

编程日记 2023/12/29 18:26:32

电子工程师如何接私活赚外快？

对电子工程师来说&#xff0c;利用业余时间接私活是个很常见的技术&#xff0c;不仅可以赚取额外收入&#xff0c;也能提升巩固技术&#xff0c;可以说国内十个工程师&#xff0c;必有五个在接私活养家糊口&#xff0c;如果第一次接私活&#xff0c;该如何做&#xff1f; 很多工…...

编程日记 2023/12/29 18:24:31

数据库进阶教学——读写分离（Mycat1.6+Ubuntu22.04主+Win10从）

目录 1、概述 2、环境准备 3、读写分离实验 3.1、安装jdk 3.2、安装Mycat 3.3、配置Mycat 3.3.1、配置schema.xml ​​​​3.3.2、配置server.xml 3.4、修改主从机远程登陆权限 3.4.1、主机 3.4.2、从机 3.5、启动Mycat 3.6、登录Mycat 3.7、验证 1、概述 读写分…...

编程日记 2023/12/29 18:21:28

MidJourney笔记（9）-daily_theme-docs-describe

/daily_theme 切换 #daily-theme 频道更新的通知。 但我发现在对话框那里，是没有这个命令的： 但官网是有介绍，不知道是不是版本问题还是这个命令已经无效。 但后来，我发现这个命令是要在Midjourney服务对话框那里才有，在我们后面添加的Mid...

编程日记 2023/12/29 18:20:27

鸿蒙 - arkTs：网络请求封装和使用

1. module.json5文件配置网络请求 {"module": {"requestPermissions": [{"name": "ohos.permission.INTERNET"}]} } 2. 在pages同级创建一个文件夹&#xff0c;起名为api 3. api文件夹下创建index.ts文件&#xff0c;文件内容&…...

编程日记 2023/12/29 18:19:26

多功能演示工具ProVideoPlayer2 mac特色介绍

ProVideoPlayer2 mac是用于大多数任何生产的首选多功能演示工具。ProVideoPlayer 2是一种动态视频播放和处理媒体服务器&#xff0c;可将视频映射&#xff08;包括播放和实时视频输入&#xff09;实时控制到一个或多个输出。包括实时效果&#xff0c;调度&#xff0c;网络同步和…...

编程日记 2023/12/29 18:17:19

java设计模式学习之【责任链模式】

文章目录 引言责任链模式简介定义与用途实现方式 使用场景优势与劣势在Spring框架中的应用日志示例代码地址 引言 在现实生活中&#xff0c;常常会遇到这样的场景&#xff1a;一个请求或命令需要经过多个层级的处理。例如&#xff0c;一个行政审批流程可能需要通过多个部门的审…...

编程日记 2023/12/29 18:16:18

docker 安装可视化工具 Protainer 以及 汉化

一、创建保存数据的卷 安装网址&#xff1a;Install Portainer BE with Docker on Linux - Portainer Documentation docker pull portainer/portainer二、根据portainer镜像创建容器 docker run -d -p 8000:8000 -p 9000:9000\ --name portainer --restartalways \ -v /var/r…...

编程日记 2023/12/29 18:10:14

【SpringBoot篇】详解Bean的管理（获取bean，bean的作用域，第三方bean）

文章目录 &#x1f354;Bean的获取&#x1f384;注入IOC容器对象⭐代码实现&#x1f6f8;根据bean的名称获取&#x1f6f8;根据bean的类型获取&#x1f6f8;根据bean的名称和类型获取 &#x1f384;Bean的作用域⭐代码实现&#x1f388;注意 &#x1f384;第三方Bean⭐代码实现…...

编程日记 2023/12/29 18:09:13

彭涛：2023年终复盘，工作，团队，个人！

眨眼2023即将结束&#xff0c;2024即将开启&#xff0c;每年这个时候&#xff0c;都会简单总结下自己这一年&#xff0c;既是对今年的一个复盘和回顾&#xff0c;也是对新一年的向往和期待。 我的2023年&#xff0c;大概分为 「个人」&#xff0c;「家庭」&#xff0c;「团队」…...

编程日记 2023/12/29 18:08:12

网站开发流程心得体会/软文推广名词解释

低端控制器对执行效率要求很高&#xff0c;成本敏感&#xff0c;因而SoC内置SRAM是紧缺资源。代码分块管理就是为了充分利用内存&#xff0c;提高内存的复用效率而提出的一种设计方法。代码分块管理不仅涉及到硬件&#xff0c;同样对操作系统和应用、驱动的设计都有要求&#x…...

编程日记 2025/1/19 3:35:14

behance设计网站图片/十大新媒体平台有哪些

SeismicPro是一个地震剖面显示软件&#xff0c;可从标准SEGY地震数据体中抽取纵测线和横测线的二维剖面&#xff0c;并以波形、变面积和变密度等多种方式进行专业化显示&#xff0c;可进行一键式显示方式切换&#xff0c;并可进行定制开发叠加井轨迹与测井曲线等。 我感觉最人性…...

编程日记 2025/1/19 1:01:34

获取网站后台地址/信阳seo公司

我是黄勇&#xff0c;一名大厂内训专家&#xff0c;曾为网易、360、华为等多家企业员工提供Python培训&#xff1b;曾使用Python开发过多个大型企业网站&#xff0c;从零打造分布式爬虫架构&#xff0c;目前专注于python领域的课程研发和教学工作。如今的职场上&#xff0c;10个…...

编程日记 2025/1/18 23:22:19

营销型网站建设是什么/搜索引擎优化搜索优化

Understand the Difference Between Return Sequences and Return States for LSTMs in Keras Kears LSTM API 中给出的两个参数描述 return_sequences&#xff1a;默认 False。在输出序列中&#xff0c;返回单个 hidden state值还是返回全部time step 的 hidden state值。 Fa…...

编程日记 2025/1/18 21:44:51

上海闵行网站制作公司/营销图片素材

利用 AI Studio 完成 Paddle 编译 为什么要对 Paddle 进行编译&#xff1f; 众所周知&#xff0c;PaddlePaddle 的底层代码是利用 C 进行开发的&#xff0c;对于 Python 端的日常使用者&#xff0c;我们仅需要依据 Paddle 官方提供的 pip 详情安装 Paddle 既可。 如果要从 P…...

编程日记 2025/1/18 20:31:39

盐山网站建设/seo排名优化工具推荐

澄清P问题、NP问题、NPC问题的概念 作者:matrix67 日期:2006-08-28 字体大小: 小 中 大这或许是众多OIer最大的误区之一。你会经常看到网上出现“这怎么做&#xff0c;这不是NP问题吗”、“这个只有搜了&#xff0c;这已经被证明是NP问题了”之类的话。你要知道&#xff0c;大…...

编程日记 2025/1/18 19:08:12