当前位置： 首页 > news >正文

实现超大文件上传逻辑

news 文章来源：https://blog.csdn.net/ybb_ymm/article/details/129002803 2024/11/29 10:46:43

引言

文件上传功能是我们开发中经常会遇到的功能点,当日常开发中遇到小文件（比如：头像），可以直接将文件转为字节流直接上传到服务器上即可。但是当遇到大文件这种（比如：一部电影至少1个G）该怎么上传？怎么快速上传？传到一半断了，如何规避从头再次上传？

接下来，我们看看怎么解决这些问题！

分片上传

我相信大家肯定都听过分片上传，下面我们具体看一下

什么是分片上传

分片上传，顾名思义就是将我们需要上传的文件，按照一定的规则（比如大小），将文件分割成不同的数据块（俗称的part）来进行分批量的上传，上传完成后，再交给服务端对所有上传完成的文件进行汇总，整合为我们原来的的初始文件。

使用场景

  1. 较大文件上传
  2. 网络环境不太稳定，可能会有断网，重新上传的风险存在的情况下

断电续传

断点续传我们相信大家肯定不陌生，我们之前经常用的迅雷、电驴这些都会有断点续传的功能

什么是断电续传

断点续传，顾名思义就是在上传或者下载的时候，将上传或下载任务（一个压缩包或者文件），通过程序划分为几个部分，每一个部分采用一个线程进行下载或者上传，如果遇到了网络故障的情况，可以从已经上传或者下载的部分开始继续接着上传或下载没有完成的内容，从而避免从头开始上传或者下载。

使用场景

短短续传起始就是分片上传你的一个分支，所以他和分片上传使用的场景是一致的

实现步骤

  1. 将需要上传的文件按照事先约定的规则分割，分割成大小相同的数据库
  2. 初始化一个上传任务，返回上传分片的唯一标识
  3. 按照一定的策略发送各个分片数据块
  4. 发送完成后，服务端程序根据判断数据上传的完成状态，进行数据合并。

好了，今天关于实现超大文件上传逻辑就讲解到这里，欢迎大家留言交流

也欢迎大家关注我的公众号《coder练习生》

相关文章：

实现超大文件上传逻辑

引言 文件上传功能是我们开发中经常会遇到的功能点,当日常开发中遇到小文件（比如：头像），可以直接将文件转为字节流直接上传到服务器上即可。但是当遇到大文件这种（比如：一部电影至少1个G）该怎么…...

编程日记 2023/5/23 2:10:55

JavaScript HTML DOM EventListener

JavaScript HTML DOM EventListener 是一个非常重要的概念，在前端开发中被广泛使用。它是用来监听 HTML DOM 上的事件，并执行特定的代码块。 EventListener 的语法非常简单，下面是一个示例代码： element.addEventListener("…...

编程日记 2023/4/17 22:20:33

构建RFID系统的重要组成部分

RFID读写设备，通常被用来扫描读取安装了RFID电子标签的目标物品，能实现快速批量无接触读写，是构建RFID系统的重要组成部分。RFID读写设备，通常有固定式读写设备和可移动读写设备两种。下面来了解一下RFID的特点，RFID系…...

编程日记 2023/5/23 2:11:57

PID控制算法简介

目录 1 简介 2 比例Proportional 3 积分Integral 4 微分Differential 5 公式 6 积分限幅 7 积分限行 8 相关代码 1 简介 PID控制中有P、I、D三个参数，PID即：Proportional（比例）、Integral（积分&#…...

编程日记 2023/5/30 10:25:11

【王道数据结构】第八章 | 排序

目录 8.1. 排序的基本概念 8.2. 插入排序 8.2.1. 直接插入排序 8.2.2. 折半插入排序 8.2.3. 希尔排序 8.3. 交换排序 8.3.1. 冒泡排序 8.3.2. 快速排序 8.4. 选择排序 8.4.1. 简单选择排序 8.4.2. 堆排序 8.5. 归并排序和基数排序 8.5.2. 基数排序 8.1. 排序的基本概念 排…...

编程日记 2023/5/17 11:13:49

95后外贸SOHO，年入7位数，他究竟是怎么做的？

外贸SOHO，一年到底能挣多少钱？有人说：“勤勤恳恳，年薪也就十来万吧”；也有人说：“100万而已我早就已经挣到了”；还有人说：“谁说新手难出头？我做跨境半年赚200万&#xf…...

编程日记 2023/5/30 10:25:59

2023年全国最新消防设施操作员精选真题及答案

百分百题库提供消防设施操作员考试试题、消防设施操作员考试预测题、消防设施操作员考试真题、消防设施操作员证考试题库等,提供在线做题刷题，在线模拟考试，助你考试轻松过关。 一、多选题 15、以下符合电气火灾监控系统监控设备的安装要求的有:( ) A、…...

编程日记 2023/5/30 10:27:36

mysql 无需修改配置文件，即可改变表数据存储位置

由于Linux系统的mysql 默认数据存储在/var/lib/mysql路径下，而该路径装系统时默认大小仅50G，当我们的数据稍微大一点时就会把该空间占满，无法再插入数据。 针对该问题有两种解决办法： 1、修改/etc/my.cnf配置文件，重启…...

编程日记 2023/4/17 10:42:16

轻松解决Session-Cookie 鉴权（含坑）附代码

Session-Cookie 鉴权 cookie介绍 Cookie 存储在客户端，可随意篡改，不安全有大小限制，最大为 4kb有数量限制，一般一个浏览器对于一个网站只能存不超过 20 个 Cookie，浏览器一般只允许存放 300个 CookieCookie 是不可跨…...

编程日记 2023/5/23 2:13:13

pyinstaller使用详细

目录常用命令spec文件配置报错常用命令 pyinstaller -D xxx.py //打包生成目录（director）pyinstaller -F xxx.py//打包生成单个exe文件pyinstaller xxx.spec //根据现有的spec文件进行打包运行以上命令之一后会生成build、dist文件夹以及xxx.spec文件&a…...

编程日记 2023/5/12 2:34:56

java -数据结构，List相关基础知识，ArrayList的基本使用，泛型的简单、包装类介绍

一、 预备知识-泛型(Generic) 1.1、泛型的引入 比如：我们实现一个简单的顺序表 class MyArrayList{public int[] elem;public int usedSize;public MyArrayList(){this.elem new int[10];}public void add(int key){this.elem[usedSize] key;usedSize;}public …...

编程日记 2023/5/23 2:15:47

RabbitMQ学习总结（10）—— RabbitMQ如何保证消息的可靠性

一、丢失场景 RabbitMQ丢失的以下3种情况： （1）生产者：生产者发送消息至MQ的数据丢失...

编程日记 2023/5/12 20:28:49

购物车案例【版本为vue3】

前言： 首先我们要明白整个购物车的组成。它是由一个主页面加两个组件组合成的。本章主要运用父子之间的通讯： 父传子 子传父 首先新建一个vue3项目，这里有俩种创建方式： vue-cli ： ● 输入安装指令 npm init vuelates…...

编程日记 2023/5/24 2:30:50

Multisim14 安装包及安装教程

Multisim14 安装教程 Multisim14下载地址：Kevin的学习站–安装包下载地址 Multisim14 简介： Multisim 14 是美国国家仪器有限公司（National Instrument，NI）推出的以 Windows 为基础、符合工业标准的、具有 SPICE 最佳仿…...

编程日记 2023/5/16 6:37:59

Java实现简单的图书管理系统源码+论文

简单图书管理系统设计（文末附带源码论文） 为图书管理人员编写一个图书管理系统，图书管理系统的设计主要是实现对图书的管理和相关操作，包括3个表： 图书信息表——存储图书的基本信息，包括书号、书名、作者…...

编程日记 2023/5/29 8:55:58

前端调试2

一、用chrome调试(node.js)例：const fs require(fs/promises);(async function() {const fileContent await fs.readFile(./package.json, {encoding: utf-8});await fs.writeFile(./package2.json, fileContent); })();1.先 node index.js 跑一下：2.然…...

编程日记 2023/5/23 2:17:21

AlphaFold 2 处理蛋白质折叠问题

蛋白质是一个较长的氨基酸序列，比如100个氨基酸的规模，如此长的氨基酸序列连在一起是不稳定的，它们会卷在一起，形成一个独特的3D结构，这个3D结构的形状决定了蛋白质的功能。 蛋白质结构预测（蛋白质折叠问题…...

编程日记 2023/4/13 15:05:13

问卷调查会遇到哪些问题？怎么解决？

提到问卷调查我们并不陌生，它经常被用作调查市场、观察某类群体的行为特征等多种调查中。通过问卷调查得出的数据能够非常真实反映出是市场的现状和变化趋势，所以大家经常使用这个方法进行调查研究。不过，很多人在进行问卷调查的时候也会遇到…...

编程日记 2023/5/13 22:37:45

量化选股——基于动量因子的行业风格轮动策略（第1部分—因子测算）

文章目录动量因子与行业轮动概述动量因子的理解投资视角下的行业轮动现象投资者视角与奈特不确定性动量因子在行业风格上的效果测算动量因子效果测算流程概述1. 行业选择：申万一级行业2. 动量因子选择：阿隆指标（Aroon）3. 测算方法…...

编程日记 2023/5/23 2:31:35

工作常用git命令

修改hard：git reset --hard md5git push -f合并多次commitsgit rebase -i HEAD~4git push -f冲突文件被覆盖冲突文件被覆盖了，可以用git checkout commitId /path来快速把一个或一些文件还原会之前的提交，重新commit ,merge一次删除分支git b…...

编程日记 2023/4/14 5:30:56

test3

数据链路层故障分析 一、网桥故障 a.主要用途简述 网桥作为一种桥接器，可以连接两个局域网。工作在数据链路层，是早期的两端口二层网络设备。可将一个大的VLAN分割为多个网段，或者将两个以上的LAN互联为一个逻辑LAN，使得LAN上的…...

编程日记 2023/4/17 10:45:36

领证啦，立抵3600，软考证书到手后还有很多作用

2022年下半年软考合格证书发放在2023年2月-3月进行，目前已有多个省市开始发证了，比如上海、江苏、辽宁、浙江、山东等地。还没收到领证通知的考生也不要着急，可以关注当地软考办通知。 拿到证书的朋友可以去申请入户，职称评聘&am…...

编程日记 2023/5/16 17:06:48

响应式布局之viewport-超级简单

之前文章CSS布局之详解_故里2130的博客-CSDN博客 上面的文章可以实现响应式布局，根据浏览器的大小变化而变化，但是相对于viewport来说，之前的还是有点复杂，而使用viewport更加的简单。 当我们使用amfe-flexible的时候&#xff0…...

编程日记 2023/5/12 12:24:56

分布式计算考试资料

第一章 分布式系统的定义 分布式系统是一个其硬件或软件组件分布在连网的计算机上，组件之间通过传递信息进行通信和动作协调的系统。分布式系统的目标 资源共享(resource sharing) 一些计算机通过网络连接起来，并在这个范围内有效地共享资源。 硬件的共…...

编程日记 2023/5/24 21:52:14

Java修饰符和运算符，超详细整理，适合新手入门

目录 一、访问控制修饰符 1、访问权限 二、运算符 1、算术运算符 2、关系运算符 3、逻辑运算符 4、赋值运算符 5、三元运算符 一、访问控制修饰符 Java 支持 4 种不同的访问权限： private 私有的 protected 受保护的 public 公共的 default 默认 1、…...

编程日记 2023/5/27 14:50:54

软件功能测试包含了哪些测试项目?功能测试报告收费标准

一、软件功能测试是什么? 软件功能测试是测试人员通过执行功能测试用例逐步验证软件产品各项功能是否达到预期需求的测试过程。也是俗称的“点点点测试”，这是基础性的测试类型，软件产品的功能直接影响到用户体验，所以软件功能测试意义重大…...

编程日记 2023/5/12 20:30:20

Netty 学习笔记——概念篇

Netty Home Netty GitHub Netty简介 Netty是由JBOSS提供的一个java开源框架，现为 Github上的独立项目。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 也就是说，Netty 是一个…...

编程日记 2023/5/18 9:05:08

元宇宙开始告别以资本为主导的野蛮生长，新的竞争格局和态势将形成

欲要成为这样一场洗牌的胜利者，元宇宙的玩家需要真正站在商业的角度，而非资本市场的角度来看待元宇宙，来寻找元宇宙的正确的发展模式和方法。原因在于，在这样一场洗牌过程当中，仅仅只是对于以往以资本为主导的发展模式…...

编程日记 2023/5/23 2:33:58

MySQL 5：MySQL视图

View（视图）是一个不存在的虚拟表。 其实质是根据SQL语句获取动态数据集并命名。 用户只需要使用视图名就可以获取结果集，并作为表来使用。数据库中只存储了视图的定义，不存储视图中的数据。 这些数据存储在原始表中。当使用视图查…...

编程日记 2023/5/30 10:29:20

中国干细胞医疗行业市场规模及未来发展趋势

中国干细胞医疗行业市场规模及未来发展趋势近年来，中国干细胞医疗行业发展迅速，市场规模不断扩大，发挥着越来越重要的作用。根据最新统计数据显示，2018年，中国干细胞医疗行业市场规模达到1242.6亿元，比上一…...

编程日记 2023/4/14 19:52:18

web网站开发的参考文献/软件外包公司好不好

...即使您是服务器端人员！ 并不是因为我是Vaadin的忠实粉丝，所以甚至在尝试其他技术之前，我就完全拒绝其他技术。 在这方面，我必须保持我被强烈印象AngularJS在Devoxx法国2013年谈自那时以来，时间已经明确太短就别想进…...

编程日记 2024/11/29 7:57:13

哪个网站做马代路线好/关键词搜索量查询工具

一、什么是数据库？ 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。我们也可以将数据存储在文件…...

编程日记 2024/11/29 6:27:31

wordpress编辑栏不见了/如何做seo

猫和老鼠手游出现异常玩不了怎么办？遇到游戏异常的问题，大家需要对处理这些问题的方法有一个基础的了解，包括游戏的一些设置技巧，都能在很大程度上帮助玩家更愉快的游戏，下面分享游戏的设置以及异常的解决方法。猫和老…...

编程日记 2024/11/29 4:01:47

邯郸做网站的电话/百度seo按天计费

由于前段时间比较忙&#xff0c;线程这快学习停滞了&#xff0c;只能利用周日的时间来写写博客了&#xff0c;多线程Join方法的作用就是把指定的线程加入到当前线程&#xff0c;让主线程等待子线程结束之后才能继续运行&#xff0c;从而完成同步操作<!-- more --> 介绍 j…...

编程日记 2024/11/28 21:30:21

运营笔记wordpress/域名交易域名出售

1、处理特殊的文件名 假设Linux系统中有一个文件名叫“-ee”&#xff0c;如果我们想对它进行操作&#xff0c;例如要删除它&#xff0c;按照一般的删除方法在命令行中输入rm -ee命令&#xff0c;界面会提示我们是“无效选项”(invalid option)&#xff0c;原来由于文件名的第一…...

编程日记 2024/11/28 18:08:27

网站备案时 首页/武汉网站seo推广公司

mysql相关的三个函数有&#xff1a; NOW()函数以YYYY-MM-DD HH:MM:SS返回当前的日期时间&#xff0c;可以直接存到DATETIME字段中。CURDATE()以’YYYY-MM-DD’的格式返回今天的日期&#xff0c;可以直接存到DATE字段中。CURTIME()以’HH:MM:SS’的格式返回当前的时间&#xff0…...

编程日记 2024/11/28 17:10:51