实现超大文件上传逻辑
引言
文件上传功能是我们开发中经常会遇到的功能点,当日常开发中遇到小文件（比如：头像），可以直接将文件转为字节流直接上传到服务器上即可。但是当遇到大文件这种（比如：一部电影至少1个G）该怎么上传？怎么快速上传？传到一半断了，如何规避从头再次上传？
接下来，我们看看怎么解决这些问题！
分片上传
我相信大家肯定都听过分片上传，下面我们具体看一下
什么是分片上传
分片上传，顾名思义就是将我们需要上传的文件，按照一定的规则（比如大小），将文件分割成不同的数据块（俗称的part）来进行分批量的上传，上传完成后，再交给服务端对所有上传完成的文件进行汇总，整合为我们原来的的初始文件。
使用场景
- 较大文件上传
- 网络环境不太稳定，可能会有断网，重新上传的风险存在的情况下
断电续传
断点续传我们相信大家肯定不陌生，我们之前经常用的迅雷、电驴这些都会有断点续传的功能
什么是断电续传
断点续传，顾名思义就是在上传或者下载的时候，将上传或下载任务（一个压缩包或者文件），通过程序划分为几个部分，每一个部分采用一个线程进行下载或者上传，如果遇到了网络故障的情况，可以从已经上传或者下载的部分开始继续接着上传或下载没有完成的内容，从而避免从头开始上传或者下载。
使用场景
短短续传起始就是分片上传你的一个分支，所以他和分片上传使用的场景是一致的
实现步骤
- 将需要上传的文件按照事先约定的规则分割，分割成大小相同的数据库
- 初始化一个上传任务，返回上传分片的唯一标识
- 按照一定的策略发送各个分片数据块
- 发送完成后，服务端程序根据判断数据上传的完成状态，进行数据合并。
好了，今天关于实现超大文件上传逻辑就讲解到这里，欢迎大家留言交流
也欢迎大家关注我的公众号《coder练习生》
相关文章：
实现超大文件上传逻辑
引言 文件上传功能是我们开发中经常会遇到的功能点,当日常开发中遇到小文件（比如：头像），可以直接将文件转为字节流直接上传到服务器上即可。但是当遇到大文件这种（比如：一部电影至少1个G）该怎么…...
JavaScript HTML DOM EventListener
JavaScript HTML DOM EventListener 是一个非常重要的概念，在前端开发中被广泛使用。它是用来监听 HTML DOM 上的事件，并执行特定的代码块。 EventListener 的语法非常简单，下面是一个示例代码： element.addEventListener("…...
构建RFID系统的重要组成部分
RFID读写设备，通常被用来扫描读取安装了RFID电子标签的目标物品，能实现快速批量无接触读写，是构建RFID系统的重要组成部分。RFID读写设备，通常有固定式读写设备和可移动读写设备两种。下面来了解一下RFID的特点，RFID系…...
PID控制算法简介
目录 1 简介 2 比例Proportional 3 积分Integral 4 微分Differential 5 公式 6 积分限幅 7 积分限行 8 相关代码 1 简介 PID控制中有P、I、D三个参数，PID即：Proportional（比例）、Integral（积分&#…...
【王道数据结构】第八章 | 排序
目录 8.1. 排序的基本概念 8.2. 插入排序 8.2.1. 直接插入排序 8.2.2. 折半插入排序 8.2.3. 希尔排序 8.3. 交换排序 8.3.1. 冒泡排序 8.3.2. 快速排序 8.4. 选择排序 8.4.1. 简单选择排序 8.4.2. 堆排序 8.5. 归并排序和基数排序 8.5.2. 基数排序 8.1. 排序的基本概念 排…...
95后外贸SOHO，年入7位数，他究竟是怎么做的？
外贸SOHO，一年到底能挣多少钱？有人说：“勤勤恳恳，年薪也就十来万吧”；也有人说：“100万而已我早就已经挣到了”；还有人说：“谁说新手难出头？我做跨境半年赚200万…...
2023年全国最新消防设施操作员精选真题及答案
百分百题库提供消防设施操作员考试试题、消防设施操作员考试预测题、消防设施操作员考试真题、消防设施操作员证考试题库等,提供在线做题刷题，在线模拟考试，助你考试轻松过关。 一、多选题 15、以下符合电气火灾监控系统监控设备的安装要求的有:( ) A、…...
mysql 无需修改配置文件，即可改变表数据存储位置
由于Linux系统的mysql 默认数据存储在/var/lib/mysql路径下，而该路径装系统时默认大小仅50G，当我们的数据稍微大一点时就会把该空间占满，无法再插入数据。 针对该问题有两种解决办法： 1、修改/etc/my.cnf配置文件，重启…...
轻松解决Session-Cookie 鉴权（含坑）附代码
Session-Cookie 鉴权 cookie介绍 Cookie 存储在客户端，可随意篡改，不安全有大小限制，最大为 4kb有数量限制，一般一个浏览器对于一个网站只能存不超过 20 个 Cookie，浏览器一般只允许存放 300个 CookieCookie 是不可跨…...
pyinstaller使用详细
目录常用命令spec文件配置报错常用命令 pyinstaller -D xxx.py //打包生成目录（director）pyinstaller -F xxx.py//打包生成单个exe文件pyinstaller xxx.spec //根据现有的spec文件进行打包运行以上命令之一后会生成build、dist文件夹以及xxx.spec文件&a…...
java -数据结构，List相关基础知识，ArrayList的基本使用，泛型的简单、包装类介绍
一、 预备知识-泛型(Generic) 1.1、泛型的引入 比如：我们实现一个简单的顺序表 class MyArrayList{public int[] elem;public int usedSize;public MyArrayList(){this.elem new int[10];}public void add(int key){this.elem[usedSize] key;usedSize;}public …...
RabbitMQ学习总结（10）—— RabbitMQ如何保证消息的可靠性
一、丢失场景 RabbitMQ丢失的以下3种情况： （1）生产者：生产者发送消息至MQ的数据丢失...
购物车案例【版本为vue3】
前言： 首先我们要明白整个购物车的组成。它是由一个主页面加两个组件组合成的。本章主要运用父子之间的通讯： 父传子 子传父 首先新建一个vue3项目，这里有俩种创建方式： vue-cli ： ● 输入安装指令 npm init vuelates…...
Multisim14 安装包及安装教程
Multisim14 安装教程 Multisim14下载地址：Kevin的学习站–安装包下载地址 Multisim14 简介： Multisim 14 是美国国家仪器有限公司（National Instrument，NI）推出的以 Windows 为基础、符合工业标准的、具有 SPICE 最佳仿…...
Java实现简单的图书管理系统源码+论文
简单图书管理系统设计（文末附带源码论文） 为图书管理人员编写一个图书管理系统，图书管理系统的设计主要是实现对图书的管理和相关操作，包括3个表： 图书信息表——存储图书的基本信息，包括书号、书名、作者…...
前端调试2
一、用chrome调试(node.js)例：const fs require(fs/promises);(async function() {const fileContent await fs.readFile(./package.json, {encoding: utf-8});await fs.writeFile(./package2.json, fileContent); })();1.先 node index.js 跑一下：2.然…...
AlphaFold 2 处理蛋白质折叠问题
蛋白质是一个较长的氨基酸序列，比如100个氨基酸的规模，如此长的氨基酸序列连在一起是不稳定的，它们会卷在一起，形成一个独特的3D结构，这个3D结构的形状决定了蛋白质的功能。 蛋白质结构预测（蛋白质折叠问题…...
问卷调查会遇到哪些问题？怎么解决？
提到问卷调查我们并不陌生，它经常被用作调查市场、观察某类群体的行为特征等多种调查中。通过问卷调查得出的数据能够非常真实反映出是市场的现状和变化趋势，所以大家经常使用这个方法进行调查研究。不过，很多人在进行问卷调查的时候也会遇到…...
量化选股——基于动量因子的行业风格轮动策略（第1部分—因子测算）
文章目录动量因子与行业轮动概述动量因子的理解投资视角下的行业轮动现象投资者视角与奈特不确定性动量因子在行业风格上的效果测算动量因子效果测算流程概述1. 行业选择：申万一级行业2. 动量因子选择：阿隆指标（Aroon）3. 测算方法…...
工作常用git命令
修改hard：git reset --hard md5git push -f合并多次commitsgit rebase -i HEAD~4git push -f冲突文件被覆盖冲突文件被覆盖了，可以用git checkout commitId /path来快速把一个或一些文件还原会之前的提交，重新commit ,merge一次删除分支git b…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目：3442. 奇偶频次间的最大差值 I 思路 ：哈希，时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况，哈希表这里用数组即可实现。 C版本： class Solution { public:int maxDifference(string s) {int a[26]…...
业务系统对接大模型的基础方案：架构设计与关键步骤
业务系统对接大模型：架构设计与关键步骤 在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...
脑机新手指南（八）：OpenBCI_GUI：从环境搭建到数据可视化（下）
一、数据处理与分析实战 （一）实时滤波与参数调整 基础滤波操作 60Hz 工频滤波：勾选界面右侧 “60Hz” 复选框，可有效抑制电网干扰（适用于北美地区，欧洲用户可调整为 50Hz）。 平滑处理&…...
Qt/C++开发监控GB28181系统/取流协议/同时支持udp/tcp被动/tcp主动
一、前言说明 在2011版本的gb28181协议中，拉取视频流只要求udp方式，从2016开始要求新增支持tcp被动和tcp主动两种方式，udp理论上会丢包的，所以实际使用过程可能会出现画面花屏的情况，而tcp肯定不丢包，起码…...
23-Oracle 23 ai 区块链表（Blockchain Table）
小伙伴有没有在金融强合规的领域中遇见，必须要保持数据不可变，管理员都无法修改和留痕的要求。比如医疗的电子病历中，影像检查检验结果不可篡改行的，药品追溯过程中数据只可插入无法删除的特性需求；登录日志、修改日志…...
【位运算】消失的两个数字（hard）
消失的两个数字（hard） 题⽬描述：解法（位运算）：Java 算法代码：更简便代码 题⽬链接：⾯试题 17.19. 消失的两个数字 题⽬描述： 给定⼀个数组，包含从 1 到 N 所有…...
工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年，作为行业领先的3D工业相机及视觉系统供应商，累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成，通过稳定、易用、高回报的AI3D视觉系统，为汽车、新能源、金属制造等行…...
【Go语言基础【12】】指针：声明、取地址、解引用
文章目录 零、概述：指针 vs. 引用（类比其他语言）一、指针基础概念二、指针声明与初始化三、指针操作符1. &：取地址（拿到内存地址）2. *：解引用（拿到值） 四、空指针&am…...
CSS | transition 和 transform的用处和区别
省流总结： transform用于变换/变形，transition是动画控制器 transform 用来对元素进行变形，常见的操作如下，它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...
C# 表达式和运算符(求值顺序)
求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如，已知表达式3*52，依照子表达式的求值顺序，有两种可能的结果，如图9-3所示。 如果乘法先执行，结果是17。如果5…...