高效处理 iOS 应用中的大规模礼物数据:以直播项目为例(1-礼物池)
引言
在现代iOS应用开发中,处理大规模数据是一个常见的挑战。尤其实在直播项目中,礼物面板作为展示用户互动的重要部分,通常需要实时显示海量的礼物数据。这些数据不仅涉及到不同的区域、主播的动态差异,还需要保证高效的加载与渲染,以提供流畅的用户体验。
本篇博客将以直播应用中的礼物面板为例,深入探讨如何高效地管理和处理这些庞大的数据。我们将分享一种基于“礼物池”设计的解决方案,从服务端下载并解压存储数据,再根据实时的面板数据提取礼物信息的方式,确保数据的高效存取与更新。同时,还将讨论如何通过合理的本地缓存和更新机制,进一步提升应用性能,并优化用户体验。
如果你也在处理类似的大数据问题,或者正在开发类似的直播应用,本篇博客将为你提供实用的思路和解决方案。
架构介绍
上面所展示的礼物面板中的所有礼物数据,大概有2-4M,这对于一个请求来说应该算是一个非常大的数据量,而由于针对不同地区不同的主播所展示的礼物也不同,那么我们就可以需要频繁的来请求整个礼物面板的数据,每次都请求这么大的数据显然这并不理智。为此我们可以考虑将它分割成两部分:礼物池和礼物面板。
- 礼物池:礼物池内存放的是所有的礼物该数据由一个接口下发为固定数据几乎不会变动出发有新类型的礼物加入。
- 礼物面板:根据层级返回每个一级tab对应下的二级tab,而二级tab下只需要包含礼物的id。
礼物池的数据结构如下:
截图中只展示了礼物列表中的一个礼物,而且数据并没有完全展示出来,那这组json来说一共有1600个这样的礼物,整个礼物池大小为3.8M。
礼物面板的数据结构如下:
我们抛开一级tab直接看二级tab下的gifts里面只保存了礼物的id。这也就大大减小了礼物面板的数据大小、获取到礼物的id之后再从礼物池中读取礼物的完整数据。这样即使频繁请求礼物面板接口也不会造成很大性能影响。
礼物池的存储与更新机制
礼物池json文件的压缩包是通过一个接口获取的,该接口会返回礼物池的压缩文件路径,以及礼物池的当前版本号。
等获取到该接口的数据之后,我们需要做的有三件事:
- 对比礼物版本号与当前本地礼物版本号,如果相等则不需要更新json文件,直接加载本地json。
- 否则将新的礼物池版本号进行保存。
- 开始下载新的礼物池压缩包。
/// 请求礼物池数据private func requestGiftPoolData() {MWNetworkHelper.request(endpoint: MWAPINormalEndpoint.api_giftPoolData, parameters: [:], modelType: MWGiftPoolModel.self) {[weak self] model, data, error inguard let self = self else { return }guard let model = model else {MWLogHelper.error("请求礼物池数据失败 err:\(error?.description ?? "")", context: "MWGiftPoolManager")return}// 是否需要下载新的zipif model.version == MWUserDefaultsAppHelper.giftPoolVersion {self.loadLocalJson(model: model)return}// 将礼物版本号保存到本地MWUserDefaultsAppHelper.giftPoolVersion = model.versionself.startDownloadZip(zip_url: model.default_zip)}}
本地读取
如果本地已经有了礼物池数据,且当前礼物池版本号与本地版本号相同时,那么我们就可以直接读取本地json,但读取本地json时并不一定就会成功,当读取失败,或者转换失败时,需要重新进行下载。
/// 加载本地json文件/// - Parameter model: 礼物池modelprivate func loadLocalJson(model:MWGiftPoolModel) {// 本地版本号和服务器版本号一致 直接读取if let jsonPath = MWUserDefaultsAppHelper.giftPoolJsonPath {MWLogHelper.info("读取本地json path:\(jsonPath)", context: "MWGiftPoolManager")// 拼接document路径let document = NSSearchPathForDirectoriesInDomains(.documentDirectory, .userDomainMask, true).first ?? ""let filePath = document.appending("/\(jsonPath)")do {let jsonData = try Data(contentsOf: URL(fileURLWithPath: filePath))let json = try JSONSerialization.jsonObject(with: jsonData, options: .mutableContainers)if let jsonDict = json as? [String:Any] {MWLogHelper.info("读取本地json成功", context: "MWGiftPoolManager")self.jsonDict = jsonDictself.convertModel(jsonDict: jsonDict)}} catch {MWLogHelper.error("读取本地json失败 重新下载 err:\(error.localizedDescription)", context: "MWGiftPoolManager")// 转换失败也需要重新下载self.startDownloadZip(zip_url: model.default_zip)}}}
下载zip解压并存储
如果json文件需要更新或者首次下载,那么在下载完成之后需要将json写入到本地,供以后直接读取。
/// 开始下载zipprivate func startDownloadZip(zip_url:String) {// 获取zip文件名let lastPathComponent = zip_url.components(separatedBy: "/").last ?? ""MWNetworkHelper.downloadFile(url: zip_url,file: "giftPool",fileName: lastPathComponent) { progress in} completion: {[weak self] path, error inguard let self = self else { return }if let path = path {MWLogHelper.info("下载zip成功 path:\(path)", context: "MWGiftPoolManager")self.startUnZipFile(zipURL: path)} else {MWLogHelper.error("下载zip失败 err:\(error?.description ?? "")", context: "MWGiftPoolManager")}}}
此时下载完成时一个zip包,借助Zip进行解压,解压完成之后获取到json,构建数据模型,并将json输入写入到document文件夹,保存相对路径。
/// 开始解压private func startUnZipFile(zipURL: URL) {do {let unzipUrl = try Zip.quickUnzipFile(zipURL)// 获取文件名let lastPathComponent = zipURL.lastPathComponent.components(separatedBy: ".").first ?? ""MWLogHelper.info("解压zip成功 path:\(unzipUrl)", context: "MWGiftPoolManager")let jsonURL = unzipUrl.appendingPathComponent("\(lastPathComponent).json")MWLogHelper.info("拼接路径 path:\(jsonURL)", context: "MWGiftPoolManager")// 将文件路径存储起来(document以后)let filePath = lastPathComponent.appending("/\(lastPathComponent).json")MWUserDefaultsAppHelper.giftPoolJsonPath = filePathlet jsonData = try Data(contentsOf: jsonURL)let json = try JSONSerialization.jsonObject(with: jsonData, options: .mutableContainers)if let jsonDict = json as? [String:Any] {self.jsonDict = jsonDictself.convertModel(jsonDict: jsonDict)}} catch {MWLogHelper.error("解压zip失败 err:\(error.localizedDescription)", context: "MWGiftPoolManager")}}
json数据转哈希表
从上面的代码中我们还可以看见一个比较重要的方法covertModel(),该方法接收的就是礼物池的原始数据,然后我们通过遍历礼物池下的gifts礼物列表来构建礼物的数据模型。模型构建完成之后,我们使用键值对的形式将礼物的数据模型和礼物id成对的保存到表中。
/// 礼物池(键值对形式)public var giftPoolMap:[Int:MWGiftModel] = [:]
/// 转modelprivate func convertModel(jsonDict: [String:Any]) {if let giftPools = jsonDict["gifts"] as? [[String:Any]] {// 遍历giftpools创建一个字典for giftDict in giftPools {let giftModel = MWGiftModel(JSON: giftDict)guard let giftId = giftModel?.giftId else {continue}giftPoolMap[giftId] = giftModel}}giftPoolCallback?(giftPoolMap)MWGiftLoader.shared.startLoadGift(giftPoolMap: giftPoolMap)MWLogHelper.debug("转成模型 :\(giftPoolMap.count)", context: "MWGiftPoolManager")}
方便后续从礼物池中直接读取礼物模型。
结语
在本篇博客中,我们探讨了直播应用中礼物面板的核心架构设计,以及如何通过礼物池实现高效的数据加载与更新。这种基于本地缓存和远程更新机制的方案,不仅提升了应用的响应速度,还有效降低了网络请求对性能的影响。
然而,礼物池只是整个礼物实现的一部分,为了真正的完成礼物展示,还需要处理礼物面板的数据解析,动态筛选,以及与礼物池的高效匹配。在下一篇博客中,我们将深入解析礼物面板的实现细节。
相关文章:

高效处理 iOS 应用中的大规模礼物数据:以直播项目为例(1-礼物池)
引言 在现代iOS应用开发中,处理大规模数据是一个常见的挑战。尤其实在直播项目中,礼物面板作为展示用户互动的重要部分,通常需要实时显示海量的礼物数据。这些数据不仅涉及到不同的区域、主播的动态差异,还需要保证高效的加载与渲…...
python的函数与递归
需求: 编写一个函数,计算斐波那契数列的第 N 项,并使用递归实现。 为了计算斐波那契数列的第 N 项,可以使用递归方法。斐波那契数列的定义是: F(0) 0 F(1) 1 对于 n > 2,F(n) F(n-1) F(n-2)…...

RabbitMQ学习-Seven
再SpringBoot中使用MQ 1.创建SpringBoot项目 除了我们平常使用的一些工具依赖,还需要选择这个Spring for RabbitMQ依赖 2.需要在application.yml文件中进行配置 server:port :9090 spring:application:name:producerrabbitmq:host: 你的主机名port: 5672virtual-…...

中科亿海微SoM模组——波控处理软硬一体解决方案
本文介绍的波控处理软硬一体解决方案主要是面向相控阵天线控制领域,波控处理通过控制不同天线组件的幅相来调整天线波束的方向和增益,实现高精度角度控制和高增益。本方案由波控处理板、波控处理控制软件算法和上位机软件共同构成。波控处理SoM模组原型样…...
开源法律、政策和实践
#一切皆可开源# 木兰社区对《Open Source Law,Policy and Practice 》这本书的第二版进行了翻译,并发布在了gitee上。这本书是对开源文化、开源政策、法律的全面介绍。目录如下: 1 Open Source as Philosophy,Methodology,and CommerceUsing Law with …...

【计算视觉算法与应用】金字塔,下采样Gaussian Pyramid. 上采用 Laplacian Pyramid (code: py)
金字塔(Pyramid)在图像处理中主要用于多尺度分析和图像压缩。常见的图像金字塔有两种: 高斯金字塔(Gaussian Pyramid):用于下采样图像,生成分辨率逐渐降低的图像序列。拉普拉斯金字塔ÿ…...

基于BERT的语义分析实现
✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨ 🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢,在这里我会分享我的知识和经验。&am…...

DNS查询工具
DNS查询工具是用于查询和获取域名相关信息的工具。通过这些工具,您可以获取到诸如IP地址、邮件服务器以及域名服务器等信息,这对于排查问题、设置域名配置以及确保网站正常运行都非常重要。 以下是五款常用的DNS记录查询工具: MxToolbox MxTo…...

ODB 框架
目录 概述 基本工作原理 映射C对象到数据库表 从数据库中加载对象 持久化C对象到数据库 ODB常用接口 表创建预处理 #pragma db Object table 数据表属性 id auto column(“xxx”) type("xxx") unique index null default&…...
Ubuntu WiFi检测
ubuntu检测到多个同名wifi,怎么鉴别假冒的wifi? 在Ubuntu中,如果检测到多个同名的Wi-Fi网络,可能存在假冒的Wi-Fi(例如“蜜罐”攻击)。以下是一些鉴别假冒Wi-Fi的方法: 检查信号强度:…...
QILSTE H4-108TCG高亮纯lu光LED灯珠 发光二极管LED
型号:H4-108TCG 在电子领域,H4-108TCG LED以其卓越的性能和微小的尺寸1.6x0.8x0.4mm脱颖而出。这款高亮纯绿光LED,采用透明平面胶体,符合EIA标准包装,是环保产品,符合ROHS标准。防潮等级为Level 3…...

IP与“谷子”齐飞,阅文“乘势而上”?
爆火的“谷子经济”,又捧出一只“潜力股”。 近日,阅文集团股价持续上涨,5日累计涨幅达13.20%。这其中,周三股价一度大涨约15%至29.15港元,强势突破20日、30日、120日等多根均线,市值突破280亿港元关口。 …...

Java阶段三05
第3章-第5节 一、知识点 动态代理、jdk动态代理、cglib动态代理、AOP、SpringAOP 二、目标 理解什么是动态代理和它的作用 学会使用JAVA进行动态代理 理解什么是AOP 学会使用AOP 理解什么是AOP的切入点 三、内容分析 重点 理解什么是动态代理和它的作用 理解什么是AO…...

C# yield 关键字
文章目录 前言一、yield 关键字的语法形式及使用场景(一)yield return(二)yield break 二、yield 关键字的工作原理三、yield 关键字的优势与应用场景(一)优势(二)应用场景 前言 在 …...

SpringBoot开发——结合Nginx实现负载均衡
文章目录 负载均衡介绍介绍Nginx实现负载均衡的示例图:负载均衡策略1.Round Robin:2.Least Connections:3.IP Hash :4.Generic Hash:5.Least Time (NGINX Plus only)6.Random:Nginx+SpringBoot实现负载均衡环境准备Nginx 配置负载均衡测试负载均衡介绍 介绍 在介绍Nginx的负…...

RabbitMQ在手动消费的模式下设置失败重新投递策略
最近在写RabbitMQ的消费者,因为业务需求,希望失败后重试一定次数,超过之后就不处理了,或者放入死信队列。我这里就达到重试次数后就不处理了。本来以为很简单的,问了kimi,按它的方法配置之后,发…...

TsingtaoAI具身智能高校实训方案通过华为昇腾技术认证
日前,TsingtaoAI推出的“具身智能高校实训解决方案-从AI大模型机器人到通用具身智能”基于华为技术有限公司AI框架昇思MindSpore,完成并通过昇腾相互兼容性技术认证。 TsingtaoAI&华为昇腾联合解决方案 本项目“具身智能高校实训解决方案”以实现高…...

【Linux】线程池设计 + 策略模式
🌈 个人主页:Zfox_ 🔥 系列专栏:Linux 目录 一:🔥 线程池 1-1 ⽇志与策略模式1-2 线程池设计1-3 线程安全的单例模式1-3-1 什么是单例模式1-3-2 单例模式的特点1-3-3 饿汉实现⽅式和懒汉实现⽅式1-3-4 饿汉…...

网络原理(一):应用层自定义协议的信息组织格式 HTTP 前置知识
目录 1. 应用层 2. 自定义协议 2.1 根据需求 > 明确传输信息 2.2 约定好信息组织的格式 2.2.1 行文本 2.2.2 xml 2.2.3 json 2.2.4 protobuf 3. HTTP 协议 3.1 特点 4. 抓包工具 1. 应用层 在前面的博客中, 我们了解了 TCP/IP 五层协议模型: 应用层传输层网络层…...

Python-链表数据结构学习(1)
一、什么是链表数据? 链表是一种通过指针串联在一起的数据结构,每个节点由2部分组成,一个是数据域,一个是指针域(存放下一个节点的指针)。最后一个节点的指针域指向null(空指针的意思࿰…...

大数据零基础学习day1之环境准备和大数据初步理解
学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 (1)设置网关 打开VMware虚拟机,点击编辑…...
Device Mapper 机制
Device Mapper 机制详解 Device Mapper(简称 DM)是 Linux 内核中的一套通用块设备映射框架,为 LVM、加密磁盘、RAID 等提供底层支持。本文将详细介绍 Device Mapper 的原理、实现、内核配置、常用工具、操作测试流程,并配以详细的…...

均衡后的SNRSINR
本文主要摘自参考文献中的前两篇,相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程,其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线, n r n_r nr 根接收天线的 MIMO 系…...

七、数据库的完整性
七、数据库的完整性 主要内容 7.1 数据库的完整性概述 7.2 实体完整性 7.3 参照完整性 7.4 用户定义的完整性 7.5 触发器 7.6 SQL Server中数据库完整性的实现 7.7 小结 7.1 数据库的完整性概述 数据库完整性的含义 正确性 指数据的合法性 有效性 指数据是否属于所定…...
MinIO Docker 部署:仅开放一个端口
MinIO Docker 部署:仅开放一个端口 在实际的服务器部署中,出于安全和管理的考虑,我们可能只能开放一个端口。MinIO 是一个高性能的对象存储服务,支持 Docker 部署,但默认情况下它需要两个端口:一个是 API 端口(用于存储和访问数据),另一个是控制台端口(用于管理界面…...

Proxmox Mail Gateway安装指南:从零开始配置高效邮件过滤系统
💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「storms…...
LangFlow技术架构分析
🔧 LangFlow 的可视化技术栈 前端节点编辑器 底层框架:基于 (一个现代化的 React 节点绘图库) 功能: 拖拽式构建 LangGraph 状态机 实时连线定义节点依赖关系 可视化调试循环和分支逻辑 与 LangGraph 的深…...

sshd代码修改banner
sshd服务连接之后会收到字符串: SSH-2.0-OpenSSH_9.5 容易被hacker识别此服务为sshd服务。 是否可以通过修改此banner达到让人无法识别此服务的目的呢? 不能。因为这是写的SSH的协议中的。 也就是协议规定了banner必须这么写。 SSH- 开头,…...

数据结构第5章:树和二叉树完全指南(自整理详细图文笔记)
名人说:莫道桑榆晚,为霞尚满天。——刘禹锡(刘梦得,诗豪) 原创笔记:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊) 上一篇:《数据结构第4章 数组和广义表》…...
TMC2226超静音步进电机驱动控制模块
目前已经使用TMC2226量产超过20K,发现在静音方面做的还是很不错。 一、TMC2226管脚定义说明 二、原理图及下载地址 一、TMC2226管脚定义说明 引脚编号类型功能OB11电机线圈 B 输出 1BRB2线圈 B 的检测电阻连接端。将检测电阻靠近该引脚连接到地。使用内部检测电阻时,将此引…...