当前位置: 首页 > news >正文

【系统架构设计】数据库系统(三)

数据库系统(三)

  • 数据库模式与范式
  • 数据库设计
  • 备份与恢复
  • 分布式数据库系统
    • 分布式数据库的概念
      • 特点
      • 分类
      • 目标
    • 分布式数据库的架构
    • 分布式数据库系统与并行数据库系统
  • 数据仓库
  • 数据挖掘
  • NoSQL
  • 大数据

数据库模式与范式

数据库设计

备份与恢复

分布式数据库系统

分布式数据库的概念

分布式数据库(Distributed DataBase ,DDB)是由一组数据组成的,这组数据分布在计算机网络的不同计算机上,网络中的每个结点具有独立处理的能力,成为场地自治,它可以执行局部应用,同时,每个结点也能通过网络通信子系统执行全局应用。

负责分布式数据库的建立、查询、更新、复制、管理和维护的软件,称为分布式数据库管理系统(Distributed DataBase Management System ,DDBMS),该系统保证分布式数据库中数据的物理分布对用户的透明性。

一个计算机网络组成的计算机系统,在配置了分布式数据库管理系统,并在其上建立了分布式数据库和相应的应用程序后,就称其为分布式数据库系统(Distributed DataBase System ,DDBS)。分布式数据库管理系统是分布式数据库系统的核心。

ps: 数据库 是一个数据集合,侧重数据;数据库管理系统是一个数据库软件,如MySQL,侧重数据软件;数据系统是整合管理系统和数据库和应用软件的完整系统,侧重数据应用软件

特点

分布式数据库系统DDBS的特点如下:

  1. 数据的分布性
  2. 统一性
  3. 透明性

与集中式数据库相比,分布式数据库具有下列优点:

  1. 坚固性好。即系统的可靠性和可用性好
  2. 可扩充性好。
  3. 可改善性能。在分布式数据库中可按就近分布,合理地冗余的原则来分布各结点上数据,构造分布式数据库,使大部分数据可以就近访问,避免集中式数据库中的瓶颈问题,减少系统的响应时间,提高系统的效率,而且降低通信费用。
  4. 自治性好。系统中各结点的数据操作和相互作用是高度自治的,不存在主从控制。

虽然分布式数据库系统与集中式数据库相比有不少优点,但同时也需要解决一些集中式数据库所没有的问题:

  1. 异构数据库的集成问题是一项比较复杂的技术问题,目前还很难用一个通用的分布式数据库管理系统来解决这个问题;
  2. 数据库如果设计得不好,数据分布不合理,以致远距离访问过多,尤其是分布连接操作过多,不但不能改善性能,反而会使性能降低。

分类

  1. 按DDBMS软件同构度来分 :当所有服务器软件和所有客户软件均用相同的软件时称为同构型分布式数据库,反之则称为异构型分布式数据库
  2. 按局部自治度来分:当对DDBMS的存取必须通过客户软件,则系统称为无局部自治;当局部事务允许对服务器软件进行直接存取,则系统称为有一定的局部自治.
  3. 按分布透明度来分,分布透明度的另一个概念时模式集成度:若用户可以对集成模式操作不需要涉及任何片段、重复、分布等信息时,则这类DDBMS称为有高度分布透明(或高度模式集成);若用户必须知道所有关于片段、分配、重复等信息时,则这类DDBMS没有分布透明,没后模式集成度。

客户软件是一种以客户为中心的企业办公软件。

目标

有12条具体规则和目标:

  • 局部结点自治性
  • 不依赖中心结点,即每个结点具有全局字典管理、查询处理、并发控制和恢复控制等功能。
  • 能连续操作。即新场地新增和分离,都不需要中止现有的,可以动态操作。
  • 具有位置独立性(或称位置透明性)。即用户不必知道数据的物理存储地,就像集中分布一样处理。
  • 分片独立性(或称分片透明性)。分布式系统如果可将给定关系分成若干块或片,可提高系统的处理性能,利用分片将数据存储在最频繁使用它的位置上,使大部分操作为局部操作,减少网络的信息流量。
  • 数据复制独立性。即将给定的关系,可在物理级用许多不同存储副本或复制品在许多不同场地上存储。
  • 支持分布式查询处理
  • 支持分布事务管理。即在分布式系统中必须保证事务的代理集全部一致交付,或者全部一致回滚。
  • 具有硬件独立性。即希望在不同硬件系统上运行同样的DBMS。
  • 具有操作系统独立性。即希望在不同操作系统上运行DBMS。
  • 具有网络独立性。即能支持各种不同的通信网络。
  • 具有DBMS独立性。实现对异构型分布式系统的支持。

分布式数据库的架构

分布式数据库系统的模式结构有6个层次:
在这里插入图片描述

  • 全局外模式:是全局应用的用户视图,是全局概念模式的子集。
  • 全局概念模式:定义分布式数据库中数据的整体逻辑结构。
  • 分片模式:每个全局关系可以划分为若干不相交的部分,每部分就是一个片段,即“数据分片”。
  • 分布模式:由数据分片得到的片段依旧是DDB的全局数据,是全局关系的逻辑部分,每个分段在物理上可以分配到网络的一个或多个不同结点上,分布模式定义片段的存放结点分布模式的映像类型确定了分布式数据库是冗余还是非冗余的,若映像是一对多的,即一个片段分配到多个结点上存放,则是冗余的分布数据库,否则是不冗余的分布数据库。

ps:分片模式和分步模式均是全局的,分布式数据库系统中增加的这些模式和相应的映像使分布式数据库系统具有了分布透明性。

  • 局部概念模式:一个全局关系经逻辑划分成一个或多个逻辑片段,每个逻辑片段被分配在一个或多个场地上,称为该逻辑片段在某场地上的物理映像或物理片段 。分配在同一场地上的同一全局概念模式的若干片段(物理片段)构成了该全局概念在该场地上的一个物理映像。一个场地上的局部概念模式就是该场地上所有全局概念在该场地上物理映像的集合。因此,全局概念模式与场地独立,而局部概念模式与场地相关
  • 局部内模式:是DDB中关于物理数据库的描述,类似集中式DB中的内模式,但其描述内容不仅包含局部本场地的数据的存储描述,还包括全局数据在本场地的存储描述。

这种分层的模式结构为理解DDB提供了一种通用的概念结构,有三个显著的特征

  1. 数据分片和数据分配概念的分离,形成了“数据分布独立型”概念;
  2. 数据冗余的显示控制。数据在各个场地的分配情况在分配模式中一目了然,便于系统管理;
  3. 局部DBMS的独立性。这个特征也称为“局部映射透明性”,允许在不考虑局部DBMS专用数据模型的情况下研究DDB管理的有关问题。

分布式数据库系统与并行数据库系统

两者有很多相似点:都是通过网络连接各个数据处理结点的,整个网络中的所有结点构成一个逻辑上统一的整体,用户可以对各个结点上的数据进行透明存取等

区别主要在以下几方面:

  1. 应用目标不同。并行数据库系统的目标是充分发挥并行计算机的优势,利用系统中的各个处理机结点并行地完成数据库任务,提高数据库的整体性能。分布式数据库系统主要目的在于实现各个场地自治和数据的全局透明共享,而不要求利用网络中的各个结点来提高系统的整体性能。
  2. 实现方式不同。在并行数据库中,为了充分发挥各个结点的处理能力,各结点间采用高速通信网络互联,结点间数据传输代价相对较低。当负载不均衡时,可以将工作负载过大的结点上的任务通过高速通信网络送给空闲结点处理,从而实现负载平衡。在分布式数据库系统中,各节点(场地)间一般通过局域网或广域网互联,网络带宽比较低,各场地间的通信开销大,因此在查询处理时一般应该尽量减少结点间的数据传输量。
  3. 各结点地位不同。在并行数据库中,各结点间不存在全局应用和局部应用的概念,各个结点协同合作,共同处理,而不可能有局部应用。在分布式数据库中,各结点除了能通过网络协同完成全局事务外,还有自己结点场地的自治性,即每个场地又是一个独立的数据库系统,除了拥有自己的硬件系统(CPU、内存和磁盘等)外,还拥有自己的数据库和自己的客户,可运行自己的DBMS,执行局部应用,具有高度的自治性。这是并行数据库与分布式数据库之间最主要的区别

数据仓库

数据挖掘

NoSQL

大数据

相关文章:

【系统架构设计】数据库系统(三)

数据库系统(三) 数据库模式与范式数据库设计备份与恢复分布式数据库系统分布式数据库的概念特点分类目标 分布式数据库的架构分布式数据库系统与并行数据库系统 数据仓库数据挖掘NoSQL大数据 数据库模式与范式 数据库设计 备份与恢复 分布式数据库系统…...

免费视频批量横版转竖版

简介 视频处理器 v1.3 是一款由是貔貅呀开发的视频编辑和处理工具,提供高效便捷的视频批量横转竖,主要功能: 导入与删除文件:轻松导入多个视频文件,删除不必要的文件。暂停与继续处理:随时暂停和继续处理。…...

内存管理(知识点)

c语言与c对于内存管理的区别 c语言中动态内存管理方式 malloc\calloc\realloc\free c内存管理方式 c兼容c语言所以c语言中的方式也可以使用 但是用起来太麻烦 所以通过new和delete操作符竞选动态内存管理 单个对象 c语言: int* p2(int*)malloc(sizeof(int)) c : int*p3 new…...

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【29】Sentinel

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【29】Sentinel 简介熔断降级什么是熔断什么是降级相同点不同点 整合Sentinel自定义sentinel流控返回数据使用Sentinel来保护feign远程调用自定义资源给网关整合Sentinel参考 简介 熔断降…...

防范UDP Flood攻击的策略与实践

UDP Flood攻击是一种常见的分布式拒绝服务(DDoS)攻击手段,通过向目标服务器发送大量无效的UDP数据包,消耗其网络带宽和处理资源,最终导致合法的网络服务无法正常运行。本文将深入探讨UDP Flood攻击的原理、常见的防御策…...

昇思25天学习打卡营第17天 | CycleGAN图像风格迁移互换

通过深入学习CycleGAN模型,我对无监督图像到图像的转换技术有了更深的理解。CycleGAN不仅能在没有成对训练样本的情况下实现域之间的转换,而且在保持内容结构的同时成功转换图像风格,这在许多应用中都非常有用,如艺术风格转换、季…...

Leetcode 2520. 统计能整除数字的位数

问题描述: 给你一个整数 num ,返回 num 中能整除 num 的数位的数目。 如果满足 nums % val 0 ,则认为整数 val 可以整除 nums 。 示例 1: 输入:num 7 输出:1 解释:7 被自己整除&#xff0…...

WEB前端08-综合案例(动态表格)

使用 HTML、CSS 和 JavaScript 创建动态表格 在本教程中,我们将创建一个动态表格,允许用户添加行、选择项目,并执行批量操作,如全选或删除选中的行。我们将通过 HTML、CSS 和 JavaScript 来实现这一功能。让我们逐步了解每个部分…...

【面试题】Redo log和Undo log

Redo log 介绍Redo log之前我们需要了解一下,mysql数据操作的流程: 上述就是数据操作的流程图,可以发现sql语句并不是直接操作的磁盘而是通过操作内存,然后进行内存到磁盘的一个同步。这里我们必须要了解一些区域: 缓…...

开发实战经验分享:互联网医院系统源码与在线问诊APP搭建

作为一名软件开发者,笔者有幸参与了多个互联网医院系统的开发项目,并在此过程中积累了丰富的实战经验。本文将结合我的开发经验,分享互联网医院系统源码的设计与在线问诊APP的搭建过程。 一、需求分析 在开发任何系统之前,首先要…...

springboot系列教程(十六):配置Actuator组件,实现系统监控

一、Actuator简介 1、监控组件作用 在生产环境中,需要实时或定期监控服务的可用性。Spring Boot的actuator(健康监控)功能提供了很多监控所需的接口,可以对应用系统进行配置查看、相关功能统计等。 2、监控分类 Actuator 提供…...

单臂路由组网实验,单臂路由的定义、适用情况、作用

一、定义 单臂路由是指通过在路由器的一个接口上配置许多子接口,从而实现原来相互隔离的不同VLAN之间的互通。 子接口:把路由器上的实际的物理接口划分为多个逻辑上的接口,这些被划分的逻辑接口就是子接口。 二、适用情况 用在没有三层交换机,却要实现不同VLAN之间的互…...

【数据结构初阶】顺序表三道经典算法题(详解+图例)

Hello!很高兴又见到你了~~~ 看看今天要学点什么来充实大脑吧—— 目录 1、移除元素 【思路图解】 【总结】 2、删除有序数组中的重复项 【思路图解】 【总结】 3、合并两个有序数组 【思路图解】 【总结】 至此结束,Show Time! 1、…...

SpringBoot接入JPA连接数据库H2或MySQL例子

一,JPA相关的常用注解和对象 Entity,用于实体类声明语句之前,‌指出该Java类为实体类,‌将映射到指定的数据库表;Table,当实体类与其映射的数据库表名不同名时需要使用。‌该标注与Entity标注并列使用&…...

持续集成05--Gogs的安装与使用

前言 在持续集成/持续部署(CI/CD)的旅程中,版本控制系统是不可或缺的一环。当我们在使用jenkins,想要达到测试脚本有更新,就让项目自动去进行构建,或者当开发脚本有更新,也可以自动去构建的效果…...

C++--fill

把[first,last)之间的元素填充为val。 template<class ForwardIterator, class Type> void fill( ForwardIterator first, //起始迭代器 ForwardIterator last, //结束迭代器 const Type& val //设置的值 );源码剖析 template<class ForwardIterator, c…...

Java:对比一个对象更新前后具体被修改了哪些值

Java&#xff1a;对比一个对象更新前后具体被修改了哪些值 Zyyyyu 的个人博客 遇到一个需求就是要记录每行数据被修改更新后&#xff0c;要记录下当前值和修改前的值 那有人就会说写个if去判断值是否被修改了&#xff0c;然后记录下来不就行了&#xff0c;这是一个思路&#x…...

GO——GMP 好文整理

GMP相关好文推荐&#xff1a; Golang 调度器设计思想、GMP 协程调度模型详解 Golang的协程调度器原理及GMP设计思想 Golang调度器GMP原理与调度全分析...

园区AR导航系统构建详解:从三维地图构建到AR融合导航的实现

随着现代园区规模的不断扩大与功能的日益复杂&#xff0c;传统的二维地图导航已难以满足访客高效、精准定位的需求。园区内部错综复杂的布局、频繁变更的商户位置常常让访客感到迷茫&#xff0c;造成寻路上的时间浪费。园区AR导航系统以创新的技术手段&#xff0c;破解了私域地…...

接口测试总结(非标准)

为什么要做接口测试&#xff1f; 答&#xff1a;接口测试是为了检测系统组件间接口的正确性和稳定性&#xff0c;以及检查数据的交换、传递和控制管理过程&#xff0c;以及系统间的相互逻辑依赖关系等。接口测试可以帮助我们发现系统中的潜在问题&#xff0c;确保系统的稳定性…...

别再只用散点图了!用Seaborn的kdeplot函数,5分钟搞定双变量密度可视化

双变量密度可视化进阶指南&#xff1a;用Seaborn解锁数据洞察新维度 当面对海量数据点时&#xff0c;传统的散点图往往变成一团模糊的噪点——这正是数据分析师在探索性分析&#xff08;EDA&#xff09;阶段最常见的可视化困境。我曾在一个电商用户行为分析项目中深有体会&…...

论文AI检测原理详解:从NLP到句法结构分析,AI怎么“识破”你的伪原创?

论文AI检测原理详解&#xff1a;从NLP到句法结构分析&#xff0c;AI怎么“识破”你的伪原创&#xff1f; “我都改了句子顺序、换了同义词&#xff0c;怎么还被检测出来了&#xff1f;” 很多论文人在经历AI查重时&#xff0c;第一次意识到&#xff1a;原来AI不是看“词”&…...

面试11-Agent如何自动接任务

一、整体场景与核心目标解释 首先&#xff0c;我们先明确这段代码要解决的核心问题&#xff1a; 在第9-10季的代码中&#xff0c;"队友代理&#xff08;teammate agent&#xff09;"只能在负责人&#xff08;lead&#xff09;明确分配任务时才工作&#xff0c;10个未…...

科技公司发Token当激励,Token到底是什么?

在科技公司的激励场景中&#xff0c;“Token”&#xff08;通证/代币&#xff09;通常是一种基于区块链技术的数字化权益凭证&#xff0c;用于代表某种特定的价值或权益。它既可以是公司内部的“数字积分”&#xff0c;也可以是与公司业务/生态绑定的“权益证明”&#xff0c;甚…...

领航追随法:车辆编队的智慧指挥官

MATLAB基于领航追随法的车辆编队控制(13)。在智能网联汽车发展的浪潮中&#xff0c;车辆编队技术逐渐成为研究热点。这种技术不仅能够提升道路通行效率&#xff0c;还能显著降低能耗&#xff0c;为未来自动驾驶的普及铺平道路。而领航追随法作为其中一种经典的编队控制方法&…...

DeepSeek-OCR-2惊艳效果:老旧印刷品(油墨不均/纸张泛黄)高保真还原

DeepSeek-OCR-2惊艳效果&#xff1a;老旧印刷品&#xff08;油墨不均/纸张泛黄&#xff09;高保真还原 1. 引言&#xff1a;当AI遇见历史文献 想象一下&#xff0c;你手里有一本泛黄的旧书&#xff0c;纸张脆弱&#xff0c;油墨已经晕染&#xff0c;字迹模糊不清。这可能是家…...

避坑指南:Kettle8.2删除组件配置最常见的5个错误及解决方法

Kettle8.2删除组件实战避坑手册&#xff1a;5个高频错误场景深度解析 在ETL工具Kettle&#xff08;现称Pentaho Data Integration&#xff09;的日常使用中&#xff0c;删除组件&#xff08;Delete&#xff09;作为数据清洗环节的核心操作模块&#xff0c;其配置准确性直接关系…...

【C#避坑实战系列文章08】C#并行处理资源瓶颈诊断:用PerformanceCounter定位CPU/内存热点,优化并行度与算法

1. 从监控到诊断&#xff1a;PerformanceCounter的进阶玩法 很多C#开发者都遇到过这样的场景&#xff1a;你的并行处理程序在服务器上跑得风生水起&#xff0c;突然某天运维同事怒气冲冲地找上门——"你们的服务又把服务器CPU吃满了&#xff01;"。你打开任务管理器&…...

魔搭社区vs HuggingFace:国内开发者下载Qwen2-7B的最快姿势

魔搭社区与HuggingFace&#xff1a;国内开发者高效获取Qwen2-7B的实战指南 当国内开发者需要获取最新开源大语言模型时&#xff0c;网络环境往往成为第一道门槛。以阿里云最新开源的Qwen2-7B模型为例&#xff0c;如何绕过下载速度慢、连接不稳定等痛点&#xff1f;本文将深度对…...

uniapp开发必看:iPhoneX底部黑条适配全攻略(附完整代码)

Uniapp开发实战&#xff1a;全面屏设备底部安全区域适配深度解析 第一次在iPhone X上测试我的Uniapp应用时&#xff0c;那个顽固的底部黑条让我彻夜难眠。作为一名经历过多次跨平台适配的老兵&#xff0c;我深知这个看似简单的问题背后隐藏着多少开发者的血泪史。今天&#xff…...