DP 203 学习笔记
考试内容总览
| Learning Objects: | 工具 |
| Designing and implementing data storage | 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store in to multiple shards。分块技术提高效率 3. Serving Layer |
| Designing and developing data processing | 1. Investing and transforming data Transform data: Apache Spark和SQL Transform feature: Azure Data Factory(ADF) 可以从storage A导入数据，transform，存入storage B； Azure Synapse Pipelines是ADF的子集，集成在Azure Synapse Analytics里； Stream Analytics老，用SQL语句 2. Batch Processing Azure Data Factory(ADF) Azure Synapse Pipelines Azure Databricks Azure Data Lake Storage Gen2(ADLS2) 3. Stream Processing Stream Analytics Azure Databricks Azure Event Hubs 4. Manage batches and Pipelines Azure Data Factory(ADF) Azure Synapse Pipelines |
| Designing and implementing data security | 加密等等 |
| Monitoring and optimizing data storage and data processing | 1. Monitor Azure Monitor 2. Optimize Azure Data Factory(ADF) Azure Databricks Azure Synapse Analytics |
Storage方案
| Raw Storage | Azure Blob Storage Azure File Storage Azure Data Lake Storage Gen2 (ADLS2) |
| Relational DBs Storage | Azure SQL Database Azure DB for MySQL Azure DB for MariaDB Azure DB for PostgreSQL |
| NoSQL DBs | Azure Cosmos DB Azure Cache for Redis |
相关文章：
DP 203 学习笔记
考试内容总览 Learning Objects: 工具 Designing and implementing data storage 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store …...
SQLite 事务
SQLite 事务 SQLite 是一种轻量级的数据库管理系统，广泛用于各种应用程序中，特别是在移动设备和嵌入式系统中。它支持标准的 SQL 语法，包括事务处理。事务是数据库管理系统中的一个重要概念，它允许将一系列操作作为一个单独的工作单元来处理，以确保数据库的一致性和可靠性…...
LabVIEW和Alicat Scientific质量流量计实现精确流量控制
在现代工业自动化和科研实验中，精确的气体流量控制至关重要。这里将介绍一个使用LabVIEW与Alicat Scientific公司的质量流量计实现流量控制的项目。项目采用Alicat Scientific的质量流量计（型号：M-200SCCM-D），通过LabV…...
2024-07-19 Unity插件 Odin Inspector10 —— Misc Attributes
文章目录 1 说明2 其他特性2.1 CustomContextMenu2.2 DisableContextMenu2.3 DrawWithUnity2.4 HideDuplicateReferenceBox2.5 Indent2.6 InfoBox2.7 InlineProperty2.8 LabelText2.9 LabelWidth2.10 OnCollectionChanged2.11 OnInspectorDispose2.12 OnInspectorGUI2.13 OnIns…...
Go操作Redis详解
文章目录 Go操作Redis详解来源介绍Redis支持的数据结构Redis应用场景Redis与Memcached比较准备Redis环境go-redis库 安装连接普通连接连接Redis哨兵模式连接Redis集群基本使用set/get示例zset示例Pipeline事务WatchGo操作Redis详解 来源 https://www.liwenzhou.com/posts/Go/…...
钡铼Modbus TCP耦合器BL200实现现场设备与SCADA无缝对接
前言 深圳钡铼技术推出的Modbus TCP耦合器为SCADA系统与现场设备之间的连接提供了强大而灵活的解决方案，它不仅简化了设备接入的过程，还提升了数据传输的效率和可靠性，是工业自动化项目中不可或缺的关键设备。本文将从Modbus TC、SCADA的简要…...
数据分析入门：用Python和Numpy探索音乐流行趋势
一、引言 音乐是文化的重要组成部分，而音乐流行趋势则反映了社会文化的变迁和人们审美的变化。通过分析音乐榜单，我们可以了解哪些歌曲或歌手正在受到大众的欢迎，甚至预测未来的流行趋势。Python作为一种强大的编程语言，结合其丰…...
数仓工具—Hive语法之替换函数和示例
Hive 替换函数和示例 默认情况下，并没有可用的 Hive 替换函数。如果在处理字符串时需要替换特定值，例如垃圾值，字符串操作函数替换是非常需要的。在本文中，我们将检查 Hive 替换函数 的替代方法，以便在需要时使用。 如前所述，Apache Hive 不提供替换函数的支持。但是，…...
[SUCTF 2019]EasySQL1
这是一个简单的SQL注入题，但是因为我的SQL基础约等于0，所以做起来很难。 首先试试引号是否被过滤 可以看到单引号、双引号都被过滤了，试试其他的盲注都不行，基本上可以确定不能用这种方法。 在测试的过程中发现，输入…...
elasticsearch, kibana, 6.8.18 版本下的创建索引，指定timestamp，java CRUD，maven版本等
ELK 这一套的版本更迭很快， 而且es常有不兼容的东西出现， 经常是搜一篇文章，看似能用，拿到我这边就不能用了。 很是烦恼。 我这边的ELK版本目前是 6.8.18，这次的操作记录一下。 （涉密内容略有删改…...
无人机侦察：二维机扫雷达探测设备技术详解
二维机扫雷达探测设备采用机械扫描方式，通过天线在水平方向和垂直方向上的转动，实现对目标空域的全方位扫描。雷达发射机发射电磁波信号，遇到目标后产生反射，反射信号被雷达接收机接收并处理，进而得到目标的位置、速度…...
未来互联网的新篇章：深度解析Web3技术
随着技术的飞速发展，Web3作为新一代互联网技术范式，正在重新定义我们对互联网的认知和使用方式。本文将深入探讨Web3技术的核心概念、关键特征以及其在未来互联网发展中的潜力和影响，为读者打开Web3时代的大门。 Web3技术的核心概念和特征 1…...
vst 算法R语言手工实现 | Seurat4 筛选高变基因的算法
1. vst算法描述 （1）为什么需要矫正 image source: https://ouyanglab.com/singlecell/basic.html In this panel, we observe that there is a very strong positive relationship between a gene’s average expression and its observed variance. I…...
阿里通义千问大模型Qwen2-72B-Instruct通用能力登顶国内第一！
前言： 中国互联网协会副秘书长裴玮近日在2024中国互联网大会上发布《中国互联网发展报告(2024)》。《报告》指出， 在人工智能领域，2023年我国人工智能产业应用进程持续推进，核心产业规模达到5784亿元。 截至2024年3月ÿ…...
CH04_依赖项属性
第4章：依赖项属性 本章目标 理解依赖项属性理解属性验证 依赖项属性 属性与事件是.NET抽象模型的核心部分。WPF使用了更高级的依赖项属性（Dependency Property）功能来替换原来.NET的属性，实现了更高效率的保存机制…...
CentOS 7开启SSH连接
1. 安装openssh-server 1.1 检查是否安装openssh-server服务 yum list installed | grep openssh-server如果有显示内容，则已安装跳过安装步骤，否则进行第2步 1.2 安装openssh-server yum install openssh-server2. 开启SSH 22监听端口 2.1 打开ssh…...
代理伺服器分類詳解
代理伺服器的主要分類 代理伺服器可以根據不同的標準進行分類。以下是幾種常見的分類方式： 按協議分類按匿名性分類按使用場景分類 1. 按協議分類 根據支持的協議類型，代理伺服器可以分為以下幾類： HTTP代理：專門用於處理HTT…...
计数，桶与基数排序
目录 一. 计数排序 概念 步骤思路如下 实现代码如下 时间复杂度与空间复杂度 1. 时间复杂度 2. 空间复杂度 计数排序的特点 二. 桶排序 概念 步骤思路如下 实现代码如下 时间复杂度与空间复杂度 1. 时间复杂度 2. 空间复杂度 桶排序的特点 三. 基数排序 概念 步…...
unity渲染人物模型透明度问题
问题1：有独立的手和衣服的模型，但最终只渲染出来半透明衣服 问题2：透明度贴图是正确的但显示却不正确 这上面两个模型的问题都是因为人物模型是一个完整的，为啥有些地方可以正常显示，有些地方透明度却有问题。 其中…...
CH03_布局
第3章：布局 本章目标 理解布局的原则理解布局的过程理解布局的容器掌握各类布局容器的运用 理解 WPF 中的布局 WPF 布局原则 WPF 窗口只能包含单个元素。为在WPF 窗口中放置多个元素并创建更贴近实用的用户男面，需要在窗口上放置一个容器&#x…...
MongoDB学习和应用(高效的非关系型数据库)
一丶 MongoDB简介 对于社交类软件的功能，我们需要对它的功能特点进行分析： 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具： mysql：关系型数据库&am…...
Docker 运行 Kafka 带 SASL 认证教程
Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明：server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...
为什么需要建设工程项目管理？工程项目管理有哪些亮点功能？
在建筑行业，项目管理的重要性不言而喻。随着工程规模的扩大、技术复杂度的提升，传统的管理模式已经难以满足现代工程的需求。过去，许多企业依赖手工记录、口头沟通和分散的信息管理，导致效率低下、成本失控、风险频发。例如&#…...
Nuxt.js 中的路由配置详解
Nuxt.js 通过其内置的路由系统简化了应用的路由配置，使得开发者可以轻松地管理页面导航和 URL 结构。路由配置主要涉及页面组件的组织、动态路由的设置以及路由元信息的配置。 自动路由生成 Nuxt.js 会根据 pages 目录下的文件结构自动生成路由配置。每个文件都会对…...
学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1
每日一言 生活的美好，总是藏在那些你咬牙坚持的日子里。 硬件：OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写，"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...
UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中，UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：
根据万维钢精英日课6的内容，使用AI（2025）可以参考以下方法： 四个洞见 模型已经比人聪明：以ChatGPT o3为代表的AI非常强大，能运用高级理论解释道理、引用最新学术论文，生成对顶尖科学家都有用的…...
AI病理诊断七剑下天山，医疗未来触手可及
一、病理诊断困局：刀尖上的医学艺术 1.1 金标准背后的隐痛 病理诊断被誉为"诊断的诊断"，医生需通过显微镜观察组织切片，在细胞迷宫中捕捉癌变信号。某省病理质控报告显示，基层医院误诊率达12%-15%，专家会诊…...
C++.OpenGL （20/64）混合（Blending）
混合（Blending） 透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...
R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中，科研绘图是必不可少的，一张好看的图形会是文章很大的加分项。 为了便于使用，本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中，获取方式： R 语言科研绘图模板 --- sciRplothttps://mp.…...