袋鼠云产品功能更新报告04期丨2023年首次,产品升级“狂飙”
新的一年我们加紧了更新迭代的速度,增加了数据湖平台EasyLake和大数据基础平台EasyMR,超40项功能升级优化。我们将继续保持产品升级节奏,满足不同行业用户的更多需求,为用户带来极致的产品使用体验。
以下为袋鼠云产品功能更新报告第四期内容,更多探索,请继续阅读。
数据湖平台
1.【元数据管理】Catalog创建
在【元数据管理】页创建一个Catalog,填写Catalog名称、Hive MetaStore、Spark Thrift。
一个Calalog只允许绑定一个Hive MetaStore,Spark Thrift用于Iceberg表创建、数据入湖转表任务,用户可以使用Calalog进行业务部门数据隔离。
2.【元数据管理】Database创建
在【元数据管理】页创建一个Database,绑定Calalog。
3.【元数据管理】Iceberg表创建
• 在【元数据管理】页创建一个创建一张Table:选择Table所在的Catalog、Database,目前只支持Iceberg湖表创建;
• 设置表普通列,支持对普通列字段设置主键,可以用作湖表的唯一标识;
• 选择普通列字段作为分区字段,支持多种转换函数,timestamp数据类型字段支持时间字段按照年、月、日和小时粒度划分区;
• 支持行组级索引设置,选择普通列作为索引字段,设置Bloom索引;
• 自定义高级参数设置。
4.【元数据管理】Iceberg表快照管理
支持快照历史管理,支持多版本间快照变更对比,支持湖表时间旅行,可一键回滚到指定数据版本。
5.【数据入湖】支持Hive转Iceberg表实现Hive表入湖
在【数据入湖】页创建一个入湖任务,选择Parquet、ORC、Avro格式Hive表进行转表入湖,一键生成湖表信息.
6.支持小文件合并、孤儿文件清理、过期快照清理
在【数据文件治理】-【任务模板】页新建任务模板,支持小文件合并、快照清理、孤儿文件清理等数据文件治理任务,支持立即支持、预约治理、周期治理多种数据治理方式。
大数据基础平台
1.【全局】使用主机名作为机器唯一标识
• EM平台产品上变更为以主机名Hostname作为唯一标识对主机进行管理;
• 主机间通信默认为IP通信,可在【平台管理】-【通信配置】页进行通信方式切换。
2.功能优化
• 告警:新建告警通道出现异常时dtalert和grafana告警通道不一致
• 告警:dtalert挂载目录与上传jar包目录不一致
• 告警:添加自定义告警通道保存后编辑上传jar包不显示
• Hadoop安全:EM开启Hadoop安全,服务未重启,直接显示开启成功
• 备份优化:EM备份管理查询优化
• redis角色获取:redis运行正常,但是角色获取信息有误,导致部署其他服务无法正确获取redis角色状态
离线开发平台
1.数据开发IDE中可限制数据查询条数
用户痛点:数据开发页面的临时运行没有限制数据结果查询条数,极端情况下有把系统磁盘打满的风险。
新增功能说明:所有SQL类型任务,运行按钮右侧新增了数据查询条数输入框,默认查询条数为1000条,上限最大值为1000000条(最高上限为配置项,可在后台配置)。
2.数据预览全局管控功能对接
数据源中心新增数据预览全局管控开关:
• 可进行子产品和项目的数据预览全局管控
• 可进行单个数据源的数据预览管控
3.FTP作为目标数据源支持4种写入模式
• append:按文件名称覆盖写入;
• overwrite:先清空目录下的文件然后写入;
• nonconflict:按文件名称查找,存在同名文件则报错,不存在同名文件则可正常写入;
• insert:文件追加写入,存在同名时通过添加后缀的方式修改新文件的文件名称;
4.运行超时中断
任务支持设置超时时间,运行时间超过此时间时后台会自动杀死。
5.数据同步通道控制页面支持配置高级参数
6.其他新增功能项
• Inceptor表接入数据地图:Inceptor已数据地图中支持元数据查询、数据脱敏、血缘展示等功能;
• 支持Flink Batch任务类型;
• HBase REST API支持数据同步读取;
• Sybase 支持数据同步读取。
7.补数据优化
• 补数据支持三种补数据模式:单任务补数据、在任务管理列表按筛选条件筛选批量任务补数据、按任务上下游关系选择多个任务补数据;
• 多个在同一依赖树但彼此之间存在断层/不直接依赖的任务,所生成的补数据实例仍将按原依赖顺序执行;
• 支持选择是否关闭重试;
• 补数据支持选择未来时间。
8.告警规则任务选择方式优化
支持按项目全选任务或按任务管理目录全选目录下任务。
9.整库同步功能优化
• 整库同步支持选择:Oracle MySQL DB2 Hive TiDB PostgreSQL ADB Doris Hana 作为整库同步目标端;
• 高级设置能查看历史配置,针对同一数据源和schema,能记录高级设置的规则内容。
10.Greenplum任务调整
• Greemplum SQL 和 Inceptor SQL 临时运行复杂SQL和包含多段SQL时运行逻辑从同步运行修改为异步运行;
• 表查询中可查看Greenplum元数据信息;
• 支持语法提示。
11.数据同步至HDFS时支持指定文件名称
用户痛点:历史写HDFS时,指定文件名实际是指定的叶子目录名称,实际无法指定文件名称。
体验优化说明:在高级配置中新增了参数strictMode,当参数值为“true”时,开启严格模式,当参数值为”false“时,开启宽松模式。严格模式下,指定叶子路径下的文件名,仅允许存在一个文件名,多并行度、断点续传将不生效。
12.创建项目只允许以英文字母开头
因部分引擎只能创建/读取以英文字母开头的schema(例如Trino),所以创建项目时项目标识限制为只允许以英文字母开头。
13.发布按钮点击逻辑优化
修改前:只有已提交的任务发布按钮才可点击。
修改后:所有状态的任务发布按钮均可点击。
14.事件任务文案调整
临时运行需要将参数值传为000000000000。
15.项目级kerberos新增提示
16.数据同步可选表范围优化
用户痛点:meta schema对应的数据源和连接用户都是控制台的,如果不限制项目里的这个数据源只能选择项目对接的这一个schema,相当于每个项目都可以通过数据同步绕过数据权限管控把集群下所有别的项目的schema的表直接同步到当前项目中用,这是一个非常大的权限漏洞。
体验优化说明:
• 过滤脏数据表;
• 针对所有meta schema所对应的数据源固定可选schema的范围仅当前项目对接的schema;
• 如果需要在当前项目同步任务里要用到其他schema,可以把其他项目的meta schema通过租户管理员授权引入当前项目里用。
17.数据同步实例运行指标展示优化
数据同步任务实例的运行日志优化了同步性能展示方式。
18.其他体验优化项
• 安全审计操作对象“脚本”修改为“临时查询”;
• for循环内网络开销调用优化。
实时开发平台
1.自定义Connector
用户痛点:随着实时产品客户的增长,各种各样的数据源插件需求不断,我们希望有开发能力的客户,可以不用等产品迭代,自行开发插件去使用产品,使产品能力越来越开放灵活。
新增功能说明:对于ChunJun尚未支持的数据源,支持上传【用户自行开发/第三方】的插件包(需符合Flink Connector的开发要求,平台不校验插件的可用性),然后在脚本模式的任务开发中使用。
2.Session模式
用户痛点:之前实时任务的调试功能,和普通任务一样走的per job模式。虽然该模式可以保障任务运行的稳定性,但是整个的提交-申请资源-运行,后端处理流程较长,不符合调试的功能场景(调试不需要持续的稳定性,但是需要快速的出结果)。
新增功能说明:调试任务以session模式运行,提高调试效率,用户需要先在控制台为实时debug分配slot资源。
3.表管理
用户痛点:之前每个实时任务的开发,都需要临时映射Flink表,开发效率较低;之前提供的Hive catalog表管理,需要用户维护Hive Metastore,对原Hive有一定的入侵。
新增功能说明:提供数栈MySQL作为Flink元数据的存储介质;提供向导和脚本两种模式维护Catalog-database-table;支持在IDE开发页面直接创建、引用Flink库表(需要已Catalog.DB.table的方式引用)。
4.数据源新增/优化
• 新增GreatDB作为FlinkSQL的维表、结果表;
• 新增HBase2.x作为FlinkSQL的结果表;
• 新增Phoenix5.x作为FlinkSQL的结果表;
• 优化Oracle数据源,新增序列管理、clob/blob长文本数据类型支持。
5.脏数据管理
用户痛点:原脏数据管理仅支持FlinkSQL任务。
新增功能说明:实时采集也支持脏数据管理。
6.功能优化
• 任务运维:新增列表过滤器,支持按状态、任务类型、责任人等过滤查询;
• 数据开发:优化任务操作相关按钮的排版;IDE输入支持自动联想;实时采集脚本模式支持注释。
数据资产平台
1.数据源
• 新增数据源支持:
Greenplum、DB2、PostgreSQL(V5.3.0)
Hive3.x(Apache)、Hive3.x(CDP)、TDSQL、StarRocks(V5.3.1)
• Meta数据源自动授权支持:
Hive3.x(Apache)、Hive3.x(CDP)(V5.3.0)
TiDB(V5.3.1)
2.数据地图
• 新增指标:指标进数据地图,作为资产平台的一类资产;
• kafka元数据优化:Kafka隐藏表结构,新增分区查询tab;
• 标签筛选优化:标签采集到的任务,之前没有根据实体进行区分,会出现标签名称相同的情况,新增功能为标签添加「所属实体」属性并在快速筛选栏增加实体筛选;
• 表标签优化:表维度进入时,显示「表标签」,其他维度显示「标签」;各个维度打的标签相互隔离,从不同维度进入时,不再能看到全部标签。
3.API血缘
实现了表到API、API到API的血缘链路打通。
4.指标/标签血缘
本期把指标标签内部的血缘关系先拿到资产进行展示,下一期会实现表到指标、表到标签的血缘关系。
5.血缘优化
• 血缘解析新增truncate关键词:当表发生trancate数据清空时,表与表之间、表与任务之间的血缘关系需要删除;
• 排除自身到自身的血缘以及重复展示的血缘;
• 解决线段与表相互覆盖问题:直角的血缘流向线段改为弯曲的灰色线;支持拖动;高亮当前覆盖或点击的表的流入和流出。
6.数据文件治理
将离线侧的数据文件治理迁移到资产侧的数据治理模块并进行优化和兼容,治理规则包括周期治理和一次性治理。
7.数据文件治理优化调整
• 周期治理「选择项目」改为「选择数据源」,治理范围为可选的meta数据源,下拉框排序按照时间进行倒序;
• 一次性治理「选择项目」改为「选择数据源」,治理范围为可选的meta数据源下的Hive表;
• 小文件治理的时间如果超过3小时则治理失败,超时的时间条件改为可配置项,可由配置文件支持,默认为3小时;
• 占用存储的统计目标由一个分区/表改为一个文件。
8.元数据同步取消初始化流程
用户痛点:V5.2合并改造,元数据同步与数据源管理功能拆分之前,原有逻辑是在引入数据源后会先进行初始化,初始化完成后会一次性拿到所有库表名称,进行元数据同步时再去查拿到的库表信息,这将占据较多的资源和存储,并导致存在较多无用数据,如资产盘点加载数据慢等问题。
体验优化说明:取消数据源引入之后的初始化流程,在元数据同步时实时查询数据源内库表信息。
9.元数据中心耦合关系优化
• 增量SQL优化:目前元数据中心的定位基础元数据中心,可以支持单独部署,但是现在增量SQL无法支持;
• 产品权限优化:某个客户有资产权限,在指标侧调用元数据中心的数据模型没问题,但是客户如果没有资产权限,调用元数据中心的数据模型就会提示没有权限。
10.数据源插件优化
• 同步全部库表参数,实际库表发生变化,不传参数,数据源插件实时去查库表名称;
• binlog关闭后重新开启:脚本已停止,没有被重新唤起,再次开启时需要自动唤起。
11.功能优化
• 脏数据:管理默认存储实效为90天,全局提示对应修改,脏数据管理范围针对当前项目;
• 词根匹配准确率提高:界面上增加的词根、标准需要加入分词器,解决了字段中文名按照分词去匹配,出现某些情况下无法匹配的问题。
客户数据洞察平台
1.证券、银行、保险标签体系demo集成
进入标签平台,通过弹窗进行demo体验,也可通过平台首页上方查看demo按钮进入平台体验demo。
2.【标签管理】支持配置自定义属性
用户痛点:目前标签创建时的信息是固定的,除了一些通用的属性,不同行业客户对标签的元数据信息各有不同,如银行客户有定义标签金融安全等级的需求,但这个属性不适配基金、零售客户,所以要通过标签自定义属性来实现。
新增功能说明:
• 在「标签元数据」页面设置自定义属性,并可在列表页查看通用属性和自定义属性的元数据信息;
• 通用属性中增加标签责任人、业务口径、技术口径字段;
• 自定义的属性用于后续创建标签时进行属性设置。
3.【项目管理】移除标签责任人等时指定交接人
【项目管理】移除标签责任人、任务责任人、告警接收人、群组订阅人时指定交接人。
4.【项目管理】Hive表和HBase表支持自定义生命周期
• 支持对标签大宽表进行生命周期设置,超期数据可全部删除,也可保留每个周期的特定时间的数据;
• 保存的标签群组可设置生命周期,超期数据可全部删除,也可保留每个周期的特定时间的数据;
• 存储为物理表的管理科设置生命周期,超期数据可全部删除,也可保留每个周期的特定时间的数据。
5.数据同步功能优化
• Rowkey预分区功能优化:hbase表默认设置预分区,且分区数量 = 30,去除作业并发数对分区计算产生的影响;
• 作业并发数优化:作业并发数输入限制调整为1-100,满足业务更多的数据同步效率需要;
• 支持设置允许的脏数据条数:当产生的脏数据条数超过设置的阈值时,作业停止同步、置为失败;设置为0或空时,表示不允许有脏数据出现。
6.【标签API】支持不指定业务日期查询标签结果
用户痛点:标签API查询数据的过程中,可能存在因数据同步任务尚未完成导致API无法查询到指定的最新业务日期数据的情况,此时会造成业务阻塞,为不影响业务正常运行,需要对Hbase数据做降级备份处理。
体验优化说明:hbase中将备份存储一份同步成功的最新业务日期的最近一次同步成功数据。
API传参时,业务日期调整为非必填项:
(1)指定业务日期,系统将返回对应业务日期的数据;
(2)未指定业务日期,系统将返回备份数据。
7.功能优化
SQL优化:数字开头的schema读取问题优化;
标签目录:标签可以挂在父目录和子目录下;
API调用:增加pageNo字段。
指标管理分析平台
1.【指标管理】支持生命周期设置
指标hive表支持生命周期设置;
指标API支持生命周期设置。
2.【指标管理】支持批量发布
支持批量发布未发布、已下线状态的非自定义SQL指标,发布成功后,可在指标市场中查询到此指标。
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn
同时,欢迎对大数据开源项目有兴趣的同学加入我们,一起交流最新开源技术信息,号码:30537511,项目地址:https://github.com/DTStack
相关文章:
袋鼠云产品功能更新报告04期丨2023年首次,产品升级“狂飙”
新的一年我们加紧了更新迭代的速度,增加了数据湖平台EasyLake和大数据基础平台EasyMR,超40项功能升级优化。我们将继续保持产品升级节奏,满足不同行业用户的更多需求,为用户带来极致的产品使用体验。 以下为袋鼠云产品功能更新报…...
如何在Power Virtual Agents中使用Power Automate
今天我们来介绍一下如何在Power Virtual Agents中使用PowerAutomate。我们以通过在PVA聊天机器人的对话框中输入“发布通知”后会把预设好的通知信息自动发布到Teams中的某个团队中为例。首先进入PVA聊天机器人编辑界面后选择“主题”-“新建主题”。 在“新建主题”中添加“触…...
BXC6332A第二代智能头盔方案助力电动车市场,为安全保驾护航
随着2020年6月1日起,公安部交管局在全国开展“一盔一带”安全守护行动,摩托车、电动车驾驶人乘车人按照规定正确使用头盔,是保障司乘安全的一道重要屏障,据统计,摩托车、电动自行车驾乘人员死亡事故中约80%为颅脑损伤致…...
浮点数值计算精度丢失问题剖析及解决方法
文章目录1、原因分析2、解决方法2.1、Java中使用 BigDecimal 类2.2、JavaScript 中解决计算精度丢失的问题3、使用建议1、原因分析 首先我们来看个反直觉的浮点数值计算 System.out.println(0.3*3);有的同学可能要问为啥不是0.9? 首先要知道为什么会产生这个问题…...
字符串匹配 - 模式预处理:朴素算法(Naive)(暴力破解)
朴素的字符串匹配算法又称为暴力匹配算法(Brute Force Algorithm),最为简单的字符串匹配算法。算法简介朴素的字符串匹配算法又称为暴力匹配算法(Brute Force Algorithm),它的主要特点是:没有预…...
CVE-2021-42278 CVE-2021-42287域内提权漏洞
漏洞介绍2021 年 11 月 9 日,国外研究员在推特上发布了AD相关的 CVE,CVE-2021-42278 & CVE-2021-42287 ,两个漏洞组合可导致域内普通用户权限提升至域管权限。CVE-2021-42278:是一个安全绕过漏洞,允许通过修改机器…...
关于IcmpSendEcho2的使用和回调问题
由于我的需求是短时间内ping多台机子,所以需要异步执行,微软提供的例子是同步方式的,根据微软官方提供的icmpSendEcho2 函数的信息 ,我需要定义一个空的宏PIO_APC_ROUTINE_DEFINED ,定义完之后,编译又出现…...
XQuery 术语
在 XQuery 中,有七种节点:元素、属性、文本、命名空间、处理指令、注释、以及文档节点(或称为根节点)。 XQuery 术语 节点 在 XQuery 中,有七种节点:元素、属性、文本、命名空间、处理指令、注释、以及文…...
会议论文分享-Security22-状态感知符号执行
Ferry: State-Aware Symbolic Execution for Exploring State-Dependent Program Paths1.引言2.问题陈述与分析2.1.实现状态感知符号执行的挑战2.2.真实程序的特征2.3.Ferry的模型2.3.1.程序状态的定义2.3.2.状态描述变量的特征3.Design3.1.Overview of Ferry3.2.状态描述变量识…...
吴恩达深度学习笔记(八)——卷积神经网络(上)
一、卷积相关 用一个ff的过滤器卷积一个nn的图像,假如padding为p,步幅为s,输出大小则为: [n2p−fs1][n2p−fs1][\frac{n2p-f}{s}1][\frac{n2p-f}{s}1][sn2p−f1][sn2p−f1] []表示向下取整(floor) 大部分深度学习…...
14 基数排序(桶排序)
文章目录1 基数排序基本思想2 基数排序的代码实现2.1 java2.2 scala3 基数排序总结1 基数排序基本思想 1) 基数排序(radix sort)属于“分配式排序”(distribution sort),又称“桶子法”(bucket sort&#…...
汉明距离Java解法
两个整数之间的 汉明距离 指的是这两个数字对应二进制位不同的位置的数目。 给你两个整数 x 和 y,计算并返回它们之间的汉明距离。 例: 输入:x 1, y 4 输出:2 解释: 1 (0 0 0 1) 4 (0 1 0 0) ↑ ↑ 上…...
Netty服务端请求接受过程源码剖析
目标 服务器启动后,客户端进行连接,服务器端此时要接受客户端请求,并且返回给客户端想要的请求,下面我们的目标就是分析Netty 服务器端启动后是怎么接受到客户端请求的。我们的代码依然与上一篇中用同一个demo, 用io.…...
金三银四春招特供|高质量面试攻略
🔰 全文字数 : 1万5千 🕒 阅读时长 : 20min 📋 关键词 : 求职规划、面试准备、面试技巧、谈薪职级 👉 公众号 : 大摩羯先生 本篇来聊聊一个老生常谈的话题————“面试”。利用近三周工作午休时间整理了这篇洋洋洒洒却饱含真诚…...
搭建Hexo博客-第4章-绑定自定义域名
搭建Hexo博客-第4章-绑定自定义域名 搭建Hexo博客-第4章-绑定自定义域名 搭建Hexo博客-第4章-绑定自定义域名 在这一篇文章中,我将会介绍如何给博客绑定你自己的域名。其实绑定域名本应该很简单的,但我当初在这上走了不少弯路,所以我觉得有…...
lightdb-sql拦截
文章目录LightDB - sql 审核拦截一 简介二 参数2.1 lightdb_sql_mode2.2 lt_firewall.lightdb_business_time三 规则介绍及使用3.1 select_without_where3.1.1 案例3.2 update_without_where/delete_without_where3.2.1 案例3.3 high_risk_ddl3.3.1 案例LightDB - sql 审核拦截…...
二进制中1的个数-剑指Offer-java位运算
一、题目描述编写一个函数,输入是一个无符号整数(以二进制串的形式),返回其二进制表达式中数字位数为 1 的个数(也被称为 汉明重量).)。提示:请注意,在某些语言(如 Java&…...
学自动化测试可以用这几个练手项目
练手项目的业务逻辑比较简单,只适合练手,不能代替真实项目。 学习自动化测试最难的是没有合适的项目练习。 测试本身既要讲究科学,又有艺术成分,单单学几个 api 的调用很难应付工作中具体的问题。 你得知道什么场景下需要添加显…...
2023年保健饮品行业分析:市场规模不断攀升,年度销额增长近140%
随着人们健康意识的不断增强,我国保健品市场需求持续增长,同时,保健饮品的市场规模也在不断攀升。 根据鲸参谋电商数据显示,2022年度,京东平台上保健饮品的年度销量超60万件,同比增长了约124%;该…...
2023-02-17 学习记录--TS-邂逅TS(一)
TS-邂逅TS(一) 不积跬步,无以至千里;不积小流,无以成江海。💪🏻 一、TypeScript在线编译器 https://www.typescriptlang.org/play/ 二、类型 1、普通类型 number(数值型ÿ…...
SpringMVC创建异步回调请求的4种方式
首先要明确一点,同步请求和异步请求对于客户端用户来讲是一样的,都是需客户端等待返回结果。不同之处在于请求到达服务器之后的处理方式,下面用两张图解释一下同步请求和异步请求在服务端处理方式的不同:同步请求异步请求两个流程…...
MySQL(二)表的操作
一、创建表 CREATE TABLE table_name ( field1 datatype, field2 datatype, field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎; 说明: field 表示列名 datatype 表示列的类型 character set 字符集,如…...
SpringCloud - 入门
目录 服务架构演变 单体架构 分布式架构 分布式架构要考虑的问题 微服务 初步认识 案例Demo 服务拆分注意事项 服务拆分示例 服务调用 服务架构演变 单体架构 将业务的所有功能集中在一个项目中开发,打成一个包部署优点: 架构简单部署成本低缺…...
进一步了解C++函数的各种参数以及重载,了解C++部分的内存模型,C++独特的引用方式,巧妙替换指针,初步了解类与对象。满满的知识,希望大家能多多支持
C的编程精华,走过路过千万不要错过啊!废话少说,我们直接进入正题!!!! 函数高级 C的函数提高 函数默认参数 在C中,函数的形参列表中的形参是可以有默认值的。 语法:返…...
Chapter6:机器人SLAM与自主导航
ROS1{\rm ROS1}ROS1的基础及应用,基于古月的课,各位可以去看,基于hawkbot{\rm hawkbot}hawkbot机器人进行实际操作。 ROS{\rm ROS}ROS版本:ROS1{\rm ROS1}ROS1的Melodic{\rm Melodic}Melodic;实际机器人:Ha…...
Sass的使用要点
Sass 是一个 CSS 预处理器,完全兼容所有版本的 CSS。实际上,Sass 并没有真正为 CSS 语言添加任何新功能。只是在许多情况下可以可以帮助我们减少 CSS 重复的代码,节省开发时间。 一、注释 方式一:双斜线 // 方式二:…...
计算机启动过程,从按下电源按钮到登录界面的详细步骤
1、背景 自接触计算机以来,一直困扰着我一个问题。当我们按下电脑的开机键后,具体发生了哪些过程呢?计算机启动的具体步骤是什么? 计算机启动过程通常分为五个步骤:电源自检、BIOS自检、引导设备选择、引导程序加载和…...
LeetCode 刷题之 BFS 广度优先搜索【Python实现】
1. BFS 算法框架 BFS:用来搜索 最短路径 比较合适,如:求二叉树最小深度、最少步数、最少交换次数,一般与 队列 搭配使用,空间复杂度比 DFS 大很多DFS:适合搜索全部的解,如:寻找最短…...
Hadoop01【尚硅谷】
大数据学习笔记 大数据概念 大数据:指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决,海量数据的存储…...
Echarts 配置横轴竖轴指示线,更换颜色、线型和大小
第018个点击查看专栏目录本示例是描述如何在Echarts上配置横轴竖轴指示线,更换颜色、线型和大小。方法很简单,参考示例源代码。 文章目录示例效果示例源代码(共85行)相关资料参考专栏介绍示例效果 示例源代码(共85行&a…...
wordpress网页排版/台湾搜索引擎
第一步,使用ffmpeg将mp4视频转换为ts格式 ffmpeg -y -i input.mp4 -vcodec copy -acodec copy -vbsf h264_mp4toannexb output.ts //input.mp4原文件名称,无指定路径,需手动切换到切片视频目录下进行该命令, //output.ts转换之后…...
专门做任务的网站6/百度指数的使用方法
--参考http://www.lanstonwu.com/using-datapump-export-and-import-data/ --参考http://www.cnblogs.com/wbzhao/archive/2012/04/06/2434702.html 一、前期准备 1.以SSH远程登录服务器,找到指定目录下创建数据泵中间文件(.DMP)存放的目录: /*rmdir /ho…...
网站公安局备案 所需要的材料/淘宝流量
本文实例讲述了phpajax无刷新上传图片的实现方法。分享给大家供大家参考,具体如下:1.引入文件2.html部分添加图片3.给fileupload加上表单/*图片上传*/$(".fileupload").wrap(""); //函数处理4.ajax文件上传jQuery(function ($) {$(&…...
优化合作平台/电脑优化软件哪个好用
简介 LVM(Logical Volume Manager)逻辑卷管理,是在硬盘分区和文件系统之间添加的一个逻辑层,为文件系统屏蔽下层硬盘分区布局,并提供一个抽象的盘卷,在盘卷上建立文件系统。管理员利用LVM可以在硬盘不用重…...
给网站写教案做课件一节课多少钱/网络推广平台有哪些
再多读一篇文章会怎样? 也许跟没读一样。 看起来好像自己提高了,但差不多只是个表面现象。 你阅读了如此多的文章,但换来的也许只是一点点的进步。 要想掌握一种技术,你只有一条路——去做。 我想学会视频编辑,至少是要…...
制作淘宝网页设计的代码/佛山快速排名seo
转眼消失快半年了,终于结束了紧张的学习和考试,重新回来心情平静许多,继续写点东西,记录一下自己的新生活。 转载于:https://www.cnblogs.com/zhuyx/archive/2009/05/14/10401945.html...