当前位置： 首页 > news >正文

【大模型AIGC系列课程 5-2】视觉-语言大模型原理

news 文章来源：https://blog.csdn.net/u011239443/article/details/135067033 2024/11/19 13:36:16

重磅推荐专栏： 《大模型AIGC》；《课程大纲》
本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

VisualGLM

BLIP-2

https://arxiv.org/pdf/2301.12597.pdf
BLIP-2是一种用于视觉-语言预训练的方法，它利用了冻结的预训练图像编码器和大型语言模型。BLIP-2的核心架构是Querying Transformer（Q-Former），它经过两个阶段的预训练来弥合模态差距。

在第一个预训练阶段，Q-Former与一个冻结的图像编码器一起进行视觉-语言表示学习。这个阶段的目标是让Q-Former学习与文本最相关的视觉表示。通过与图像编码器的连接，Q-Former可以从冻结的图像编码器中获取视觉特征。
在第二个预训练阶段，Q-Former与一个冻结的语言模型进行视觉-语言生成学习。这个阶段的目标是让Q-

相关文章：

【大模型AIGC系列课程 5-2】视觉-语言大模型原理

重磅推荐专栏： 《大模型AIGC》；《课程大纲》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在…...

编程日记 2023/12/21 15:37:57

震惊！难怪别人家的孩子越来越聪明，原来竟是因为它

前段时间工作调动给孩子换了个新学校，刚开始担心她不能适应新学校的授课方式，但任课老师对她评价很高，夸她上课很专注。 为了训练孩子的专注力，作为家长可没少下功夫，画画，下五子棋等益智游戏的兴趣班没少…...

编程日记 2023/12/21 15:35:55

Linux操作系统（UMASK+SUID+SGID+STICK）

UMASK反掩码 如何查看反掩码：直接在终端窗口运行 umask root用户反掩码：0022 普通用户反掩码：0002 UMASK的作用：确定目录，文件的缺省权限值 以root身份创建目录，观察目录的9位权限值 以root身份创建普通文件…...

编程日记 2023/12/21 15:34:55

Java 中单例模式的常见实现方式

目录 一、什么是单例模式？ 二、单例模式有什么作用？ 三、常见的创建单例模式的方式 1、饿汉式创建 2、懒汉式创建 3、DCL（Double Checked Lock）双检锁方式创建 3.1、synchronized 同步锁的基本使用 3.2、使用 DCL 中存在的疑…...

编程日记 2023/12/21 15:33:53

【C语言】自定义类型之联合和枚举

目录 1. 前言2. 联合体2.1 联合体类型的声明2.2 联合体的特点2.3 相同成员的结构体和联合体对比2.4 联合体大小的计算2.4 判断当前机器的大小端 3. 枚举3.1 枚举类型的声明3.2 枚举类型的优点3.3 枚举类型的使用 1. 前言 在之前的博客中介绍了自定义类型中的结构体，…...

编程日记 2023/12/21 15:32:52

使用Mosquitto/python3进行MQTT连接

一、简介 MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上，是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议，为此，它需要一个消息中间件。 …...

编程日记 2023/12/21 15:30:51

JavaWeb笔记之前端开发HTML

一、引言 1.1HTML概念 网页，是网站中的一个页面，通常是网页是构成网站的基本元素，是承载各种网站应用的平台。通俗的说，网站就是由网页组成的。通常我们看到的网页都是以htm或html后缀结尾的文件，俗称 HTML文件。 …...

编程日记 2023/12/21 15:29:50

通过IP地址定位解决被薅羊毛问题

随着互联网的普及，线上交易和优惠活动日益增多，这也为一些不法分子提供了可乘之机。他们利用技术手段，通过大量注册账号或使用虚假IP地址进行异常操作，以获取更多的优惠或利益，这种行为被称为“薅羊毛”。对于企业和平…...

编程日记 2023/12/21 15:28:48

Leetcode 122 买卖股票的最佳时机 II

题意理解： 已知：一个整数数组 prices ，其中 prices[i] 表示某支股票第 i 天的价格 如何哪个时间点买入，哪个时间点卖出，多次交易，能够收益最大化 目的：收益最大化 解题思路： 使用贪心…...

编程日记 2023/12/21 15:27:47

音频文件合成

音频文件合成 音频文件合成 http://ffmpeg.org/download.html https://blog.csdn.net/u013314786/article/details/89682800 http://www.360doc.com/content/19/0317/01/10519289_822112563.shtml https://chaijunkun.blog.csdn.net/article/details/116491526?spm1001.210…...

编程日记 2023/12/21 15:26:46

20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞

20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞 2023/12/20 17:19 简略步骤：rootrootrootroot-X99-Turbo:~/3TB$ tar --use-compress-programpigz -xvpf rk3399-android-10.git-20210201.tgz rootrootro…...

编程日记 2023/12/21 15:23:44

vivo 容器平台资源运营实践

作者：vivo 互联网服务器团队 - Chen Han 容器平台针对业务资源申请值偏大的运营问题，通过静态超卖和动态超卖两种技术方案，使业务资源申请值趋于合理化，提高平台资源装箱率和资源利用率。 一、背景 在Kubernetes中，容…...

编程日记 2023/12/21 15:21:42

ASP.NET Core面试题之Redis高频问题

🎈🎈在.NET后端开发岗位中，如今也少不了、微服务、分布式、高并发高可用相关的面试题🎈🎈 👍👍本文分享一些整理的Redis高频面试题🎉 👍👍机会都是给有准备…...

编程日记 2023/12/21 15:20:41

【教程】Ubuntu基本软件安装

文章目录 一、搜狗输入法安装二、百度网盘安装三、划词翻译 一、搜狗输入法安装 全网最准确的Ubuntu 20.04 安装搜狗输入法的步骤 二、百度网盘安装 百度云盘for Linux安装教程和体验 三、划词翻译 ubuntu最好用的划词翻译词典：有道词典和GoldenDict...

编程日记 2023/12/21 15:19:40

Jenkins 构建环境指南

目录 Delete workspace before build starts（常用） Use secret text(s) or file(s) （常用） Add timestamps to the Console Output （常用） Inspect build log for published build scans Terminate a …...

编程日记 2023/12/21 15:18:39

基于Go语言的HTTP路由设计与实现

在Go语言的世界里，HTTP路由是一种将HTTP请求映射到相应处理函数的技术。通过路由，我们可以确定当用户发送一个HTTP请求时，应该调用哪个函数来处理该请求。在这个过程中，我们可以使用多种方法来实现路由设计，下面我将以…...

编程日记 2023/12/21 15:16:38

SpringMVC01

SpringMVC 1. 学习⽬标2. 什么叫MVC？3. SpringMVC 框架概念与特点4. SpringMVC 请求流程5. Spring MVC 环境搭建6. URL 地址映射配置7. 参数绑定8. JSON 数据开发JSON普通数组步骤1:pom.xml添加依赖步骤2： 修改配置⽂件步骤3. 注解使⽤ 1. 学习⽬标 2. 什…...

编程日记 2023/12/21 15:15:37

基于Redis限流（aop切面+redis实现“令牌桶算法”）

令牌桶算法属于流量控制算法，在一定时间内保证一个键（key）的访问量不超过某个阈值。这里的关键是设置一个令牌桶，在某个时间段内生成一定数量的令牌，然后每次访问时从桶中获取令牌，如果桶中没有令牌&#x…...

编程日记 2023/12/21 15:10:32

【小白专用】php pdo方式连接sqlserver 设置方法 更新23.12.21

windows系统的拓展相对来说比较好安装&#xff0c;直接下载对应的dll文件&#xff0c;修改php.ini配置文件即可。 添加PHP对SQL SERVER的支持 1.新建PHP 文件&#xff0c;输入内容&#xff1a; <?php echo phpinfo(); ?> 2.运行后&#xff0c;可以查看到如下数据&…...

编程日记 2023/12/21 15:06:27

打开C#项目时出现“error : 找不到指定的 SDK”的错误解决方法汇总

从github上克隆项目回来&#xff0c;发现编译通过&#xff0c;我是通过一下步骤解决的&#xff1a; 1.到适用于 Visual Studio 的 .NET SDK 下载网址下载对应版本的.NET SDK&#xff0c;关闭当前VS后安装&#xff1b; 2.参考VS2022报错&#xff1a;error : 找不到指定的 SDK“…...

编程日记 2023/12/21 15:05:26

MIT 6.824 练习1

Hi, there! 这是一份根据 MIT 6.824(2021) 课程的第 2 课的课堂示例代码改编的 2 个 go 语言编程练习。像其他的编程作业一样&#xff0c;我去除了核心部分&#xff0c;保留了代码框架&#xff0c;并编写了每一步的提示 练习代码在本文的最后面 爬虫 在第一部分&#xff0c;…...

编程日记 2023/12/21 15:01:23

Git报错x509: certificate signed by unknown authority

下载报错&#xff1a; Error downloading object: model-00001-of-00008.safetensors (ed3ac49): Smudge error: Error downloading model-00001-of-00008.safetensors (ed3ac4983f682a999b0e4b6f072aad294c4fd9a7e968e90835ba5c4b466d3c7c): LFS: Get https://cdn-lfs.huggin…...

编程日记 2023/12/21 14:59:21

OpenCV技术应用（8）— 如何将视频分解

前言&#xff1a;Hello大家好&#xff0c;我是小哥谈。本节课就手把手教大家如何将一幅图像转化成热力图&#xff0c;希望大家学习之后能够有所收获~&#xff01;&#x1f308; 目录 &#x1f680;1.技术介绍 &#x1f680;2.实现代码 &#x1f680;1.技术介绍 视频是…...

编程日记 2023/12/21 14:58:20

Swagger2接口测试文档

目录 一、Swagger简介 1.1 Swagger是什么&#xff1f; 1.2 为什么要用Swagger 1.3 Swagger注解 二、Spring集成Swagger 三、测试环境配置 一、Swagger简介 1.1 Swagger是什么&#xff1f; Swagger 是一个开源的 API 设计和文档工具&#xff0c;它可以帮助开发人员更快、…...

编程日记 2023/12/21 14:55:17

【Java】BigDecimal 比较自动化页面获取数据的大小

jwensh2023.12.20 使用背景 对 web3 相关的数据进行计算的时候&#xff0c;需要进行大小加减计算&#xff0c;UI 自动化过程需要将数据转为自然数&#xff1b;页面获取的数据会有千分位 、高精度(18位) /*** Compares this {code BigDecimal} with the specified* {code BigDe…...

编程日记 2023/12/21 14:51:13

开源键盘工程QMK

一、Qmk简介 目录 一、Qmk简介 二、Qmk入门指导文档 三、QMK配置器 四、QMK层的概念 TMK原先是由Jun Wako设计实现...

编程日记 2023/12/21 14:48:11

Elasticsearch的批量bulk 提交 写入的方式会有顺序问题吗？

Elasticsearch的分布式特性可能会导致写入操作的执行顺序与提交顺序稍有不同。在分布式环境中，Elasticsearch将数据分散到不同的节点上进行存储和处理，因此写入操作的执行顺序可能会受到网络延迟、负载均衡等因素的影响。 根源在于ES的分布式架构。如上图所示，客户端的命令首…...

编程日记 2023/12/21 14:46:09

云原生之深入解析如何使用Vcluster Kubernetes加速开发效率

一、背景 为什么一个已经在使用 Kubernetes 本身方面已经很挣扎的开发人员还要处理虚拟集群呢&#xff1f;答案可能会让您感到惊讶&#xff0c;但虚拟集群实际上比单独的物理集群更容易处理&#xff0c;并且与本地 k3d、KinD 或 minikube 部署的集群相比具有相当多的优势。如果…...

编程日记 2023/12/21 14:45:08

PCL 已知同名点对计算旋转矩阵并对点云进行旋转

目录 一、 算法概述二、代码实现三、测试示例一、 算法概述 适用：已知三组及三组以上的同名点对，计算旋转矩阵；然后根据旋转矩阵对点云进行旋转，最后保存旋转后的点云文件。 二、代码实现 #include <Eigen/Core> #include <Eigen/Dense>...

编程日记 2023/12/21 14:43:06

MyBatis ORM映射

MyBatis只能自动维护库表”列名“与”属性名“相同时的对应关系&#xff0c;二者不同时无法自动ORM 因此需要使用到ORM映射。 共有两种解决办法&#xff1a;1.列的别名 2.结果映射 1.列的别名 在SQL中使用 as 为查询字段添加列别名&#xff0c;以匹配属性名 public List<…...

编程日记 2023/12/21 14:41:04

女生做网站推广/地推网推平台

lambda函数也叫匿名函数&#xff0c;即&#xff0c;函数没有具体的名称。先来看一个最简单例子&#xff1a; deff(x): returnx**2printf(4)Python中使用lambda的话&#xff0c;写成这样 g lambdax : x**2printg(4)lambda表达式在很多编程语言都有对应的实现。比如C#&#xf…...

编程日记 2024/11/19 10:05:36

用什么软件做购物网站/太原网站关键词排名

在执行Hadoop的创建目录、写数据等情况&#xff0c;可能会出现该异常&#xff0c;而在读文件的时候却不会报错&#xff0c;这主要是由于系统的用户名不同导致的&#xff0c;由于我们进行实际开发的时候都是用Windows操作系统&#xff0c;而编译后的JAVA程序是部署在Linux上的。…...

编程日记 2024/11/19 9:49:22

门户网站开发请示/微信小程序

来源&#xff1a;ImportNew - 吴际让我们开始展示内存中Java类和对象结构你可曾好奇过Java内存管理核心构件&#xff1f;你是否问过自己某些奇怪的问题&#xff0c;比如&#xff1a;一个类在内存中占据多少空间&#xff1f;我的对象在内存中消耗了多少空间&#xff1f;对象的属…...

编程日记 2024/11/19 9:36:06

大型网站故障/吉林seo基础知识

Elasticsearch的删除也是很灵活的&#xff0c;下次我再介绍&#xff0c;DeleteByQuery的方式。今天就先介绍一个根据ID删除。上代码。 package com.sojson.core.elasticsearch.manager; import org.elasticsearch.action.delete.DeleteResponse; import com.sojson.common.mo…...

编程日记 2024/11/19 9:07:12

网站建设续费是什么费用/轻松seo优化排名

今天上午的蓝桥杯比赛让我正视了很多以前没有注意的问题&#xff0c;也找到了很多自以为会了&#xff0c;其实是盲点的知识点。 10个题都不难&#xff0c;放到平时&#xff0c;如果是在oj上&#xff0c;肯定能全部AC&#xff0c;可是比赛的时候&#xff0c;写的并不好。 尤其…...

编程日记 2024/11/19 8:39:39

wordpress图片pin按钮/赵阳竞价培训

网络安全的定义&#xff1a; 网络安全&#xff08;Cyber Security&#xff09;是指网络系统的硬件、软件及其系统中的数据受到保护&#xff0c;不因偶然的或者恶意的原因而遭受到破坏、更改、泄露&#xff0c;系统连续可靠正常地运行&#xff0c;[网络服务](https://baike.bai…...

编程日记 2024/11/19 4:14:16