当前位置： 首页 > news >正文

【大模型AIGC系列课程 5-2】视觉-语言大模型原理

news 2026/2/8 18:23:43

重磅推荐专栏： 《大模型AIGC》；《课程大纲》
本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

VisualGLM

BLIP-2

https://arxiv.org/pdf/2301.12597.pdf
BLIP-2是一种用于视觉-语言预训练的方法，它利用了冻结的预训练图像编码器和大型语言模型。BLIP-2的核心架构是Querying Transformer（Q-Former），它经过两个阶段的预训练来弥合模态差距。

在第一个预训练阶段，Q-Former与一个冻结的图像编码器一起进行视觉-语言表示学习。这个阶段的目标是让Q-Former学习与文本最相关的视觉表示。通过与图像编码器的连接，Q-Former可以从冻结的图像编码器中获取视觉特征。
在第二个预训练阶段，Q-Former与一个冻结的语言模型进行视觉-语言生成学习。这个阶段的目标是让Q-

相关文章：

【大模型AIGC系列课程 5-2】视觉-语言大模型原理

重磅推荐专栏： 《大模型AIGC》；《课程大纲》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在…...

编程日记 2023/12/21 15:37:57

震惊！难怪别人家的孩子越来越聪明，原来竟是因为它

前段时间工作调动给孩子换了个新学校，刚开始担心她不能适应新学校的授课方式，但任课老师对她评价很高，夸她上课很专注。 为了训练孩子的专注力，作为家长可没少下功夫，画画，下五子棋等益智游戏的兴趣班没少…...

编程日记 2023/12/21 15:35:55

Linux操作系统（UMASK+SUID+SGID+STICK）

UMASK反掩码 如何查看反掩码：直接在终端窗口运行 umask root用户反掩码：0022 普通用户反掩码：0002 UMASK的作用：确定目录，文件的缺省权限值 以root身份创建目录，观察目录的9位权限值 以root身份创建普通文件…...

编程日记 2023/12/21 15:34:55

Java 中单例模式的常见实现方式

目录 一、什么是单例模式？ 二、单例模式有什么作用？ 三、常见的创建单例模式的方式 1、饿汉式创建 2、懒汉式创建 3、DCL（Double Checked Lock）双检锁方式创建 3.1、synchronized 同步锁的基本使用 3.2、使用 DCL 中存在的疑…...

编程日记 2023/12/21 15:33:53

【C语言】自定义类型之联合和枚举

目录 1. 前言2. 联合体2.1 联合体类型的声明2.2 联合体的特点2.3 相同成员的结构体和联合体对比2.4 联合体大小的计算2.4 判断当前机器的大小端 3. 枚举3.1 枚举类型的声明3.2 枚举类型的优点3.3 枚举类型的使用 1. 前言 在之前的博客中介绍了自定义类型中的结构体，…...

编程日记 2023/12/21 15:32:52

使用Mosquitto/python3进行MQTT连接

一、简介 MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上，是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议，为此，它需要一个消息中间件。 …...

编程日记 2023/12/21 15:30:51

JavaWeb笔记之前端开发HTML

一、引言 1.1HTML概念 网页，是网站中的一个页面，通常是网页是构成网站的基本元素，是承载各种网站应用的平台。通俗的说，网站就是由网页组成的。通常我们看到的网页都是以htm或html后缀结尾的文件，俗称 HTML文件。 …...

编程日记 2023/12/21 15:29:50

通过IP地址定位解决被薅羊毛问题

随着互联网的普及，线上交易和优惠活动日益增多，这也为一些不法分子提供了可乘之机。他们利用技术手段，通过大量注册账号或使用虚假IP地址进行异常操作，以获取更多的优惠或利益，这种行为被称为“薅羊毛”。对于企业和平…...

编程日记 2023/12/21 15:28:48

Leetcode 122 买卖股票的最佳时机 II

题意理解： 已知：一个整数数组 prices ，其中 prices[i] 表示某支股票第 i 天的价格 如何哪个时间点买入，哪个时间点卖出，多次交易，能够收益最大化 目的：收益最大化 解题思路： 使用贪心…...

编程日记 2023/12/21 15:27:47

音频文件合成

音频文件合成 音频文件合成 http://ffmpeg.org/download.html https://blog.csdn.net/u013314786/article/details/89682800 http://www.360doc.com/content/19/0317/01/10519289_822112563.shtml https://chaijunkun.blog.csdn.net/article/details/116491526?spm1001.210…...

编程日记 2023/12/21 15:26:46

20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞

20231220将NanoPC-T4(RK3399)开发板的Android10的SDK按照Rockchip官方挖掘机开发板编译打包刷机之后启动跑飞 2023/12/20 17:19 简略步骤：rootrootrootroot-X99-Turbo:~/3TB$ tar --use-compress-programpigz -xvpf rk3399-android-10.git-20210201.tgz rootrootro…...

编程日记 2023/12/21 15:23:44

vivo 容器平台资源运营实践

作者：vivo 互联网服务器团队 - Chen Han 容器平台针对业务资源申请值偏大的运营问题，通过静态超卖和动态超卖两种技术方案，使业务资源申请值趋于合理化，提高平台资源装箱率和资源利用率。 一、背景 在Kubernetes中，容…...

编程日记 2023/12/21 15:21:42

ASP.NET Core面试题之Redis高频问题

🎈🎈在.NET后端开发岗位中，如今也少不了、微服务、分布式、高并发高可用相关的面试题🎈🎈 👍👍本文分享一些整理的Redis高频面试题🎉 👍👍机会都是给有准备…...

编程日记 2023/12/21 15:20:41

【教程】Ubuntu基本软件安装

文章目录 一、搜狗输入法安装二、百度网盘安装三、划词翻译 一、搜狗输入法安装 全网最准确的Ubuntu 20.04 安装搜狗输入法的步骤 二、百度网盘安装 百度云盘for Linux安装教程和体验 三、划词翻译 ubuntu最好用的划词翻译词典：有道词典和GoldenDict...

编程日记 2023/12/21 15:19:40

Jenkins 构建环境指南

目录 Delete workspace before build starts（常用） Use secret text(s) or file(s) （常用） Add timestamps to the Console Output （常用） Inspect build log for published build scans Terminate a …...

编程日记 2023/12/21 15:18:39

基于Go语言的HTTP路由设计与实现

在Go语言的世界里，HTTP路由是一种将HTTP请求映射到相应处理函数的技术。通过路由，我们可以确定当用户发送一个HTTP请求时，应该调用哪个函数来处理该请求。在这个过程中，我们可以使用多种方法来实现路由设计，下面我将以…...

编程日记 2023/12/21 15:16:38

SpringMVC01

SpringMVC 1. 学习⽬标2. 什么叫MVC？3. SpringMVC 框架概念与特点4. SpringMVC 请求流程5. Spring MVC 环境搭建6. URL 地址映射配置7. 参数绑定8. JSON 数据开发JSON普通数组步骤1:pom.xml添加依赖步骤2： 修改配置⽂件步骤3. 注解使⽤ 1. 学习⽬标 2. 什…...

编程日记 2023/12/21 15:15:37

基于Redis限流（aop切面+redis实现“令牌桶算法”）

令牌桶算法属于流量控制算法，在一定时间内保证一个键（key）的访问量不超过某个阈值。这里的关键是设置一个令牌桶，在某个时间段内生成一定数量的令牌，然后每次访问时从桶中获取令牌，如果桶中没有令牌&#x…...

编程日记 2023/12/21 15:10:32

【小白专用】php pdo方式连接sqlserver 设置方法 更新23.12.21

windows系统的拓展相对来说比较好安装&#xff0c;直接下载对应的dll文件&#xff0c;修改php.ini配置文件即可。 添加PHP对SQL SERVER的支持 1.新建PHP 文件&#xff0c;输入内容&#xff1a; <?php echo phpinfo(); ?> 2.运行后&#xff0c;可以查看到如下数据&…...

编程日记 2023/12/21 15:06:27

打开C#项目时出现“error : 找不到指定的 SDK”的错误解决方法汇总

从github上克隆项目回来&#xff0c;发现编译通过&#xff0c;我是通过一下步骤解决的&#xff1a; 1.到适用于 Visual Studio 的 .NET SDK 下载网址下载对应版本的.NET SDK&#xff0c;关闭当前VS后安装&#xff1b; 2.参考VS2022报错&#xff1a;error : 找不到指定的 SDK“…...

编程日记 2023/12/21 15:05:26

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...

编程新知 2026/2/7 23:18:39

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周&#xff0c;有很多同学在写期末Java web作业时&#xff0c;运行tomcat出现乱码问题&#xff0c;经过多次解决与研究&#xff0c;我做了如下整理&#xff1a; 原因&#xff1a; IDEA本身编码与tomcat的编码与Windows编码不同导致&#xff0c;Windows 系统控制台…...

编程新知 2026/2/8 4:37:39

变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析

一、变量声明设计&#xff1a;let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性&#xff0c;这种设计体现了语言的核心哲学。以下是深度解析&#xff1a; 1.1 设计理念剖析 安全优先原则&#xff1a;默认不可变强制开发者明确声明意图 let x 5; …...

编程新知 2025/9/28 20:12:12

＜6＞-MySQL表的增删查改

目录 一&#xff0c;create&#xff08;创建表&#xff09; 二&#xff0c;retrieve&#xff08;查询表&#xff09; 1&#xff0c;select列 2&#xff0c;where条件 三&#xff0c;update&#xff08;更新表&#xff09; 四&#xff0c;delete&#xff08;删除表&#xf…...

编程新知 2025/12/11 18:28:17

Vue3 + Element Plus + TypeScript中el-transfer穿梭框组件使用详解及示例

使用详解 Element Plus 的 el-transfer 组件是一个强大的穿梭框组件&#xff0c;常用于在两个集合之间进行数据转移&#xff0c;如权限分配、数据选择等场景。下面我将详细介绍其用法并提供一个完整示例。 核心特性与用法 基本属性 v-model&#xff1a;绑定右侧列表的值&…...

编程新知 2026/2/4 4:25:40

srs linux

下载编译运行 git clone https:///ossrs/srs.git ./configure --h265on make 编译完成后即可启动SRS # 启动 ./objs/srs -c conf/srs.conf # 查看日志 tail -n 30 -f ./objs/srs.log 开放端口 默认RTMP接收推流端口是1935&#xff0c;SRS管理页面端口是8080&#xff0c;可…...

编程新知 2026/2/6 9:49:55

【HTTP三个基础问题】

面试官您好&#xff01;HTTP是超文本传输协议&#xff0c;是互联网上客户端和服务器之间传输超文本数据&#xff08;比如文字、图片、音频、视频等&#xff09;的核心协议&#xff0c;当前互联网应用最广泛的版本是HTTP1.1&#xff0c;它基于经典的C/S模型&#xff0c;也就是客…...

编程新知 2025/12/10 6:18:55

vue3+vite项目中使用.env文件环境变量方法

vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量&#xff0c;这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

编程新知 2026/1/26 19:12:01

Python ROS2【机器人中间件框架】 简介

销量过万TEEIS德国护膝夏天用薄款 优惠券冠生园 百花蜂蜜428g 挤压瓶纯蜂蜜巨奇严选 鞋子除臭剂360ml 多芬身体磨砂膏280g健70%-75%酒精消毒棉片湿巾1418cm 80片/袋3袋大包清洁食品用消毒 优惠券AIMORNY52朵红玫瑰永生香皂花同城配送非鲜花七夕情人节生日礼物送女友 热卖妙洁棉…...

编程新知 2026/1/29 9:12:46

[免费]微信小程序问卷调查系统(SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的微信小程序问卷调查系统(SpringBoot后端Vue管理端)【论文源码SQL脚本】&#xff0c;分享下哈。 项目视频演示 【免费】微信小程序问卷调查系统(SpringBoot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibili 项…...

编程新知 2026/1/29 5:39:49