当前位置：首页 > news >正文

Autoencoder（李宏毅）机器学习 2023 Spring HW8 (Boss Baseline)

news 2026/2/8 8:16:09

1. Autoencoder 简介

Autoencoder是一种用于学习数据高效压缩表示的人工神经网络。它由两个主要部分组成：

Encoder

编码器将输入数据映射到一个更小的、低维空间中的压缩表示，这个空间通常称为latent space或bottleneck。
这一过程可以看作是数据压缩，去除冗余信息，仅保留最重要的特征。

Decoder

解码器从潜在表示中重构原始输入数据。
理想情况下，解码器的输出应尽可能接近原始输入。

Schema of a autoencoder (source: https://en.wikipedia.org/wiki/Autoencoder)

2. Autoencoder的种类

2.1 Vanilla Autoencoder

Vanilla Autoencoder (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/auto_v8.pdf)

vanilla autoencoder是最简单形式的自动编码器，旨在通过瓶颈层尽可能准确地重构输入数据。它是更高级自动编码器变体的基础。

Vanilla autoencoder的训练目标是最小化输入 $x$ 和输出 $x^\prime$ 之间的重构损失. 常见的损失函数包括：

均方误差（MSE）：适用于连续数据。

$\text{MSE Loss}= \frac{1}{n} \sum_{i=1}^{n} (x_i - x_i')^2 \\$

二元交叉熵损失（Binary Cross-Entropy Loss）: 适用于二元数据。

$\text{BCE Loss} = - \frac{1}{n} \sum_{i=1}^{n} \left[ x_i \log(x_i') + (1 - x_i) \log(1 - x_i') \right] \\$

2.2 Denoising Autoencoder

Denoising Autoencoder (source: https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/auto_v8.pdf)

Denoising autoencoder (DAE) 是一种自动编码器变体，它专门训练从受损（有噪声）的输入中重构干净的输入数据。这使其成为学习有意义特征和执行数据去噪任务的强大工具。

原始输入数据通过添加噪声或引入干扰被人为破坏，生成带噪输入。常见的破坏类型包括：

高斯噪声：在输入数据中添加随机噪声。
椒盐噪声：随机翻转图像中的像素值。
遮掩噪声：将输入的随机部分设为零。
随机失活噪声：随机丢弃部分特征。

与基础型自动编码器类似，常用的损失函数包括均方误差（MSE）和二元交叉熵损失（Binary Cross-Entropy Loss）。

2.3 变分自动编码器 Variational Autoencoder (VAE)

Variationaler Autoencoder (source: https://www.geeksforgeeks.org/variational-autoencoders/)

变分自动编码器（VAE）是一种用于学习数据概率表示的自动编码器。与标准自动编码器将数据编码为固定的潜在表示不同，VAE 将数据编码为潜在空间中的一个分布（通常是高斯分布）。这使得 VAE 在生成任务中尤其有用。

VAE 的三个主要组成部分：

编码器（Encoder）

编码器将输入数据 $x$ 映射到潜在分布 $q(z|x)$ .。
对于每个潜在变量，编码器输出两个参数：
- 均值（ $\mu$ ）
- 标准差（ $\sigma$ ）

潜在空间（Latent Space）

表示输入数据的压缩概率分布。
潜在空间中的变量 $z$ 通过以下公式采样： $\\ z = \mu + \sigma \cdot \epsilon \\$ 其中 $\epsilon \sim \mathcal{N}(0, I)$ 。这种操作称为重参数化技巧（reparameterization trick），它允许通过随机采样过程进行反向传播。

解码器（Decoder）

解码器将潜在变量 $z$ 映射回原始数据空间 $p(x|z)$ 。
它尝试从潜在表示中重构输入数据 $x^\prime$ 。

2.3.1 损失函数

VAE 的损失函数由两部分组成:

重构损失 $\mathcal{L}_{\text{recon}}$

它衡量重构数据与原始数据的匹配程度。
我们通常使用二元交叉熵或均方误差。

KL 散度 $\mathcal{L}_{\text{KL}}$

它使潜在空间分布 $q(z|x)$ 接近先验分布 $p(z)$ , 通常是标准高斯分布 $\mathcal{N}(0, I)$ .
定义为: $\mathcal{L}_{\text{KL}} = D_{\text{KL}}(q(z|x) \| p(z)) \\$ 该项正则化潜在空间，确保插值平滑且具有意义。

总损失公式为:

$\mathcal{L} = \mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{KL}}\\$

2.3.2 证据下界 Evidence Lower Bound (ELBO)

在变分自动编码器（VAE）中，核心目标是最大化输入数据的边际似然 $p(x)$ ，即尽可能解释数据。为此，一个重要的数学工具是证据下界（ELBO）。

2.3.2.1 什么是 ELBO?

ELBO 是通过变分推断近似数据边际似然

Autoencoder（李宏毅）机器学习 2023 Spring HW8 (Boss Baseline)

1. Autoencoder 简介 Autoencoder是一种用于学习数据高效压缩表示的人工神经网络。它由两个主要部分组成： Encoder 编码器将输入数据映射到一个更小的、低维空间中的压缩表示，这个空间通常称为latent space或bottleneck。这一过程可以看作是数据压缩，去除冗余信息，仅保留…...

编程日记 2025/1/12 17:20:08

深入探索 ScottPlot.WPF：在 Windows 桌面应用中绘制精美图表的利器

一、ScottPlot.WPF 简介 ScottPlot.WPF 是基于 ScottPlot 绘图库专门为 Windows Presentation Foundation (WPF) 框架量身定制的强大绘图组件。它无缝集成到 WPF 应用程序中，为开发者提供了一种简洁、高效的方式来可视化数据，无论是科学研究中的实验数据展示、金融领域的行情…...

编程日记 2025/1/12 17:19:07

React中的useMemo 和 useEffect 哪个先执行？

在 React 组件的渲染过程中，useMemo 和 useEffect 的执行顺序是不同的。具体来说： useMemo 先执行：useMemo 是在渲染阶段执行的，它的作用是缓存计算结果，确保在渲染过程中可以直接使用缓存的值。 useEffect 后执行&…...

编程日记 2025/1/12 17:18:06

错误修改系列---基于RNN模型的心脏病预测(pytorch实现)

前言前几天发布了pytorch实现，TensorFlow实现为：基于RNN模型的心脏病预测(tensorflow实现)，但是一处繁琐地方一处错误，这篇文章进行修改，修改效果还是好了不少；源文章为：基于RNN模型的心脏病…...

编程日记 2025/1/12 17:05:52

Table-Augmented Generation（TAG）：Text2SQL与RAG的升级与超越

当下AI与数据库的融合已成为推动数据管理和分析领域发展的重要力量。传统的数据库查询方式，如结构化查询语言（SQL），要求用户具备专业的数据库知识，这无疑限制了非专业人士对数据的访问和利用。为了打破这一壁垒&#x…...

编程日记 2025/1/12 17:04:51

Stable Diffusion本地部署教程（附安装包）

想使用Stable Diffusion需要的环境有哪些呢？ python3.10.11（至少也得3.10.6以上）：依赖python环境NVIDIA：GPUgit：从github上下载包（可选，由于我已提供安装包，你可以不用git）Stable Diffusion安装包工具包： NVIDIA：https://developer.nvidia.com/cuda-toolkit-archiv…...

编程日记 2025/1/12 16:58:44

【物联网原理与运用】知识点总结（上）

目录名词解释汇总第一章物联网概述 1.1物联网的基本概念及演进 1.2 物联网的内涵 1.3 物联网的特性——泛在性 1.4 物联网的基本特征与属性（五大功能域） 1.5 物联网的体系结构 1.6 物联网的关键技术 1.7 物联网的应用领域第二章感知与识别技术 2.1 …...

编程日记 2025/1/12 16:57:43

JuiceFS 2024：开源与商业并进，迈向 AI 原生时代

即将过去的 2024 年，是 JuiceFS 开源版本推出的第 4 年，企业版的第 8 个年头。回顾过去这一年，JuiceFS 社区版依旧保持着快速成长的势头，GitHub 星标突破 11.1K，各项使用指标增长均超过 100%，其中文件系统总…...

编程日记 2025/1/12 16:53:38

C#，动态规划问题中基于单词搜索树（Trie Tree）的单词断句分词（ Word Breaker）算法与源代码

1 分词分词是自然语言处理的基础，分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。英文语句使用空格将单词进行分隔，除了某些特定词，如how many，New York等外，大部分情况下不需要考虑分词…...

编程日记 2025/1/12 16:52:37

计算机网络（六）应用层

6.1、应用层概述我们在浏览器的地址中输入某个网站的域名后，就可以访问该网站的内容，这个就是万维网WWW应用，其相关的应用层协议为超文本传送协议HTTP 用户在浏览器地址栏中输入的是“见名知意”的域名，而TCP/IP的网际层使用IP地…...

编程日记 2025/1/12 16:49:34

上海亚商投顾：沪指探底回升微涨机器人概念股午后爆发

上海亚商投顾前言：无惧大盘涨跌，解密龙虎榜资金，跟踪一线游资和机构资金动向，识别短期热点和强势个股。一.市场情绪市场全天探底回升，沪指盘中跌超1.6%，创业板指一度跌逾3%，午后集体拉升翻红…...

编程日记 2025/1/12 16:48:33

conda相关操作

conda 是一个开源的包管理和环境管理工具，主要用于 Python 和数据科学领域。它可以帮助用户安装、更新、删除和管理软件包，同时支持创建和管理虚拟环境。以下是关于 conda 的所有常见操作： 1. 安装 Conda Conda 通常通过安装 Anaconda 或 Mi…...

编程日记 2025/1/12 16:44:29

使用TCP协议实现智能聊天机器人

实验目的与要求本实验是程序设计类实验，要求使用原始套接字编程，掌握TCP/IP协议与网络编程Sockets通信模型，并根据教师给定的任务要求，使用TCP协议实现智能聊天机器人。 （1）熟悉标准库socket 的用法。 …...

编程日记 2025/1/12 16:41:26

PHP二维数组去除重复值

Date: 2025.01.07 20:45:01 author: lijianzhan PHP二维数组内根据ID或者名称去除重复值代码示例如下： // 假设 data数组如下 $data [[id > 1, name > Type A],[id > 2, name > Type B],[id > 1, name > Type A] // 重复项 ];// 去重方法 $dat…...

编程日记 2025/1/12 16:39:24

2025年01月11日Github流行趋势

项目名称：xiaozhi-esp32 项目地址url：https://github.com/78/xiaozhi-esp32项目语言：C历史star数：2433今日star数：321项目维护者：78, MakerM0, whble, nooodles2023, Kevincoooool项目简介：构建…...

编程日记 2025/1/12 16:37:22

备战蓝桥杯队列和queue详解

目录队列的概念队列的静态实现总代码 stl的queue 队列算法题 1.队列模板题 2.机器翻译 3.海港双端队列队列的概念和栈一样，队列也是一种访问受限的线性表，它只能在表头位置删除，在表尾位置插入，队列是先进先出&…...

编程日记 2025/1/12 16:32:18

IT面试求职系列主题-Jenkins

想成功求职，必要的IT技能一样不能少，先说说Jenkins的必会知识吧。 1) 什么是Jenkins Jenkins 是一个用 Java 编写的开源持续集成工具。它跟踪版本控制系统，并在发生更改时启动和监视构建系统。 2）Maven、Ant和Jenkins有什么区别…...

编程日记 2025/1/12 16:30:15

Vue篇-06

1、路由简介 vue-rooter：是vue的一个插件库，专门用来实现SPA应用 1.1、对SPA应用的理解 1、单页 Web 应用（single page web application，SPA）。 2、整个应用只有一个完整的页面 index.html。 3、点击页面中的导航链…...

编程日记 2025/1/12 16:25:11

mysql binlog 日志分析查找

文章目录前言一、分析 binlog 内容二、编写脚本结果总结前言高效快捷分析 mysql binlog 日志文件。 mysql binlog 文件很大怎么快速通过关键字查找内容一、分析 binlog 内容通过 mysqlbinlog 命令可以看到 binlog 解析之后的大概样子二、编写脚本编写脚本 search_…...

编程日记 2025/1/12 16:24:06

ubuntu 配置OpenOCD与RT-RT-thread环境的记录

1.git clone git://git.code.sf.net/p/openocd/code openocd 配置gcc编译环境 2. sudo gedit /etc/apt/source.list #cdrom sudo apt-get install git sudo apt-get install libtool-bin sudo apt-get install pkg-config sudo apt-install libusb-1.0-0-dev sudo apt-get…...

编程日记 2025/1/12 16:14:51

国防科技大学计算机基础课程笔记02信息编码

1.机内码和国标码国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制，因此这个了16进制的数据既可以翻译成为这个机器码，也可以翻译成为这个国标码，所以这个时候很容易会出现这个歧义的情况； 因此，我们的这个国…...

编程新知 2026/2/8 4:37:15

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

编程新知 2026/2/4 17:44:58

从WWDC看苹果产品发展的规律

WWDC 是苹果公司一年一度面向全球开发者的盛会，其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具，对过去十年 WWDC 主题演讲内容进行了系统化分析，形成了这份…...

编程新知 2026/2/2 21:52:33

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template>  </template>…...

编程新知 2026/1/31 6:04:01

c++ 面试题(1)-----深度优先搜索（DFS）实现

操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 题目描述地上有一个 m 行 n 列的方格，从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子，但不能进入行坐标和列坐标的数位之和大于 k 的格子。例…...

编程新知 2026/1/10 10:16:16

零基础设计模式——行为型模式 - 责任链模式

第四部分：行为型模式 - 责任链模式 (Chain of Responsibility Pattern) 欢迎来到行为型模式的学习！行为型模式关注对象之间的职责分配、算法封装和对象间的交互。我们将学习的第一个行为型模式是责任链模式。核心思想：使多个对象都有机会处…...

编程新知 2026/1/31 9:33:18

SpringTask-03.入门案例

一.入门案例启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...

编程新知 2026/2/2 0:35:08

vue3+vite项目中使用.env文件环境变量方法

vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

编程新知 2026/1/26 19:12:01