机器学习——图神经网络
图神经网络(GNN):理解复杂网络数据的有效工具
图神经网络(Graph Neural Network, GNN)是近年来机器学习领域的热门话题。GNN 以图结构数据为核心,能够高效地捕捉节点和边的复杂关系,广泛应用于社交网络、推荐系统、生物信息学等领域。本文将深入探讨图神经网络的基本概念、主要模型及其应用,并通过代码示例展示如何从头实现一个 GNN。
1. 图神经网络基础
1.1 什么是图?
在讨论 GNN 之前,我们首先要了解什么是图(Graph)。图是一种数据结构,用来表示实体(节点)以及它们之间的关系(边)。形式上,图可以定义为 G = ( V , E ) G = (V, E) G=(V,E),其中 V V V 是节点的集合, E E E 是边的集合。
图的表示形式可以适应各种数据,例如:
- 社交网络:用户是节点,好友关系是边。
- 分子结构:原子是节点,化学键是边。
- 推荐系统:用户和商品都是节点,购买行为或评分是边。
1.2 图神经网络的目标
图神经网络的主要目标是通过图的结构和节点的特征来进行学习。具体来说,GNN 可以用来解决以下问题:
- 节点分类:例如,在社交网络中预测用户的兴趣。
- 边预测:例如,在推荐系统中预测用户是否会对某个商品感兴趣。
- 图分类:例如,判断一个分子是否具有某种化学性质。
2. 图神经网络的工作原理
GNN 的核心思想是通过迭代地聚合每个节点邻居的信息来更新节点的表示。这种聚合操作可以概括为以下步骤:
- 消息传递(Message Passing):每个节点从其邻居接收信息。
- 特征更新:使用某种函数(通常是神经网络)来更新节点特征。
- 迭代更新:多次迭代上述步骤,直到节点特征达到稳定状态。
一个典型的节点特征更新公式可以表示为:
h v ( k ) = σ ( W ( k ) ⋅ ∑ u ∈ N ( v ) h u ( k − 1 ) ) h_v^{(k)} = \sigma \left( W^{(k)} \cdot \sum_{u \in \mathcal{N}(v)} h_u^{(k-1)} \right) hv(k)=σ⎝⎛W(k)⋅u∈N(v)∑hu(k−1)⎠⎞
其中, h v ( k ) h_v^{(k)} hv(k) 表示第 k k k 轮迭代中节点 v v v 的特征, N ( v ) \mathcal{N}(v) N(v) 表示节点 v v v 的邻居, W ( k ) W^{(k)} W(k) 是学习的权重, σ \sigma σ 是激活函数(例如 ReLU)。
3. GNN 模型及代码实现
3.1 图卷积网络(Graph Convolutional Network, GCN)
图卷积网络是一种最基础的 GNN 模型,其核心思想是通过卷积操作来聚合邻居节点的特征。下面是使用 PyTorch 和 PyTorch Geometric 实现 GCN 的示例代码:
import torch
import torch.nn.functional as F
from torch_geometric.nn import GCNConv
from torch_geometric.datasets import Planetoid# 加载Cora数据集
dataset = Planetoid(root='/tmp/Cora', name='Cora')data = dataset[0]class GCN(torch.nn.Module):def __init__(self):super(GCN, self).__init__()self.conv1 = GCNConv(dataset.num_node_features, 16)self.conv2 = GCNConv(16, dataset.num_classes)def forward(self, data):x, edge_index = data.x, data.edge_indexx = self.conv1(x, edge_index)x = F.relu(x)x = self.conv2(x, edge_index)return F.log_softmax(x, dim=1)# 创建模型并训练
model = GCN()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)model.train()
for epoch in range(200):optimizer.zero_grad()out = model(data)loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask])loss.backward()optimizer.step()print(f'Epoch {epoch}, Loss: {loss.item()}')
在上述代码中,我们使用 PyTorch Geometric 加载了 Cora 数据集,并实现了一个简单的两层 GCN 模型。第一层将节点特征映射到16维空间,第二层将其映射到类别数,并使用 ReLU 激活函数进行非线性变换。
3.2 图注意力网络(Graph Attention Network, GAT)
图注意力网络通过引入注意力机制来聚合邻居节点的特征。GAT 使用注意力系数来衡量邻居节点的重要性。
以下代码展示了如何实现一个简单的 GAT 模型:
from torch_geometric.nn import GATConvclass GAT(torch.nn.Module):def __init__(self):super(GAT, self).__init__()self.gat1 = GATConv(dataset.num_node_features, 8, heads=8, concat=True)self.gat2 = GATConv(8 * 8, dataset.num_classes, heads=1, concat=False)def forward(self, data):x, edge_index = data.x, data.edge_indexx = self.gat1(x, edge_index)x = F.elu(x)x = self.gat2(x, edge_index)return F.log_softmax(x, dim=1)# 创建并训练GAT模型
model = GAT()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)model.train()
for epoch in range(200):optimizer.zero_grad()out = model(data)loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask])loss.backward()optimizer.step()print(f'Epoch {epoch}, Loss: {loss.item()}')
在这个示例中,我们使用 GATConv 代替了 GCNConv。GAT 使用多头注意力机制来捕获不同邻居的重要性信息。
3.3 图自编码器(Graph Autoencoder, GAE)
图自编码器是一种用于无监督学习图嵌入的方法。GAE 通过编码器和解码器来学习节点的低维表示。
以下是实现 GAE 的示例代码:
from torch_geometric.nn import GCNConv, VGAEclass Encoder(torch.nn.Module):def __init__(self, in_channels, out_channels):super(Encoder, self).__init__()self.conv1 = GCNConv(in_channels, 2 * out_channels, cached=True)self.conv2 = GCNConv(2 * out_channels, out_channels, cached=True)def forward(self, x, edge_index):x = F.relu(self.conv1(x, edge_index))return self.conv2(x, edge_index)# 定义模型和优化器
encoder = Encoder(dataset.num_node_features, 16)
model = VGAE(encoder)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)model.train()
for epoch in range(200):optimizer.zero_grad()z = model.encode(data.x, data.edge_index)loss = model.recon_loss(z, data.edge_index)loss.backward()optimizer.step()print(f'Epoch {epoch}, Loss: {loss.item()}')
在这个代码中,我们使用了 Variational Graph Autoencoder (VGAE) 来进行图的无监督学习。GAE 可以有效地学习图的潜在结构,特别适合于节点嵌入和链接预测任务。
4. 图神经网络的应用
4.1 社交网络分析
在社交网络中,GNN 可以用于节点分类(如用户兴趣预测)、边预测(如好友推荐)以及社区发现等任务。GCN 和 GAT 等模型能够有效地捕获社交网络中的复杂关系。
4.2 推荐系统
在推荐系统中,用户和商品可以看作是图中的节点,用户与商品之间的交互(如评分、点击)可以作为图的边。通过 GNN,我们可以构建用户和商品的嵌入,用于预测用户对某商品的兴趣。
4.3 生物信息学
在生物信息学中,GNN 被广泛用于蛋白质结构预测、药物发现和基因相互作用网络的分析。通过 GNN,可以有效地学习分子结构的表示,从而加速药物的筛选和发现。
5. GNN 的优势与挑战
5.1 优势
- 灵活性:GNN 可以处理任意拓扑结构的数据,特别适合于非欧几里得数据(如社交网络、分子图等)。
- 有效性:GNN 通过聚合邻居信息,可以捕捉节点和边之间的复杂关系,提高模型的预测性能。
5.2 挑战
- 计算复杂度:当图的规模非常大时,GNN 的训练和推理的计算开销很高。
- 过平滑问题:在多次聚合邻居信息后,节点的表示可能会趋于相同,这会影响模型的性能。
6. 未来展望
GNN 在处理图数据方面展现了强大的能力,未来的研究将更加关注以下方向:
- 大规模图的高效训练:开发更加高效的算法和分布式计算框架,以处理大规模图数据。
- 动态图神经网络:现实世界中的图通常是动态变化的,例如社交网络中的好友关系,研究动态 GNN 是一个重要的方向。
- 可解释性:增强 GNN 的可解释性,帮助人们更好地理解 GNN 的决策过程。
7. 结论
图神经网络作为一种强大的工具,已经在许多领域取得了显著的成果。本文详细介绍了 GNN 的基本概念、核心算法(如 GCN、GAT 和 GAE)以及它们的实现方法。通过这些技术,研究者和工程师可以在各种图结构数据中挖掘潜在的信息,为社交网络、推荐系统和生物信息学等领域提供更好的解决方案。
希望这篇文章对你有所帮助。如果你想要进一步深入学习 GNN,建议阅读一些经典的论文,如《Semi-Supervised Classification with Graph Convolutional Networks》和《Graph Attention Networks》。另外,通过实践练习,例如使用 PyTorch Geometric 实现自己的 GNN 项目,也会大大加深你对 GNN 的理解。
参考资料
- Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. ICLR.
- Veličković, P., et al. (2018). Graph Attention Networks. ICLR.
- Hamilton, W., Ying, Z., & Leskovec, J. (2017). Inductive Representation Learning on Large Graphs. NeurIPS.
相关文章:
机器学习——图神经网络
图神经网络(GNN):理解复杂网络数据的有效工具 图神经网络(Graph Neural Network, GNN)是近年来机器学习领域的热门话题。GNN 以图结构数据为核心,能够高效地捕捉节点和边的复杂关系,广泛应用于社交网络、推荐系统、生…...

一、在cubemx下RTC配置调试实例测试
一、rtc的时钟有lse提供。 二、选择rtc唤醒与闹钟功能 内部参数介绍 闹钟配置 在配置时间时,注意将时间信息存储起来,防止复位后时间重新配置。 if(HAL_RTCEx_BKUPRead(&hrtc, RTC_BKP_DR0)! 0x55AA)//判断标志位是否配置过,没有则进…...
【Nas】X-DOC:Mac mini Docker部署中国特供版Jellyfin
【Nas】X-DOC:Mac mini Docker部署中国特供版Jellyfin 1、拉取镜像:2、启动镜像3、访问服务4、参考文档 Mac mini Docker部署中国特供版Jellyfin 1、拉取镜像: docker pull nyanmisaka/jellyfin:230901-amd64jellyfin 10.8.10版本ÿ…...

合合信息:生成式Al时代的内容安全与系统构建加速,开启智能文档的全新潜能
文章目录 写在前面图像内容安全图像篡改应用场景伪造文档/证照检测伪造人脸检测 GAI时代系统构建加速通用文档解析 合合信息 写在前面 随着人工智能技术的飞速发展,生成式AI已经悄然步入了我们的日常生活,以其强大的内容生成能力,重塑了信息…...
京东双十一高并发场景下的分布式锁性能优化
背景 在电商领域,尤其是像京东双十一这样的大促活动,系统需要处理极高的并发请求。这些请求往往涉及库存的查询和更新,如果处理不当,很容易出现库存超卖、数据不一致等问题。分布式锁作为一种有效的解决方案,能够在多…...
华为ICT题库-AI 人工智能部分
1178、以下哪个选项是华为的云端AI芯片?(云服务考点) (A)Inferentia (B)MLU100 (C)Cloud TPU (D)Ascend 910 答案:D 解析:华为的云端AI芯片被称为Ascend芯片系列,其中Ascend 910是其旗舰产品。Ascend 910…...
React Native 修改安卓应用图片和名称
在React Native(RN)项目中,修改安卓应用图标和名称通常涉及对Android原生代码的一些修改。以下是详细步骤: 修改应用图标 准备图标资源: 创建或获取你想要的图标,并确保它们符合Android的图标规范…...

普推知产:商标初审已下,商标申请通过如何高些!
近期下来一批商标注册的初步审公告通知书,一些客户对商标下证要求比较高的,普推知产商标老杨发现,要像下证高核心还是在于名称,名称起好备用的多,让商标专业人士经检索后层层过滤后提报,通过会好很多。 普推…...

HICP--2
在area 0的路由器只生成 area 0 的数据库,只在area 1 的一样。但是既在又在的生成两个 area的 LSDB 一、区域间三类LSA 在OSPF(Open Shortest Path First)协议中,区域间三类LSA(Link-State Advertisement)…...
sheng的学习笔记-AI基础-正确率/召回率/F1指标/ROC曲线
AI目录:sheng的学习笔记-AI目录-CSDN博客 分类准确度问题 假设有一个癌症预测系统,输入体检信息,可以判断是否有癌症。如果癌症产生的概率只有0.1%,那么系统预测所有人都是健康,即可达到99.9%的准确率。 但显然这样的…...

Linux -- 共享内存(2)
目录 命令 ipcs -m : 命令 ipcrm -m shmid: 共享内存的通信: 为什么共享内存更高效? 代码: ShmClient.cc: ShmServer.cc: 结果: 如何让共享内存实现同步? 代码&a…...

云函数实现发送邮件,以qq邮箱为例
云函数实现发送邮件,前端传参调用发送邮件即可。以qq邮箱为例。 1、开启qq邮箱的smtp服务并且生成授权码,操作界面如下图: 2、在腾讯云新建一个云函数代码如下: const nodemailer require("nodemailer");// 云函数入口函数 export…...

Kafka如何控制消费的位置?
大家好,我是锋哥。今天分享关于【Kafka如何控制消费的位置?】面试题?希望对大家有帮助; Kafka如何控制消费的位置? 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 在 Kafka 中,控制消费位置主要通过以下几个机制来实…...

python爬虫——Selenium的基本使用
目录 一、Selenium的介绍 二、环境准备 1.安装Selenium 2.安装WebDriver 三、元素定位 1.常用定位元素的方法 2. 通过指定方式定位元素 四、窗口操作 1.最大化浏览器窗口 2.设置浏览器窗口大小 3.切换窗口或标签页 切换回主窗口 4. 关闭窗口 关闭当前窗口 关闭所…...

【Linux】【xmake】安装 + C/C++常用项目配置
文章目录 0. 环境准备1. 子命令create - 快速创建项目build - 构建程序config - 配置编译需要的参数show - 查看当前工程基本信息update - 程序自更新 2. C/C 项目常用配置2.1 项目目标类型2.2 添加宏定义2.3 头文件路径和链接库配置2.4 设置语言标准2.5 设置编译优化2.6 添加源…...
Android 添加菜单开关控制Camera相机和第三方相机
本文主要通过SystemProperties系统属性和Settings.System存储数据库的状态进行判断,从而实现控制相机 /vendor/mediatek/proprietary/packages/apps/MtkSettings/res/values-zh-rCN/strings.xml <!--camera--> <string name="manager_camera_switch"&…...
【Java知识】使用jacoco实现代码覆盖率测试
文章目录 1. 添加JaCoCo插件到项目2. 配置Maven Surefire Plugin3. 执行测试并生成报告4. 查看覆盖率报告注意事项 要使用JaCoCo实现代码覆盖率测试,你需要遵循以下步骤: 1. 添加JaCoCo插件到项目 在Maven项目的pom.xml文件中添加JaCoCo插件。这允许你执…...
道路车辆功能安全 ISO 26262标准(9-2)—面向汽车安全完整性等级 (ASIL) 和安全的分析
写在前面 本系列文章主要讲解道路车辆功能安全ISO26262标准的相关知识,希望能帮助更多的同学认识和了解功能安全标准。 若有相关问题,欢迎评论沟通,共同进步。(*^▽^*) 1. 道路车辆功能安全ISO 26262标准 9. ISO 26262-9 面向汽车安全完整…...
hutool常用方法
1、树结构工具-TreeUtil 构建Tree示例 package com.sl.transport.common.util;import cn.hutool.core.bean.BeanUtil; import cn.hutool.core.collection.CollUtil; import cn.hutool.core.lang.tree.Tree; import cn.hutool.core.lang.tree.TreeNode; import cn.hutool.core…...

CloudSat数据产品数据下载与处理 (matlab)
CloudSat数据下载 这个数据我之前和CALIPSO弄混了,后来发现它们虽然是同一个火箭上去,但是数据产品却在不同的平台下,CloudSat的数据更加关注云的特性,包括云覆盖、云水当量、云分类数据。 数据网址在:CloudSat网址 …...

地震勘探——干扰波识别、井中地震时距曲线特点
目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波:可以用来解决所提出的地质任务的波;干扰波:所有妨碍辨认、追踪有效波的其他波。 地震勘探中,有效波和干扰波是相对的。例如,在反射波…...

label-studio的使用教程(导入本地路径)
文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...
DockerHub与私有镜像仓库在容器化中的应用与管理
哈喽,大家好,我是左手python! Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库,用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

【JVM】- 内存结构
引言 JVM:Java Virtual Machine 定义:Java虚拟机,Java二进制字节码的运行环境好处: 一次编写,到处运行自动内存管理,垃圾回收的功能数组下标越界检查(会抛异常,不会覆盖到其他代码…...
2024年赣州旅游投资集团社会招聘笔试真
2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案,答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年,()预言了电磁波的存在,并指出…...
在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module
1、为什么要修改 CONNECT 报文? 多租户隔离:自动为接入设备追加租户前缀,后端按 ClientID 拆分队列。零代码鉴权:将入站用户名替换为 OAuth Access-Token,后端 Broker 统一校验。灰度发布:根据 IP/地理位写…...
OkHttp 中实现断点续传 demo
在 OkHttp 中实现断点续传主要通过以下步骤完成,核心是利用 HTTP 协议的 Range 请求头指定下载范围: 实现原理 Range 请求头:向服务器请求文件的特定字节范围(如 Range: bytes1024-) 本地文件记录:保存已…...

【论文阅读28】-CNN-BiLSTM-Attention-(2024)
本文把滑坡位移序列拆开、筛优质因子,再用 CNN-BiLSTM-Attention 来动态预测每个子序列,最后重构出总位移,预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵(S…...

vue3+vite项目中使用.env文件环境变量方法
vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量,这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

Android 之 kotlin 语言学习笔记三(Kotlin-Java 互操作)
参考官方文档:https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java(供 Kotlin 使用) 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...