当前位置: 首页 > news >正文

Transformer在医学影像中的应用综述-分类

文章目录

  • COVID-19 Diagnosis
    • 黑盒模型
    • 可解释的模型
  • 肿瘤分类
    • 黑盒模型
    • 可解释模型
  • 视网膜疾病分类
  • 小结

在这里插入图片描述
总体结构

COVID-19 Diagnosis

黑盒模型

  1. Point-of-Care Transformer(POCFormer):利用Linformer将自注意的空间和时间复杂度从二次型降低到线性型。POCFormer有200万个参数,约为MobileNetv2的一半,因此适合于实时诊断。
  2. Vision Outlooker (VOLO):新注意机制,将精细级特征编码为ViT token 表征,从而提高分类性能。
  3. Swin Transformer和Transformer-in-Transformer将COVID-19图像从肺炎图像和正常图像中分类。
  4. FESTA利用了联邦和分裂学习的优点,利用ViT同时处理多个胸部x射线任务
  5. 变压器和cnn组成的混合网络
  6. 基于Swin Transformer的两阶段框架:基于UNet的肺分割模型,然后使用Swin Transformer主干进行图像分类

可解释的模型

基于显著性的可视化和基于梯度的方法
在这里插入图片描述

肿瘤分类

黑盒模型

TransMed:第一个利用ViTs进行医学图像分类的工作。它是一种基于CNN和变压器的混合架构,能够对多模态MRI医学图像中的腮腺肿瘤进行分类
Gene-Transformer:预测肺癌亚型
多尺度GasHis-Transformer来诊断胃癌
对称交叉熵损失函数诊断急性淋巴细胞白血病的混合模型

可解释模型

基于全切片成像(WSI)的病理诊断中,一个标签分配给一组实例(袋)。
如果至少有一个实例是正的,则标记为正的;如果袋子中的所有实例都是负的,则标记为负的
TransMIL利用两个基于Transformer的模块和一个位置编码层聚合形态信息,为了对空间信息进行编码,提出了一种金字塔位置编码发生器,注意力得分已被可视化,以证明可解释性

图形转换网络(GTN)来利用基于图的WSI表示。GTN由图卷积层、变压器层和池化层组成。GTN进一步使用GraphCAM来识别与类标签高度相关的区域。

视网膜疾病分类

MIL-ViT模型,该模型首先在大型眼底图像数据集上进行预训练,然后在视网膜疾病分类的下游任务上进行微调。
MIL-ViT架构使用基于mil的磁头,可以与ViT一起以即插即用的方式使用。

病变感知变压器(LAT),该变压器由基于像素关系的编码器和病变感知变压器解码器组成

卷积层和Transformer层组成的混合架构

小结

必须更多地关注为COVID-19诊断设计可解释(以获得最终用户信任)和高效(用于即时检测)的ViT模型,使其成为未来RTPCR检测的可行替代方案。
强调一下一个令人兴奋的工作,他们首次证明了在ImageNet上预训练的ViTs在医学图像分类任务中的表现与cnn相当,如表5所示。这也提出了一个有趣的问题:“在医学成像数据集上预训练的ViT模型在医学图像分类方面是否比在ImageNet上预训练的ViT模型表现得更好?”最近的一项工作试图通过在大规模2D和3D医学图像上预训练ViT来回答这个问题。在医学图像分类问题上,他们的模型比在ImageNet上预训练的ViT模型获得了实质性的性能提升,这表明该领域值得进一步探索。
在这里插入图片描述

相关文章:

Transformer在医学影像中的应用综述-分类

文章目录 COVID-19 Diagnosis黑盒模型可解释的模型 肿瘤分类黑盒模型可解释模型 视网膜疾病分类小结 总体结构 COVID-19 Diagnosis 黑盒模型 Point-of-Care Transformer(POCFormer):利用Linformer将自注意的空间和时间复杂度从二次型降低到线性型。POCFormer有200…...

新服务器基本环境下载conda + docker + docker-compose + git

文章目录 Ubuntu 允许root用户登录 centos无所谓condadockerubuntucentos docker-compose官方下载docker-compose国内镜像 gitUbuntuCentos Ubuntu 允许root用户登录 centos无所谓 # 以普通用户登录系统,创建root用户的密码 sudo passwd root# SSH 放行 sudo sed -…...

Matlab论文插图绘制模板第108期—特征渲染的标签散点图

在之前的文章中,分享了Matlab标签散点图的绘制模板: 进一步,再来分享一下特征渲染的标签散点图的绘制模板,以便再添加一个维度的信息。 先来看一下成品效果: 特别提示:本期内容『数据代码』已上传资源群中…...

设计模式之中介者模式(Mediator)的C++实现

1、中介者模式的提出 在软件组件开发过程中,如果存在多个对象,且这些对象之间存在的相互交互的情况不是一一对应的情况,这种功能组件间的对象引用关系比较复杂,耦合度较高。如果有一些新的需求变化,则不易扩展。中介者…...

css弹性布局的方式

概述 任何一个容器都可以定义为弹性布局容器,使用display:flex(display:inline-flex)开启弹性布局。 2个方向轴:水平主轴和垂直交叉轴 6个容器属性 1.flex-direction :主轴的方向 2.justify-content:子元素在主轴的对齐方式 …...

阿里云源 Python、npm、git、goproxy

阿里云源 Python、npm、git、goproxy 各种设置源的方式也都比较常见,但是根本记不住,每次都查感觉也不太好。 正好发现了个宝藏地址,看起来还挺全的,以后找源也可以先在这个地方翻翻,顺便就搞了几个放到一个脚本里边…...

微服务架构1.0

微服务架构 微服务架构是一种应用程序架构模式,将一个应用程序划分为一组小型、独立、自治的服务,每个服务专注于一个特定的业务功能。 每个微服务都可以独立开发、部署、扩展和维护,通过定义良好的接口和协议,它们可以相互通信…...

iOS开发Swift-基础部分

1.常量 let maxNum 10 //单个常量赋值 let maxNum 10, minNum 2 //多个常量赋值用逗号隔开2.变量 var x 0.0 //单个变量赋值 var x 0.0, y 0.1 //多个变量赋值用逗号隔开3.类型注解 系统可通过赋初始值进行自动推断。 var name&#…...

【LeetCode-经典面试150题-day11】

目录 128.最长连续序列 228.汇总区间 56.合并区间 57.插入区间 452.用最少数量的箭引爆气球 128.最长连续序列 题意: 给定一个未排序的整数数组 nums ,找出数字连续的最长序列(不要求序列元素在原数组中连续)的长度。 请你设计并…...

深度学习入门(三):卷积神经网络(CNN)

引入 给定一张图片,计算机需要模型判断图里的东西是什么? (car、truck、airplane、ship、horse) 一、卷积神经网络整体架构 CONV:卷积计算层,线性乘积求和RELU:激励层,激活函数P…...

网站是如何识别网络爬虫的?

在爬取数据时,你常常会遇到各种网站的反爬机制。网站是如何检测和拦截网络爬虫的呢?本文将为你揭秘网站使用的几种常见的反爬手段,并为你提供一些解决方案,助你越过反爬壁垒,提升你的实际操作效率。 一、Cookie检测 …...

TP-Link 智能灯泡缺陷能让黑客窃取用户 WiFi 密码

来自意大利和英国的研究人员在 TP-Link Tapo L530E 智能灯泡和 TP-Link Tapo 应用程序中发现了4个漏洞,攻击者可以利用这些漏洞窃取目标的 WiFi 密码。 TP-Link Tapo L530E 是包括亚马逊在内的多个市场上最畅销的智能灯泡。TP-link Tapo是一款智能设备管理应用程序…...

接口测试,如何测试?

一 入参 1 正常的入参 输入正常的参数,响应按照接口文档的约定正常返回。 2 异常的入参 参数异常包括:参数为空,多参或少参,错误的参数数据; 错误的参数数据:数据类型错误、非空参数为空,长…...

React源码解析18(11)------ 实现多次setState的批处理

摘要 在React中,如果涉及到了多次setState,组件render几次。setState是同步的还是异步的。这是一个很常见的面试题。 而本篇文章,就是主要实现React中,对于这部分的性能优化,我们称之为批处理。例如当我有下面的JSX。…...

评测凯迪仕K70「千里眼」智能锁:不忘安全初心,便捷体验更上一层

能打败凯迪仕的,只有它自己。这是我们在体验过凯迪仕最新旗舰产品K70「千里眼」智能锁之后的感受。作为凯迪仕2023年最新旗舰机型,K70「千里眼」智能锁在配置上可以说是「机皇」般的存在。3K超高清智能锁猫眼、车规级24GHz雷达、大小双屏设计、三方可视对…...

mysql数据库root密码遗忘后,修改root密码

目录 方式一: 方式二: 2.1 也可以像我这样,普通用户登录进去后 2.2 执行如下命令,将已知的user1的加密密文更新到root中 2.3 查询数据库 2.4 用root用户登录 2.5 登录正常,但这会root登录进去后,无法…...

网络安全(黑客)快速入门~

网络安全的学习需要遵守循序渐进,由浅入深。 通常网络安全学习方法有两种: 方法1:先学习编程,然后学习Web渗透及工具使用等; 适用人群:有一定的代码基础的小伙伴 基础部分 基础部分需要学习以下内容&am…...

华为OD机试 - 数字颠倒(Java 2023 B卷 100分)

目录 专栏导读一、题目描述二、输入描述三、输出描述四、解题思路五、Java算法源码六、Java算法源码投机取巧七、效果展示 华为OD机试 2023B卷题库疯狂收录中,刷题点这里 专栏导读 本专栏收录于《华为OD机试(JAVA)真题(A卷B卷&am…...

leetcode做题笔记87扰乱字符串

使用下面描述的算法可以扰乱字符串 s 得到字符串 t : 如果字符串的长度为 1 ,算法停止如果字符串的长度 > 1 ,执行下述步骤: 在一个随机下标处将字符串分割成两个非空的子字符串。即,如果已知字符串 s &#xff0c…...

第一章 初识Linux(含VMware安装Ubuntu、CentOS、Windows、FinalShell、快照)

目录 一、 课程的介绍  1.为什么要学习Linux  2.课程的安排  3.如何学习Linux 二、操作系统概述  1.学习目标  2.计算机的硬件和软件  3.什么是操作系统  4.常见的操作系统  5.本小节的总结 三、初识Linux  1.学习目标  2.Linux的诞生  3.Linux的内核  …...

MATLAB算法实战应用案例精讲-【图像处理】OCR识别方法-CRNN

目录 OCR综述 什么是OCR OCR发展历程 OCR 常用检测方法 基于回归的方法 1) box回归...

无涯教程-PHP - preg_grep()函数

preg_grep() - 语法 array preg_grep ( string $pattern, array $input [, int $flags] ); 返回由与给定模式匹配的输入数组元素组成的数组。 如果将flag设置为PREG_GREP_INVERT,则此函数返回输入数组中与给定模式不匹配的元素。 preg_grep() - 返回值 返回使用…...

【Linux】Nginx解决跨域问题

文章目录 一、跨域问题二、解决跨域问题三、结尾 一、跨域问题 在前后端分离的项目中,前端通常运行在一个域名或端口上,而后端运行在另一个域名或端口上。当浏览器发起跨域请求时,即前端页面向后端发送请求的域名、端口或协议与当前页面的域…...

无涯教程-PHP - preg_split()函数

preg_split() - 语法 array preg_split (string pattern, string string [, int limit [, int flags]]); preg_split()函数的操作与split()完全相同,只不过正则表达式被接受为pattern的输入参数。 如果指定了可选的输入参数limit,则仅返回子字符串的限…...

B. Spreadsheets

Problem - B - Codeforces 问题描述:excel有两种情况, Rr_nCc_n:R行数C列数ZZZ(列数)行数。 对这两个进行相互转换。 细节: 准确判断这两种情况 string str; cin>>str; auto posR str.find("R"), posC st…...

matlab面向对象

一、面向对象编程 1.1 面向过程与面向对象 区别: 面向过程的核心是一系列函数,执行过程是依次使用每个函数面向对象的核心是对象(类)及其属性、方法,每个对象根据需求执行自己的方法以解决问题 对象:单个…...

01、Cannot resolve MVC View ‘xxxxx前端页面‘

Cannot resolve MVC View ‘xxxxx前端页面’ 没有找到对应的mvc的前端页面。 代码&#xff1a;前端这里引入了 thymeleaf 模板 解决&#xff1a; 需要添加 thymeleaf 的依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>s…...

时空智友企业流程化管控系统文件上传漏洞复现

0x01 产品简介 时空智友企业流程化管控系统是一个功能丰富、灵活可定制的企业管理工具。通过该系统&#xff0c;企业能够实现流程的自动化、协同的提升、数据的洞察和决策的优化&#xff0c;从而提高工作效率、管理水平和企业竞争力。 0x02 漏洞概述 时空智友企业流程化管控系…...

【已解决】Authenticator:无法添加账户请验证激活代码是否正确以及您的设备是否已为此应用启用推送通知

问题&#xff1a; 小米手机的Authenticator添加微软账户扫描QR码提示&#xff1a;无法添加账户请验证激活代码是否正确以及您的设备是否已为此应用启用推送通知 解决办法&#xff1a; 1、在通知管理中允许Authenticator所有通知。 2、在手机设置-账户与同步里找到谷歌基础服…...

聊聊springboot tomcat的maxHttpFormPostSize

序 本文主要研究一下spring boot tomcat的maxHttpFormPostSize参数 parseParameters tomcat-embed-core-9.0.37-sources.jar!/org/apache/catalina/connector/Request.java /*** Parse request parameters.*/protected void parseParameters() {parametersParsed true;Para…...

宁波做网站优化/上海短视频培训机构

关键字&#xff1a;回归分析&#xff0c;同时置信带&#xff0c;相互独立&#xff0c;横截面数据&#xff0c;纵向数据 一、回归分析 1.1 定义 回归分析&#xff08;regression analysis)是确定两种或两种以上变量&#xff08;比如自变量与因变量&#xff0c;自变量也叫协变…...

项目管理软件p6/seo关键词搜索优化

详见原文链接 http://www.killdb.com/2012/03/13/using-dd-command-to-copy-datafile-in-asm.html...

网站建设营销型网站/网站seo分析案例

为什么80%的码农都做不了架构师&#xff1f;>>> 引擎类型myisam,innodb,区别,性能,默认事务级别,多版本机制,并发扣库存怎么解决索引数据结构,为什么要这样的数据结构锁,锁的原因,怎么分析锁慢SQL日志,分析慢SQL,优化高性能设计及容量规划SQL注入分库分表建议看: 高…...

做平台网站需要多少钱/关键信息基础设施安全保护条例

【题目描述】 给定长度为n&#xff08;n<300000&#xff09;的循环同构的字符串&#xff0c;定义最小表示为该字符串的字典序最小的同构表示&#xff0c;请输出这个表示。 【输入格式】 第一行是串的长度&#xff0c;第二行是字符串。【输出格式】 串的最小表示。【样例输入…...

制作网站怎么做滚动条/搜索引擎营销经典案例

今天跟大家介绍一个最近h5--audio播放的需求案例 1用一张图来说明我的需求&#xff1a;如下&#xff08;备注&#xff1a;背景图中的毛玻璃效果放到另一篇随笔里面讲了&#xff0c;因为在移动端有兼容问题&#xff0c;详情请关注我的另一篇随笔&#xff1a;css3实现毛玻璃效果。…...

etsy网站/aso优化公司

据中国移动公布的11月份数据显示&#xff0c;整体用户数流失了2634万&#xff0c;净流失用户数再创历史新高纪录&#xff0c;推测这部分都是目前留在2G网络的用户&#xff0c;属于低端用户。中国移动公布的数据显示&#xff0c;11月份5G用户数大增1859万户&#xff0c;累计用户…...