当前位置：首页 > news >正文

眸思MouSi：“听见世界” — 用多模态大模型点亮盲人生活

news 文章来源：https://blog.csdn.net/JishuFengyang/article/details/136040908 2024/9/22 14:21:13

文章目录

1. Introduction
- 1.1 APP细节展示
2. Demo
- 2.1 论文链接
- 2.2 联系方式
3. Experiment
- 3.1 多专家的结合是否有效？
- 3.2 如何更好的将多专家整合在一起？
Reference

让盲人听见世界，复旦眸思大模型打破视觉界限，用科技点亮新生活

1. Introduction

在这个世界上，视力是探索万物之美、与有灵万物互动的重要感官。而在中国，约有1700多万视力障碍者，相当于每100人中就有一名视障者。这些坚强的心灵，在黑暗中寻觅着生活的曙光，用触摸勾勒出文字的轮廓，借助耳畔的回声感知四周的世界

眸思MouSi：“听见世界” — 用多模态大模型点亮盲人生活

文章目录 1. Introduction1.1 APP细节展示2. Demo2.1 论文链接2.2 联系方式3. Experiment3.1 多专家的结合是否有效？3.2 如何更好的将多专家整合在一起？Reference让盲人听见世界，复旦眸思大模型打破视觉界限，用科技点亮新生活 1. Introduction 在这个世界上，视力是探索万…...

编程日记 2024/2/9 19:41:34

电商小程序05用户注册

目录 1 搭建页面2 设置默认跳转总结我们上一篇拆解了登录功能，如果用户没有账号就需要注册了。本篇我们介绍一下注册功能的实现。 1 搭建页面打开应用，点击左上角的新建页面输入页面的名称，用户注册删掉网格布局，添加表单容…...

编程日记 2024/2/9 19:35:28

什么是UI设计？

用户界面（UI）它是人与机器互动的载体，也是用户体验（UX）一个组成部分。用户界面由视觉设计 (即传达产品的外观和感觉) 和交互设计 (即元素的功能和逻辑组织) 两部分组成。用户界面设计的目标是创建一个用户界面&#xf…...

编程日记 2024/2/9 19:34:27

React 实现表单组件

表单是html的基础元素，接下来我会用React实现一个表单组件。支持包括输入状态管理，表单验证，错误信息展示，表单提交，动态表单元素等功能。数据状态表单元素的输入状态管理，可以基于react state 实现。 …...

编程日记 2024/2/9 19:33:26

PlantUML绘制UML图教程

UML（Unified Modeling Language）是一种通用的建模语言，广泛用于软件开发中对系统进行可视化建模。PlantUML是一款强大的工具，通过简单的文本描述，能够生成UML图，包括类图、时序图、用例图等。PlantUML是一款…...

编程日记 2024/2/9 19:30:23

自学Python第二十二天- Django框架(六) django的实用插件：cron、APScheduler

django-crontab 和 django-cron 有时候需要django在后台不断的执行一个任务，简单的可以通过中间件来实现，但是中间件是根据请求触发的。如果需要定时执行任务，则需要使用到一些插件。 django-crontab 和 django-cron 是常用的用于处理定时任…...

编程日记 2024/2/9 19:27:20

医院挂号预约|医院挂号预约小程序|基于微信小程序的医院挂号预约系统设计与实现(源码+数据库+文档)

医院挂号预约小程序目录目录基于微信小程序的医院挂号预约系统设计与实现一、前言二、系统功能设计三、系统实现 1、小程序用户端 2、系统服务端 （1） 用户管理 （2）医院管理 （3）医生管理 &…...

编程日记 2024/2/9 19:25:17

网络选择流程分析(首选网络类型切换流程)

首先是界面，我在此平台的界面如下：对应的入口源码位置在Settings的UniEnabledNetworkModePreferenceController中，当然其他平台可能在PreferredNetworkModePreferenceController中，流程上都是大同小异然后点击切换按钮会调用到UniEnabledNetworkModePreferenceControlle…...

编程日记 2024/2/9 19:23:14

AutoSAR（基础入门篇）6.1-Vector的汽车电子开发工具链简介

目录前言一、PREEvision 二、vVIRTUALtarget 三、DaVinci 四、CANoe 五、CANape 其他前言因为国内用...

编程日记 2024/2/9 19:19:11

TI的电量计驱动在卸载时导致Linux卡死

背景最近移植TI电量计芯片bq40z50的驱动，移植完毕后，能正常读取电池信息了，但是无意中发现驱动卸载会导致Linux卡死，死前终端闪过大量打印，将putty的缓冲区都耗尽了，必须启用syslog转发并用visual syslog…...

编程日记 2024/2/9 19:17:09

使用yolo训练自己的模型

YOLO（You Only Look Once）是一种用于目标检测的深度学习模型，旨在实时检测图像或视频中的多个对象。与传统的目标检测方法不同，YOLO一次性处理整个图像，而不是通过滑动窗口或区域提议进行多次检测。这种方法使得YOLO在…...

编程日记 2024/2/9 19:16:07

堆的概念实现

前言本文将详细讲解堆。堆是一种二叉树（一般是完全二叉树）使用顺序结构的数组来存储。 tip：这里我们需要注意区分堆在不同地方的含义，这里的堆是一个数据结构，操作系统虚拟进程地址空间的堆是操作系统中管理内存的一块…...

编程日记 2024/2/9 19:10:01

Redis（三）主从架构、Redis哨兵架构、Redis集群方案对比、Redis高可用集群搭建、Redis高可用集群之水平扩展

转自极客时间 Redis主从架构 redis主从架构搭建，配置从节点步骤： 1、复制一份redis.conf文件2、将相关配置修改为如下值： port 6380 pidfile /var/run/redis_6380.pid # 把pid进程号写入pidfile配置的文件 logfile "6380.log" …...

编程日记 2024/2/9 19:03:55

pnpm + vite 从外网迁移到内网环境开发

离线安装pnpm 在有外网的机器上执行以下命令，下载pnpm的tgz压缩包至桌面，注意下载版本和当前使用版本保持一致 npm pack -g pnpm7.4.0 --pack-destination ~/Desktop将tgz压缩包拷贝至离线机器在离线机器中执行命令 npm -g i /home/user/offline/pnpm…...

编程日记 2024/2/9 19:01:53

寒假作业7

sql语句创建表格 create table 表名 （字段名数据类型，字段名数据类型） create table if not exists 表名 （字段名数据类型， 字段名数据类型） 删除表格 drop table 表名； 插入记录全字…...

编程日记 2024/2/9 19:00:51

【0257】关于pg内核shared cache invalidation messages （概念篇）

文章目录 1. inval messages2. 可配置参数（Configurable parameters）1. inval messages 所谓“共享缓存无效消息（shared cache invalidation messages）”，从概念上讲，共享缓存无效消息存储在一个无限数组中，其中maxMsgNum是存储提交消息的下一个数组下标， minMsgNum是…...

编程日记 2024/2/9 18:58:49

文章目录前言1. web缓存服务1.1 原理1.2 指令1.2.1 proxy_cache_path1.2.2 proxy_cache1.2.3 proxy_cache_key1.2.4 proxy_cache_valid1.2.5 proxy_cache_min_uses1.2.6 proxy_cache_methods 2. 缓存案例3. 缓存的清除3.1 删除对应的缓存目录3.2 使用第三方扩展模块ngx_cache_…...

编程日记 2024/2/9 18:57:48

C++面试宝典第27题：完全平方数之和

题目给定正整数 n，找到若干个完全平方数（比如：1、4、9、16、...），使得它们的和等于n。你需要让组成和的完全平方数的个数最少。示例1：输入：n = 12 输出：3 解释：12 = 4 + 4 + 4。示例2：输入：n = 13 输出：2 解释：13 = 4 + 9。解析这道题主要考察应聘者对于…...

编程日记 2024/2/9 18:52:43

webrtc native api的几个要点

文章目录基本流程状态回调类sdp的中媒体行pc对象基本流程 webrtc native的接口，主要就是围绕着PeerConnection对象，一个PeerConnection对象它代表了一次音视频会话。那么通过PeerConnection对象建立音视频通话，包括如下步骤： …...

编程日记 2024/2/9 18:51:42

MinMaxScaler, StandardScaler数据预处理中常用的两种缩放方法，用于将数据标准化或归一化到特定的范围或分布

MinMaxScaler 和 StandardScaler 是数据预处理中常用的两种缩放方法，用于将数据标准化或归一化到特定的范围或分布。这两种缩放方法的主要区别在于它们的目标和实现方式。 MinMaxScaler MinMaxScaler 会将数据缩放到一个指定的范围，通常是 [0, 1] 或 […...

编程日记 2024/2/9 18:50:41

【Web】vulhub Shiro-550反序列化漏洞复现学习笔记

目录 Shiro简介复现流程工具一把梭半脚本半手动原理分析反序列化入口常见的key 登录过程验证过程利用原理 Shiro简介 Apache Shiro 是一个强大且易于使用的 Java 安全框架，用于身份验证、授权、加密和会话管理等安全功能。Shiro 的设计目标是简单…...

编程日记 2024/2/9 18:47:39

【论文精读】多模态情感分析 —— VLP-MABSA

Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis 本篇论文发表于ACL-2022 原文链接 https://arxiv.org/abs/2204.07955 源码 GitHub - NUSTM/VLP-MABSA 模态：图像文本基于多模态方面的情感分析(MABSA)近年来越来越受到关注。然而&am…...

编程日记 2024/2/9 18:43:34

SQL SELECT TOP, LIMIT, ROWNUM 子句

在数据库中，LIMIT是一个用于限制结果集的关键字，它可以与SELECT语句一起使用。它有以下几种用法： LIMIT n：返回前n条记录。例如，LIMIT 10将返回结果集中的前10条记录。 LIMIT m, n：返回从第m1条记录开始的…...

编程日记 2024/2/9 18:41:32

金融信贷风控评分卡模型

评分卡模型概念评分模型是根据借款人的历史数据，选取不同维度的数据类型，通过计算而得出的对借款人信用情况打分的模型。不同等级的信用分数代表了借款人信用情况的好坏，以此来分析借款人按时还款的可能性。评分卡模型分类 A卡&#xff…...

编程日记 2024/2/9 18:39:30

【java苍穹外卖项目实战二】苍穹外卖环境搭建

文章目录 1、前端环境搭建2、后端环境搭建1、项目结构搭建2、Git版本控制3、数据库创建开发环境搭建主要包含前端环境和后端环境两部分。前端的页面我们只需要导入资料中的nginx， 前端页面的代码我们只需要能看懂即可。 1、前端环境搭建前端运行环境的nginx&am…...

编程日记 2024/2/9 18:38:29

在 Ubuntu 22.04 上安装 Django Web 框架的方法

简介 Django 是一个功能齐全的 Python Web 框架，用于开发动态网站和应用程序。使用 Django，您可以快速创建 Python Web 应用程序，并依赖框架来完成大部分繁重的工作。在本指南中，您将在 Ubuntu 22.04 服务器上启动 Django。安装…...

编程日记 2024/2/9 18:37:28

JVM Java虚拟机入门指南

文章目录为什么学习JVMJVM的执行流程JVM的组成部分类加载运行时数据区本地方法接口执行引擎垃圾回收什么样的对象是垃圾呢内存溢出和内存泄漏定位垃圾的方法对象的finalization机制垃圾回收算法分代回收垃圾回收器 JVM调优参数JVM调优工具Java内存泄漏排查思路CPU飙高排查方案…...

编程日记 2024/2/9 18:35:25

【错误文档】This与Here的区别、主系表结构、如何合并两个句子、祈使句结构

目录 This与Here的区别主系表结构如何合并两个句子祈使句结构原句中文1： “就是这件。” 我的翻译： This is it. 正确翻译： 书上原句： Here it is! 正确解释： 两个翻译都对，只是强调点不同&…...

编程日记 2024/2/9 18:33:22

Java入门之JavaSe（韩顺平p1-p?）

学习背景： 本科搞过一段ACM、研究生搞了一篇B会后，本人在研二要学Java找工作啦~~（宇宙尽头是Java？）爪洼纯小白入门，C只会STL、python只会基础Pytorch、golang参与了一个Web后端项目，可以说项目小…...

编程日记 2024/2/9 18:32:21

TCP的连接和断开详解

目录 1.TCP基础知识 1.1.TCP 头格式 1.2.TCP协议介绍 1.3.UDP协议介绍 1.4.TCP 和 UDP 区别 1.5.TCP 和 UDP 应用场景 1.6.计算机网络相关术语（缩写） 2.TCP 连接建立：三次握手 2.1.TCP 三次握手过程 2.2.三次握手原理 2.3.异常分析…...

编程日记 2024/2/9 18:31:19

armbian ddns

参考https://mp.weixin.qq.com/s/0Uu_nbGH_W6vAYHPH4kHqg Releases jeessy2/ddns-go GitHub mkdir -p /usr/local/ddns-go cd /usr/local/ddns-gowget https://github.com/jeessy2/ddns-go/releases/download/v6.1.1/ddns-go_6.1.1_freebsd_armv7.tar.gztar zxvf ddns-go_…...

编程日记 2024/2/9 18:25:13

文章目录

1. Introduction

相关文章：