当前位置: 首页 > news >正文

[Linux打怪升级之路]-缓冲区

前言

作者小蜗牛向前冲

名言我可以接受失败,但我不能接受放弃

  如果觉的博主的文章还不错的话,还请点赞,收藏,关注👀支持博主。如果发现有问题的地方欢迎❀大家在评论区指正

 本期学习目标:认识什么是缓冲区,缓冲区在哪里,模拟实现一个简单的缓冲区。

目录

一、缓冲区

1、见一个现象

2、缓冲区的相关知识

3、解释现象 

二、模拟实现缓冲区 

1、makefile 

2、myStdio.h 

 3、myStdio.c

4、test.c 


一、缓冲区

我们在重定向博客中曾经发现了一个现象,在做重定向实验时,我们将文件描述符fd = 1关闭掉,并通过open函数打开(创建)add.txt的文件,由于fd = 1 被关闭了,根据文件描述符fd的分配规则:是从小到大 ,遵循寻找最小而且没有被占用的的fd分配这时候fd = 1中file*的指针会指向add.txt文件中,就不在向显示器打印了,而要将open fd的内容写到add.txt中,但是我们通过cat命令查看add.txt中的内容却什么也没有,这是为什么呢?

这就不得不提缓冲区的概念,其实缓存区就是一段内存,但是这段内存是谁申请的?属于谁的?为什么要有缓冲区呢?

下面我们来看一个现象:

1、见一个现象

首先我们分别调用C接口和系统接口进行打印测试。

我们将mytest中的文件内容输出重定向到log.txt中,我们也在log.txt中查找到了输出的内容.

下面我们继续进行在代码测试,在代码最后用fork建立一个子进程

运行程序:

 我们发现 printf 和 fprintf及fputs(库函数)都输出了2次,而 write 只输出了一次(系统调用)。为什么呢?我们只是在多加了应该子进程而已,这说明出现这种现象肯定是和fork函数有关。

2、缓冲区的相关知识

为什么库函数会打印二次,而系统调用的函数只会被打印一次呢?毋庸置疑这肯定和缓冲区有关。

上面我们提到缓存冲区是一段内存,那么既然是一段内存肯定要被管理起来,而管理缓冲区的结构体我们称之为FILE,而且我们可以知道是缓冲区肯定不在内核中。

我们也可以在系统中见一见他

//输入命令
vim /usr/include/libio.h

 打开文件在246行这样就能看到_IO_FILE的结构体,不对啊吖,不是说FILE才是管理缓冲区的吗?

怎么变成了_IO_FILE的结构体,其实在其实是在:

typedef struct _IO_FILE FILE; 在/usr/include/stdio.h

中进行了重命名的,第48行就对_IO_FILE的结构体进行了typedef。

这里我们需要注意的是FILE结构体中也封装了fd,这就会在合适的时候,就会将在缓冲区中内容刷新到外设中。

缓冲区的刷新几种形式: 

立刻刷新       -----无缓冲

行刷新           ------显示器

缓冲区满刷新     -------磁盘文件

 那我们怎么理解上面的几种刷新方式呢?

立刻刷新是只直接在内存中的信息,刷新到外设,这种场景是非常少见的,因为这样非常消耗资源。

行刷新,就是缓冲区满了一行就刷新,也就是说我们在调用函数时有"\n"时就会进行刷新。

缓冲区满刷新,就是指缓冲区的内存满了,才会把缓冲区里面的内容刷新到外设中。

缓冲区的自动刷新规则:

  • 用户强制刷新
  • 进程退出

3、解释现象 

上面我们了解有关缓冲区的相关知识,那么为什么会出现我们上面的现象呢?

在代码结束前我们进行了子进程的创建:

代码结束之前,进行创建子进程
   1. 如果我们没有进行>,看到了4条消息
stdout 默认使用的是行刷新,在进程fork之前,三条C函数已经将数据进行打印输出到显示器上(外设),你的FILE内部,进程内部不存在对应的数据啦。
    2. 如果我们进行了>, 写入文件不再是显示器,而是普通文件,采用的刷新策略是全缓冲,之前的3条c显示函数,虽然带了\n,但是不足以stdout缓冲区写满!数据并没有被刷新!!!
    执行fork的时候,stdout属于父进程,创建子进程时, 紧接着就是进程退出!谁先退出,一定要进行缓冲区刷新(就是修改)
    由于写时拷贝!!数据最终会显示两份,所以在父子进程退出后,会立刻被缓冲区刷新,从而导致三条C函数分别进行了二次打印。
3. write为什么没有呢?

上面的过程都和wirte无关,wirte没有FILE,而用的是fd,就没有C提供的缓冲区

 这里我们就可以回答:

缓冲区在哪里

在FILE*指向的FILE结构体中(这也就是为什么,我们自己要强制刷新的时候要传文件指针,fflush(文件指针),fclose(文件指针))。

重定向实验的现象:

因为我们虽然将open fd的内容要写入到add.txt中,但是由于add.txt是普通文件,他采取的方式是全缓存,就不足以以让缓冲区刷新到显示器(stdout)中,所以通过cat 命令查看会什么也查不出来。

二、模拟实现缓冲区 

这里我们分模块化实现:

1、makefile 

这里我们用makefile来完成对程序的自动化编译和构建程序

test:test.c myStdio.c   //依赖关系                                                                                 gcc -o $@ $^ -std=c99//依赖方法
.PHONY:clean//声明伪目标clean
clean:rm -f test

2、myStdio.h 

myStdio.h中对 缓冲区结构进行定义并且进行相关的函数声明:

#pragma once#include <assert.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>#define SIZE 1024
#define SYNC_NOW    1//sync能够马上刷新缓冲区(马上刷新)
#define SYNC_LINE   2//行刷新
#define SYNC_FULL   4//全缓冲刷新typedef struct _FILE{int flags; //刷新方式int fileno;int cap; //buffer的总容量int size; //buffer当前的使用量char buffer[SIZE];
}FILE_;FILE_ *fopen_(const char *path_name, const char *mode);
void fwrite_(const void *ptr, int num, FILE_ *fp);
void fclose_(FILE_ * fp);
void fflush_(FILE_ *fp)

 3、myStdio.c

 在myStdio.c中对 缓冲区功能函数进行实现:

这里我们主要实现:

fopen_打开文件。fwrite_x向文件中写入,fflush_刷新缓冲区,fclose_关闭文件

#include "myStdio.h"FILE_ *fopen_(const char *path_name, const char *mode)
{int flags = 0;int defaultMode=0666;if(strcmp(mode, "r") == 0){flags |= O_RDONLY;}else if(strcmp(mode, "w") == 0){flags |= (O_WRONLY | O_CREAT |O_TRUNC);}else if(strcmp(mode, "a") == 0){flags |= (O_WRONLY | O_CREAT |O_APPEND);}else{//TODO}int fd = 0;if(flags & O_RDONLY) fd = open(path_name, flags);else fd = open(path_name, flags, defaultMode);if(fd < 0){const char *err = strerror(errno);write(2, err, strlen(err));return NULL; // 为什么打开文件失败会返回NULL}FILE_ *fp = (FILE_*)malloc(sizeof(FILE_));assert(fp);fp->flags = SYNC_LINE; //默认设置成为行刷新fp->fileno = fd;fp->cap = SIZE;fp->size = 0;memset(fp->buffer, 0 , SIZE);return fp; // 为什么你们打开一个文件,就会返回一个FILE *指针
}void fwrite_(const void *ptr, int num, FILE_ *fp)
{// 1. 写入到缓冲区中memcpy(fp->buffer+fp->size, ptr, num); //这里我们不考虑缓冲区溢出的问题fp->size += num;// 2. 判断是否刷新if(fp->flags & SYNC_NOW){write(fp->fileno, fp->buffer, fp->size);fp->size = 0; //清空缓冲区}else if(fp->flags & SYNC_FULL){if(fp->size == fp->cap){write(fp->fileno, fp->buffer, fp->size);fp->size = 0;}}else if(fp->flags & SYNC_LINE){if (strcmp(&(fp->buffer[fp->size - 1]), "\n") == 0){write(fp->fileno, fp->buffer, fp->size);fp->size = 0;}}else{}
}void fflush_(FILE_ *fp)
{if( fp->size > 0) write(fp->fileno, fp->buffer, fp->size);fsync(fp->fileno); //将数据,强制要求OS进行外设刷新!fp->size = 0;
}void fclose_(FILE_ * fp)
{fflush_(fp);close(fp->fileno);
}

4、test.c 

#include "myStdio.h"
#include <stdio.h>int main()
{FILE_ *fp = fopen_("./hello.txt", "w");if(fp == NULL){return 1;}int cnt = 10;const char *msg = "hello pjb ";while(1){fwrite_(msg, strlen(msg), fp);sleep(1);printf("count: %d\n", cnt);cnt--;if(cnt == 0) break;}fclose_(fp);return 0;
}

 下面写一个简单的bush脚本:

 while :; do cat hello.txt;sleep 1;echo "###############";done

这是一个简单的 Bash 脚本,它的功能是循环读取并打印文件 "hello.txt" 的内容,并每隔 1 秒打印一条分隔线。

解释一下脚本的含义:

  • while :; do 表示开始一个无限循环。
  • cat hello.txt 使用 cat 命令读取并打印 "hello.txt" 文件的内容。
  • sleep 1 表示暂停执行 1 秒,即等待一秒钟。
  • echo "###############" 打印一条分隔线,由多个 "#" 字符组成。
  • done 表示循环结束。

因此,执行这段脚本时,会不断循环读取并打印 "hello.txt" 文件的内容,每次打印之间会有一秒的暂停,并且在每次打印后会输出一条分隔线。

请确保当前目录下存在名为 "hello.txt" 的文件,并且具有可读权限。

测试:

 1、当写入文件的msg字符串不带换行符时。

    const char *msg = "hello pjb ";

 

 这里我们观察到当程序结束时,才将缓冲区中的内容刷新到hello.txt文件中。

2、当写入文件的msg字符串带换行符

    const char *msg = "hello pjb\n";

这里名为可以验证到带\n普通文件是逐行进行刷新的。

缓冲区总结 :

看到这些现象我们不由的想缓存区的刷新策略:有全缓存,行缓冲,立即刷新

上面是我们自己进行的封装,但是这和os(操作系统)有什么关系呢?下面来看一幅图

 

这幅图大致说明了字符串,要写入到文件中,需要经过层层拷贝在 最终由操作系统(OS)决定刷新到磁盘文件中。

这里我们要注意的是,在有用户刷新到C语言的缓冲区(FILE)中才会遵循全缓冲,行缓冲。对于操作系统来说他会自己调配资源进行刷新。

特别注意:

我们也可以强制OS刷新,调用fflush()就可以了。

ffush()的底层:

void fflush_(FILE_ *fp)
{if( fp->size > 0) write(fp->fileno, fp->buffer, fp->size);fsync(fp->fileno); //将数据,强制要求OS进行外设刷新!fp->size = 0;
}

其实是调用来fsync的接口进行强制刷新。

相关文章:

[Linux打怪升级之路]-缓冲区

前言 作者&#xff1a;小蜗牛向前冲 名言&#xff1a;我可以接受失败&#xff0c;但我不能接受放弃 如果觉的博主的文章还不错的话&#xff0c;还请点赞&#xff0c;收藏&#xff0c;关注&#x1f440;支持博主。如果发现有问题的地方欢迎❀大家在评论区指正 本期学习目标&…...

【力扣】13. 罗马数字转整数

题目描述 罗马数字包含以下七种字符: I&#xff0c; V&#xff0c; X&#xff0c; L&#xff0c;C&#xff0c;D 和 M。 字符数值I1V5X10L50C100D500M1000 例如&#xff0c; 罗马数字 2 写做 II &#xff0c;即为两个并列的 1 。12 写做 XII &#xff0c;即为 X II 。 27 写…...

高效时间管理,事无巨细掌握——OmniFocus Pro 3 for Mac最强GTD工具

在快节奏的现代生活中&#xff0c;有效地管理和安排时间变得至关重要。如果您正在寻找一款功能强大的时间管理工具&#xff0c;那么OmniFocus Pro 3 for Mac将是您的最佳选择。作为一款专业的GTD&#xff08;Getting Things Done&#xff09;应用程序&#xff0c;它为您提供了一…...

解锁前端Vue3宝藏级资料 第五章 Vue 组件应用 3( Slots )

5.4 Slots 我们已经了解到组件能够接收任意类型的 JavaScript 值作为 props&#xff0c;但组件要如何接收模板内容呢&#xff1f;在某些场景中&#xff0c;我们可能想要为子组件传递一些模板片段&#xff0c;让子组件在它们的组件中渲染这些片段。Slots 可用于将Html内容从父组…...

接口测试之文件上传

在日常工作中&#xff0c;经常有上传文件功能的测试场景&#xff0c;因此&#xff0c;本文介绍两种主流编写上传文件接口测试脚本的方法。 首先&#xff0c;要知道文件上传的一般原理&#xff1a;客户端根据文件路径读取文件内容&#xff0c;将文件内容转换成二进制文件流的格…...

7.Flask-Migrate数据库迁移

基本介绍 flask-migrate是基于Alembic的一个封装,并集成到Flask中 所有的迁移操作其实都是Alembic做的,能跟踪模型的变化,并将变化映射到数据库中 一.安装 pip install flask-migrate二.基本使用 2.1初始化数据库迁移脚本 在Flask应用的根目录下&#xff0c;运行命令 flas…...

信创办公–基于WPS的PPT最佳实践系列 (项目8创建电子相册)

信创办公–基于WPS的PPT最佳实践系列 &#xff08;项目8创建电子相册&#xff09; 目录 应用背景操作步骤 应用背景 如果我们想把图片弄成相册&#xff0c;或者弄成一段有音乐的视频分享给朋友。我们可以利用PPT来制作。那我们如何用PPT制作电子相册或视频呢&#xff1f;可以跟…...

JRedis的基本操作,基本数据类型操作

Redis的基本数据类型&#xff1a; stringhashlistsetzset {public static void main(String[] args) {Jedis jedis new Jedis("127.0.0.1", 6379);// stringjedis.set("hello", "word");String hello jedis.get("hello");System.o…...

QT网页 webengine / CEF

QT WebEngine 官方文档 WebEngine 架构&#xff1a; 能看到 WebEngine 有一个核心模块是基于 Chromium 构造的&#xff0c;通过使用 Chromium 的Blink渲染引擎和V8 JavaScript引擎来处理和渲染Web内容&#xff0c;并将这些底层技术封装为一系列高级的C类和接口&#xff0c;以…...

Golang笔试题:编写一个函数,接收一个整数参数n,输出n的阶乘结果

今天&#xff0c;我们开发的AI笔试题工具&#xff0c;ai扁食——AI程序员笔试系统给我出了中级Golang题目&#xff0c;就是这道题&#xff1a;《请编写一个函数&#xff0c;接收一个整数参数n&#xff0c;输出n的阶乘结果》&#xff0c;希望我写一个函数&#xff0c;输出n的阶乘…...

外包干了2个月,技术退步明显.......

先说一下自己的情况&#xff0c;大专生&#xff0c;18年通过校招进入武汉某软件公司&#xff0c;干了接近4年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试…...

无涯教程-JavaScript - BINOM.DIST函数

描述 BINOM.DIST函数返回单个项二项式分布概率。 在具有固定数量的测试或试验的问题中使用BINOM.DIST。 当任何试验的输出只是成功或失败时 试验是独立的,并且 在整个实验中成功的概率不变的情况 语法 BINOM.DIST (number_s,trials,probability_s,cumulative)争论 Argu…...

linux定时重启tomcat

1.编辑重启Tomcat命令 首先编辑一个文件 vi my_restart.sh 然后输入&#xff1a; #!/bin/bash . /etc/profile tomcatPath"/opt/finereport/tomcat" binPath"$tomcatPath/bin" echo "[info][$(date %F %H:%M:%S)]正在监控tomcat&#xff0c;路径&a…...

在静态方法中访问@Value注入的静态变量!!

一、 静态变量 static修饰的成员变量&#xff0c;称为静态成员变量&#xff0c;静态成员变量最大的特性&#xff1a;不属于某个具体的对象&#xff0c;是所有对象所共享的 简单来说&#xff1a;在某些类的对象中存在一些相同的成员变量&#xff0c;那么这种成员变量就可以设置…...

掌握这些算法,让你的编程之路更顺畅——重要算法解析

一个程序员一生中可能会邂逅各种各样的算法&#xff0c;但总有那么几种&#xff0c;是作为一个程序员一定会遇见且大概率需要掌握的算法。这些算法通常被广泛应用于日常编程工作中&#xff0c;是提升编程效率和解决实际问题的重要工具。本文将介绍几种十分重要的“必抓&#xf…...

flink集群与资源@k8s源码分析-总述

1 简介 集群和资源模块提供动态资源能力,是分布式系统关键基础设施,分布式datax,分布式索引,事件引擎都需要集群和资源的弹性资源能力,提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块,深入了解其设计原理,为开发自有的集群和资源组件做技术准备, 同时涉…...

LeetCode 0213. 打家劫舍 II:动动态规划

【LetMeFly】213.打家劫舍 II&#xff1a;动动态规划 力扣题目链接&#xff1a;https://leetcode.cn/problems/house-robber-ii/ 你是一个专业的小偷&#xff0c;计划偷窃沿街的房屋&#xff0c;每间房内都藏有一定的现金。这个地方所有的房屋都 围成一圈 &#xff0c;这意味…...

VMware17 不可恢复错误mks解决方案

用的虚拟机VMware17版本&#xff0c;然后运行带HDR的unity程序&#xff0c;结果报错 网上找了很多解决方案&#xff0c;都没用。毕竟需要在不放弃虚拟机3D加速的情况下运行。 最终皇天不负有心人&#xff0c;亲测有效的方法&#xff1a; 在虚拟机名字.vmx文件里添加以下2行&a…...

【深度学习】 Python 和 NumPy 系列教程(廿五):Matplotlib详解:3、多子图和布局:subplot()函数

目录 一、前言 二、实验环境 三、Matplotlib详解 1、2d绘图类型 2、3d绘图类型 3、多子图和布局 1. subplot()函数 简单示例 一、前言 Python是一种高级编程语言&#xff0c;由Guido van Rossum于1991年创建。它以简洁、易读的语法而闻名&#xff0c;并且具有强大的功能…...

计算机网络知识补充(1)

计算机网络:是一个将分散的&#xff0c;具有独立功能的计算机系统&#xff0c;通过通信设备和线路进行连接起来&#xff0c;由功能完善的软件实现资源共享和信息共享的系统&#xff0c;计算机网络是互连的&#xff0c;自治的计算机集合 互连:通过通信链路来进行互联互通 自治:没…...

C# Onnx Yolov8 Pose 姿态识别

效果 项目 代码 using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using OpenCvSharp; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System…...

7.algorithm2e中while怎么使用

algorithm2e中while怎么使用 在 algorithm2e 宏包中&#xff0c;要使用 while 循环&#xff0c;您可以使用 \While 和 \EndWhile 命令来定义循环的开始和结束。以下是如何使用 while 循环的示例&#xff1a; \documentclass{article} \usepackage[linesnumbered,boxed]{algorit…...

Flask狼书笔记 | 08_个人博客(下)

文章目录 8 个人博客8.4 初始化博客8.5 使用Flask-Login管理用户认证8.6 CSRFProtect实现CSRF保护8.7 编写博客后台小结 8 个人博客 8.4 初始化博客 1、安全存储密码 密码不要以明文的形式直接存储在数据库中&#xff0c;以防被攻击者盗取、泄露。一般的做法是&#xff0c;不…...

机器学习第十课--提升树

一.Bagging与Boosting的区别 在上一章里我们学习了一个集成模型叫作随机森林&#xff0c;而且也了解到随机森林属于Bagging的成员。本节我们重点来学习一下另外一种集成模型叫作Boosting。首先回顾一下什么叫Bagging? 比如在随机森林里&#xff0c;针对于样本数据&#xff0c;…...

react scss.modules中使用iconfont

全局引入详见全局引入scss 全局的scss文件中引入iconfont.css use "../font/iconfont.css"; 然后就可以正常使用啦...

使用Jmeter+ant进行接口自动化测试(数据驱动)

最近在做接口测试&#xff0c;因为公司有使用jmeter做接口测试的相关培训资料&#xff0c;所以还是先选择使用jmeter来批量管理接口&#xff0c;进行自动化测试。话不多说&#xff0c;进入正题&#xff1a; 1.使用csv文件保存接口测试用例&#xff0c;方便后期对接口进行维护&…...

可视化图表组件之股票数据分析应用

股市是市场经济的必然产物&#xff0c;在一个国家的金融领域之中有着举足轻重的地位。在过去&#xff0c;人们对于市场走势的把握主要依赖于经验和直觉&#xff0c;往往容易受到主观因素的影响&#xff0c;导致决策上出现偏差。如今&#xff0c;通过数据可视化呈现&#xff0c;…...

STM32 ~ GPIO不同模式之间的区别与实现原理

GPIO全称General Purpose Input Output &#xff0c;即通用输入/输出。其实GPIO的本质就是芯片的一个引脚&#xff0c;通常在ARM中所有的I/O都是通用的。不过&#xff0c;由于每个开发板上都会设计不同的外围电路&#xff0c;这就造成了GPIO的功能可能有所不同。大部分GPIO都是…...

dvwa靶场通关(十二)

第十二关&#xff1a;Stored Cross Site Scripting (XSS)&#xff08;存储型xss&#xff09; low 这一关没有任何防护&#xff0c;直接输入弹窗代码 弹窗成功 medium 先试试上面的代码看看&#xff0c;有没有什么防护 发现我们的script标签不见了&#xff0c;应该是被过滤掉…...

【shell学习】企业运维工作中常用的shell脚本

本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》&#xff1a;python零基础入门学习 《python运维脚本》&#xff1a; python运维脚本实践 《shell》&#xff1a;shell学习 《terraform》持续更新中&#xff1a;terraform_Aws学习零基础入门到最佳实战 《k8…...

wordpress跟php/重庆seo网站收录优化

如果用jquery的话&#xff1a; var lable_a $(li).children(a); lable_a.click(function() { lable_a.css(color, black); $(this).css(color, red); });...

网站建设公司官网/舆情管理

1 docker数据卷之docker volume2 3 docker中数据卷其实就类似于虚拟机的虚拟磁盘&#xff0c;在虚拟机的虚拟磁盘的使用过程中&#xff0c;我们可以将本地的磁盘文件或目录挂载4 到这个虚拟磁盘上&#xff0c;从而完成对本机数据的读写。5 6 7 docker数据卷的创建可以在创建这个…...

网站的转盘游戏怎么做/个人网站设计

知乎的水印是如何批量添加的&#xff1f;您想拥有这个本领吗&#xff1f;我在opencv论坛发现了这个趣图添加logo的方法&#xff0c;也许您正需要这个代码&#xff0c;那我就诚心分享下吧。如何删除结果图像中mainlogo.png周围的黑色边框?import cv2 import numpy as np import…...

网站如何上传数据库/爱廷玖达泊西汀

通常我们都建议不要把mysql的datadir设置为文件系统的根目录&#xff0c;否则&#xff0c;show database的时候&#xff0c;会发现一个 奇怪的db: #mysql50#lostfoundmysql [localhost] {msandbox} (test) > SHOW DATABASES;---------------------| DATABASE |-------------…...

有没有专门做游戏辅助的网站/网络营销主要干什么

论文与代码论文地址&#xff1a;https://ieeexplore.ieee.org/document/9905640/代码地址&#xff1a;未开源背景与动机作者认为阻碍航拍场景目标检测发展的原因主要有以下两个&#xff1a;航拍图像中存在大量困难目标&#xff0c;文中作者把困难目标总结为小目标和遮挡的目标。…...

邢台做网站的价格究竟多少钱?/交换链接案例

1 问题 解决svn: E160028: Commit failed (details follow): svn is out of date问题 2 分析 项目太久未同步了 3 解决问题 更新项目再传一次咯 有其他交流的想法&#xff0c;可以加我创建的Q群&#xff1a;820080257...