当前位置: 首页 > news >正文

文件四剑客

目录

前言

一、正则表达式

二、grep

三、find

四、sed

五、awk



前言

文件四剑客是指在计算机领域中常用的四个命令行工具,包括awk、find、grep和sed。它们在处理文本文件和搜索文件时非常强大和实用。

1. awk是一种强大的文本处理工具,它允许用户根据指定的规则处理文本文件。它可以根据字段分隔符对文本进行分割,并且可以对行、列或者多个列进行操作。它还支持条件语句、循环和函数等功能,可以进行复杂的文本处理和数据分析。

2. find是一种用于搜索文件的工具,它可以在指定的文件夹及其子文件夹中查找满足指定条件的文件。用户可以根据文件名、日期、大小等条件来搜索文件。它还支持使用正则表达式进行高级搜索。

3. grep是一种用于搜索文本的工具,它可以在文本文件中查找满足指定模式的行。用户可以根据关键字、正则表达式等条件来搜索文本。它还支持递归搜索、忽略大小写和显示上下文等功能。

4. sed是一个流编辑器,用于对文本进行编辑和转换。它可以根据指定的规则对文本进行替换、删除、插入和打印等操作。它还支持正则表达式、条件语句和循环等功能,可以进行灵活的文本处理。

这四个工具在命令行中经常被使用,它们可以单独使用,也可以结合起来实现更复杂的操作。它们在文本处理、数据分析和文件搜索等方面提供了强大而灵活的功能。


一、正则表达式

 在此之前我们先准备一份文件test.txt用来练习

##创建
vim /test.txt
##插入
shirt
short
good
food
wood
wooooooood
gooood
adcxyzxyzxyz
abcABC
best
besssst
ofion
ofson
ofison
AxyzxyzC
test
tast
hoo
boo
joo

a)查找特定字符 cat test.txt | grep -n '需要查找的内容'   其中-n表示显示行数

例如我查找hoo

 b)利用[]查找集合字符
    cat test.txt | grep -n 'w[io]' 查找以w开头并匹配其中带有i或o的内容


    cat test.txt | grep -n '[^w]'     排除开头为w的内容

cat test.txt |grep -n '^[w]'  筛选出以w开头的内容


    cat test.txt | grep -n '[a-h]oo'  筛选出含有a.b.c并有 oo的内容


    cat test.txt | grep -n '[a-c]' 筛选出含有abcd的内容

 c)查找行首"^"与行尾"$"
    cat test.txt | grep -n '^[a]' 查找a开头的内容
    cat test.txt | grep 'C$'    查找C结尾的内容

 d)查找任意一个字符"."与重复字符"*"
    cat test.txt | grep -n 'b.o'查找开头是b结尾是o的三个字符的内容
    cat test.txt | grep -n 'oooo*'查找所有oooo的内容

e)查找连续的字符范围"{}",需要使用转义符,"\{\}"  

1. `cat test.txt | grep -n 'o\{2\}'`
   这条命令首先使用cat命令将test.txt文件的内容输出到标准输出,然后通过管道(|)将其传递给grep命令进行搜索。grep命令使用`-n`选项来显示匹配行的行号,并使用正则表达式`'o\{2\}'`来匹配含有两个连续的字母o的行。

2. `cat test.txt | grep -n 'wo\{2,5\}d'`
   这条命令的操作与第一条命令类似,只是正则表达式`'wo\{2,5\}d'`用来匹配以两个到五个连续的字母o开始,并以字母d结尾的行。

3. `cat test.txt | grep -n 'wo\{2,\}d'`
   这条命令仍然与前两条命令类似,正则表达式`'wo\{2,\}d'`用来匹配以两个或更多连续的字母o开始,并以字母d结尾的行。

f)+,重复一个或一个以上的前一个字符
    cat test.txt | grep -nE 'wo+d' 或者cat test.txt | egrep -n 'wo+d'

g)?,零个或者一个前一个字符
    cat test.txt | egrep -n 'g?od'在正则表达式'g?od'中,?是一个特殊字符,表示前面的字符(这里是字母g)可出现0次或1次。因此,这个正则表达式将匹配包含“od”或“god”的行。也就是说,它匹配包含“od”或“god”的行,其中字母g可选。'

 h)|,使用或者的方式找出多个字符
    cat test.txt | egrep -n 'of|is|on'  这里是表示多个晒选条件,可以不是同一个,这里是查找带有of/is/on的内容

 i)(),查找组字符串
    cat test.txt | egrep -n 't(a|e)st'

 l)()+,辨别多个重复的组
    cat test.txt | egrep -n 'A(xyz)+C'

以下为了解:

常见正则表达式
    数字
        “^[0-9]*[1-9][0-9]*$” //正整数  
        “^((-\d+)|(0+))$” //非正整数(负整数 + 0)  
        “^-[0-9]*[1-9][0-9]*$” //负整数  
        “^-?\d+$” //整数
        “^\d+(\.\d+)?$” //非负浮点数(正浮点数 + 0)  
        “^(([0-9]+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*))$” //正浮点数
        “^((-\d+(\.\d+)?)|(0+(\.0+)?))$” //非正浮点数(负浮点数 + 0)
        “^(-?\d+)(\.\d+)?$” //浮点数
    字符串
        “^[A-Z]+$” //由26个英文字母的大写组成的字符串  
        “^[a-z]+$” //由26个英文字母的小写组成的字符串  
        “^[A-Za-z0-9]+$” //由数字和26个英文字母组成的字符串  
        “^\w+$” //由数字、26个英文字母或者下划线组成的字符串
    Email
        “^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$” //email地址  
        “^([w-.]+)@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.)|(([w-]+.)+))([a-zA-Z]{2,4}|[0-9]{1,3})(]?)$”   //Email
    Url
        “^[a-zA-z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\S*)?$” //url
    IP
        “^(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5]).(d{1,2}|1dd|2[0-4]d|25[0-5])$”   //IP地址
    Tel
        /^((\+?[0-9]{2,4}\-[0-9]{3,4}\-)|([0-9]{3,4}\-))?([0-9]{7,8})(\-[0-9]+)?$/     //电话号码
    日期校验
           /^(d{2}|d{4})-((0([1-9]{1}))|(1[1|2]))-(([0-2]([1-9]{1}))|(3[0|1]))$/   //  年-月-日    yyyy-MM-dd / yy-MM-dd 格式
           "^[0-9]{4}-((0([1-9]{1}))|(1[1|2]))-(([0-2]([0-9]{1}))|(3[0|1]))$"   // 年-月- 日  yyyy-MM-dd 格式
          /^((0([1-9]{1}))|(1[1|2]))/(([0-2]([1-9]{1}))|(3[0|1]))/(d{2}|d{4})$/   // 月/日/年

 二、grep

1、grep用于筛选文件的内容 :
    -r递归扫描指定目录下的每一个文件
    -l只显示匹配到指定关键字的文件名,而不是文件内容

[root@bogon opt]# grep -lr "good" .
./test.txt
####这表示在当前目录查询那个文件内有“good”这个内容

2、案例
    查看/etc目录下所有包含bash的文件名
    grep -rl bash /etc

3、egrep完美支持正则表达式

三、find

1、find ./  -type f -prem  644 查找当前目录下权限为644的文件

[root@localhost opt]# find ./ -type f -perm 644
./test.txt
./1.sh
[root@localhost opt]# ll
总用量 8
-rw-r--r--  1 root root 767 8月  21 22:00 1.sh
drwxr-xr-x. 2 root root   6 10月 31 2018 rh
-rw-r--r--  1 root root  12 8月  21 21:59 test.txt

2、按照时间戳查找
    -atime
    -mtime
    -ctime

按照时间戳查找是指根据文件的访问时间、修改时间和状态改变时间来搜索文件的过程。在Linux系统中,可以使用find命令来进行这样的时间戳搜索。具体的时间戳搜索可以使用以下三个选项:1. -atime:根据文件的访问时间来搜索文件。访问时间指的是文件最后一次被访问的时间。使用该选项时,可以指定一个时间参数,如+n、-n或n,来搜索在指定时间范围内被访问的文件。示例:查找在过去30天内被访问过的文件find /path/to/search -type f -atime -302. -mtime:根据文件的修改时间来搜索文件。修改时间指的是文件内容最后一次被修改的时间。使用该选项时,也可以指定一个时间参数,来搜索在指定时间范围内被修改的文件。示例:查找在过去7天内被修改过的文件find /path/to/search -type f -mtime -73. -ctime:根据文件的状态改变时间来搜索文件。状态改变时间指的是文件元数据(如权限、所有者等)最后一次改变的时间。同样地,可以指定一个时间参数来搜索在指定时间范围内状态改变的文件。示例:查找在过去24小时内状态改变过的文件find /path/to/search -type f -ctime -1在这些示例中,`/path/to/search`是要搜索的目录路径,`-type f`用于限制搜索仅包括文件而不包括目录。通过这些选项,可以根据文件的访问时间、修改时间和状态改变时间来精确搜索和筛选文件。

3、-exec   find /var/spool/mail -type f -exec rm -rf {} \;
      xargs   find /var/spool/mail -type f | xargs rm -rf

查看所有邮箱中的文件并
##-execfind /var/spool/mail -type f -exec rm -rf {} \;
##xargsfind /var/spool/mail -type f | xargs rm -rf

四、sed

语法:sed [选项] '操作' 参数
        sed [选项] -f scriptfile 参数

选项
    -e:表示用指定命令或脚本处理
    -f:指定脚本文件
    -h:帮助
    -n:表示仅显示处理后的结果
    -i:直接编辑文本文件
    -r:支持扩展正则
操作
    a:增加,在当前行下面以行增加指定内容
    c:替换,将选定行替换
    d:删除,删除指定行
    i:插入,在选定行的上面插入一行
    p:打印
    s:替换,替换指定字符
    y:字符转换

1.输出符合条件的文本:
sed -n 'p' test.txt 	#相当于cat
sed -n '3p' test.txt	#打印第3行
sed -n '3,6p' test.txt	#打印第3到6行的内容
sed -n 'p;n' test.txt	#打印奇数行
sed -n 'n;p' test.txt	#打印偶数行
sed -n '1,6{p;n}' test.txt	#打印1到6行之间的奇数行
sed -n '5,${p;n}' test.txt	#从第5行开始打印奇数行
sed -n '/the/p' test.txt	#匹配the
sed -n '5,/the/p' test.txt 	#匹配从第5行开始到包含the的行
sed -n '/the/,10p' test.txt 	#匹配从包含the的行到第10行结束
sed -n '/the/=' test.txt	#打印包含the的行号
2.删除符合条件的文本nl test.txt | sed '3d'	#删除第3行nl test.txt | sed '3,5d'nl test.txt | sed '/the/d'	#删除the所在行
3.替换符合条件的文本nl test.txt | sed 's/the/TTTTTT/'	#替换全文本nl test.txt | sed '4s/the/TTTTTT/'	#替换第4行nl test.txt | sed 's/l/L/2'		#替换匹配到的第2个l

以上修改想要直接修改文本源文件,只需要加入选项"-i"

五、awk

语法
    awk 选项 '模式或条件{编辑命令}' 文件1 文件2 ...
    awk -f 脚本文件 文件1 文件2 ...

语法awk 选项 '模式或条件{编辑命令}' 文件1 文件2 ...awk -f 脚本文件 文件1 文件2 ...
选项-F指定每行的分隔符默认分隔符为空格
内建变量FS:指定每行的分隔符NF:指定当前处理行的字段个数NR:当前处理行的行号$0:当前处理行的整行内容$n:当前处理的第n个字段FILENAME:处理文件名RS:数据记录分隔,默认是\n
案例:a)按行输出awk '{print}' test.txt 	 	#等同cat awk 'NR>=1&&NR<=3{print}' test.txt awk 'NR==1,NR==3{print}' test.txt #打印1到3行awk 'NR%2==0{print}' test.txt 	#打印偶数行b)按段输出默认以"空格"分段!ifconfig ens33 |awk '/netmask/{print $2}' #筛选IP地址cat /etc/shadow | awk -F : '$2=="!!"{print $1}' #打印不能登录系统的用户c)调用shell命令cat /etc/passwd | awk -F : '/bash$/{print | "wc -l"}' /etc/passwd 	#统计能够登录系统的用户个数	

相关文章:

文件四剑客

目录 前言 一、正则表达式 二、grep 三、find 四、sed 五、awk 前言 文件四剑客是指在计算机领域中常用的四个命令行工具&#xff0c;包括awk、find、grep和sed。它们在处理文本文件和搜索文件时非常强大和实用。 1. awk是一种强大的文本处理工具&#xff0c;它允许用户根据指…...

使用lambda表达式提取共用代码使其更加简洁

1、在开发预下单接口访问并发问题出现需要加锁代码如下 RLock lock redissonClient.getLock(String.format(appointmentKey, activityId, studentId));try {boolean tryLock lock.tryLock(10, 20, TimeUnit.SECONDS);if (tryLock) {AppointmentMallOrderInfoDTO appointmentM…...

【八股】2023秋招八股复习笔记3(智力题 非技术题50道)

文章目录 1、智力题赛⻢问题烧绳⼦问题找出最重球问题药丸问题有两个杯⼦&#xff0c;囚犯问题⽣孩⼦问题赢汽⻋问题卡牌问题拿硬币问题量⽔问题聚会问题数字游戏问题艾滋病问题找出变质药问题毒药问题分盐问题弹球问题病狗问题⽕⻋运煤问题分苹果问题分⾦条问题搬⾹蕉问题舀酒…...

服务器卡顿如何排查?

服务器网络卡&#xff0c;一般情况下&#xff0c;请先检查您服务器的使用情况。 1.CPU使用率是否大于50%。 2.网络使用率是否过高。 3.内存使用率是否过高。 如果出现上述情况&#xff0c;则表明您的服务器或网络无法承载您目前的服务&#xff0c;请联系技术人员调整您的资…...

设计模式——开闭原则

文章目录 基本介绍看下面一段代码方式 1 的优缺点改进的思路分析 基本介绍 开闭原则&#xff08;Open Closed Principle&#xff09;是编程中最基础、最重要的设计原则 一个软件实体如类&#xff0c;模块和函数应该对扩展开放(对提供方)&#xff0c;对修改关闭(对使用方)。用抽…...

服务器能运行什么应用

服务器能运行什么应用 服务器是一种应用范围很广的网络技术产品&#xff0c;它在影视、视频以及医疗和金融等多个领域&#xff0c;都可以发挥使用价值&#xff0c;那么服务器能运行什么应用?大家跟着壹基比小鑫一起来了解吧&#xff01; 服务器的作用是什么&#xff1f; 服…...

Linux TCP协议

传输层的协议主要有三个&#xff1a;TCP协议&#xff08;可靠&#xff09;、UDP协议&#xff08;不可靠&#xff09;和SCPT协议&#xff08;不可靠&#xff09;。 一、TCP协议的概念 TCP协议也称传输控制协议&#xff0c;是一种可靠的、面向连接的、基于字节流的传输层通信协…...

pytorch 入门1-tensor 广播 view reshape

tensor 的四则运算broadcast import torch import numpy as np # 张量tensor 随机初始化 x torch.rand(4,3) print(x) y torch.randn(4,3) print(y)# 初始化全零 张量 a torch.zeros((4,4),dtypetorch.long) print(a) #初始化全一 张量 b torch.ones(4,4) print(b) c tor…...

Spring参数注解,支持数组入参(List)校验

Spring参数注解&#xff0c;支持数组入参&#xff08;List&#xff09;校验 1、controller类增加Validated注解&#xff0c;对应的数组参数增加Valid注解。 Validated RestController RequestMapping("/parent") public class ParentController {private FatherRepos…...

如何使用ArcGIS进行可视化分析

概述 通视分析是指以某一点为观察点&#xff0c;研究某一区域通视情况的地形分析&#xff0c;利用DEM判断地形上任意两点之间是否可以互相可见的技术方法&#xff0c;分为视线通视分析和视域通视分析&#xff0c;前者判断任意两点之间能否通视&#xff0c;后者从任一点出发&am…...

计算机竞赛 基于LSTM的天气预测 - 时间序列预测

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 机器学习大数据分析项目 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f9ff; 更多资料, 项目分享&#xff1a; https://gitee.com/dancheng-senior/po…...

uniapp 回退到指定页面 保存页面状态

uniapp 历史页面回退到指定页面。 getCurrentPages() 内容如下 let delta getCurrentPages().reverse().findIndex(item > item.route "pages/popularScience/daodi") if(delta-1){uni.navigateTo({url: /pages/popularScience/daodi,success: res > {},fa…...

ansible(1)-- 部署ansible连接被控端

目录 一、部署ansible 1.1 安装 1.2 测试连接 192.168.136.55 ansible 192.168.136.56被控端 一、部署ansible 1.1 安装 zabbix-s只是主机名&#xff0c;不用在意&#xff0c;更好该主机也安装了zabbix&#xff0c;不好更改。 下载阿里云epel源 #安装阿里云的epel源&#…...

Log4j反序列化命令执行漏洞(CVE-2017-5645)Apache Log4j2 lookup JNDI 注入漏洞(CVE-2021-44228)

一.Log4j反序列化命令执行漏洞(CVE-2017-5645&#xff09; Apache Log4j是一个用于Java的日志记录库&#xff0c;其支持启动远程日志服务器。Apache Log4j 2.8.2之前的2.x版本中存在安全漏洞。攻击者可利用该漏洞执行任意代码 环境&#xff1a;vulhub 工具下载地址&#xff1…...

echarts 之 科技感进度条

1.图片展示 2.代码实现 /* ng qty 进度条 */ <template><div class"ngqty-progress"><div class"ngqty-info"><span>X4</span><span>50%</span></div><div :id"barNgQtyProgress index" c…...

基于gin关于多级菜单的处理

多级菜单是很多业务场景需要的。下面是一种处理方式 // 生成树结构 func tree(menus []*video.XkVideoCategory, parentId uint) []*video.XkVideoCategory {//定义子节点目录var nodes []*video.XkVideoCategoryif reflect.ValueOf(menus).IsValid() {//循环所有一级菜单for …...

Oracle/PL/SQL奇技淫巧之Lable标签与循环控制

在一些存储过程场景中&#xff0c;可能存在需要在满足某些条件时跳出循环的场景&#xff0c; 但是在PL/SQL中&#xff0c;不能使用break语句直接跳出循环, 但是可以通过lable标签的方式跳出循环&#xff0c;例&#xff1a; <<outer_loop>> FOR i IN 1..5 LOOPDBMS…...

Docker基础操作

1.安装docker服务&#xff0c;配置镜像加速器 安装docker服务 清理缓存 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-enginesystemctl enable --now docker 脚…...

AMBA总线协议(8)——AHB(六):分割传输

一、前言 在之前的文章中&#xff0c;我们重点介绍了AHB传输的仲裁&#xff0c;首先介绍了仲裁相关的信号&#xff0c;然后分别介绍了请求总线访问&#xff0c;授权总线访问&#xff0c;猝发提前终止&#xff0c;锁定传输和默认主机总线&#xff0c;在本文中我们将继续介绍AHB的…...

时序分解 | MATLAB实现基于SWD群体分解的信号分解分量可视化

时序分解 | MATLAB实现基于SWD群体分解的信号分解分量可视化 目录 时序分解 | MATLAB实现基于SWD群体分解的信号分解分量可视化效果一览基本介绍程序设计参考资料 效果一览 基本介绍 基于SWD群体分解的分量可视化&#xff0c;基于群体分解的信号分解技术&#xff0c;MATLAB程序…...

idea大量爆红问题解决

问题描述 在学习和工作中&#xff0c;idea是程序员不可缺少的一个工具&#xff0c;但是突然在有些时候就会出现大量爆红的问题&#xff0c;发现无法跳转&#xff0c;无论是关机重启或者是替换root都无法解决 就是如上所展示的问题&#xff0c;但是程序依然可以启动。 问题解决…...

rknn优化教程(二)

文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK&#xff0c;开始写第二篇的内容了。这篇博客主要能写一下&#xff1a; 如何给一些三方库按照xmake方式进行封装&#xff0c;供调用如何按…...

前端倒计时误差!

提示:记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来?二、五大解决方案1. 动态校准法(基础版)2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

STM32+rt-thread判断是否联网

一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...

【网络安全产品大调研系列】2. 体验漏洞扫描

前言 2023 年漏洞扫描服务市场规模预计为 3.06&#xff08;十亿美元&#xff09;。漏洞扫描服务市场行业预计将从 2024 年的 3.48&#xff08;十亿美元&#xff09;增长到 2032 年的 9.54&#xff08;十亿美元&#xff09;。预测期内漏洞扫描服务市场 CAGR&#xff08;增长率&…...

Linux简单的操作

ls ls 查看当前目录 ll 查看详细内容 ls -a 查看所有的内容 ls --help 查看方法文档 pwd pwd 查看当前路径 cd cd 转路径 cd .. 转上一级路径 cd 名 转换路径 …...

连锁超市冷库节能解决方案:如何实现超市降本增效

在连锁超市冷库运营中&#xff0c;高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术&#xff0c;实现年省电费15%-60%&#xff0c;且不改动原有装备、安装快捷、…...

C++ 基础特性深度解析

目录 引言 一、命名空间&#xff08;namespace&#xff09; C 中的命名空间​ 与 C 语言的对比​ 二、缺省参数​ C 中的缺省参数​ 与 C 语言的对比​ 三、引用&#xff08;reference&#xff09;​ C 中的引用​ 与 C 语言的对比​ 四、inline&#xff08;内联函数…...

涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战

“&#x1f916;手搓TuyaAI语音指令 &#x1f60d;秒变表情包大师&#xff0c;让萌系Otto机器人&#x1f525;玩出智能新花样&#xff01;开整&#xff01;” &#x1f916; Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制&#xff08;TuyaAI…...

c#开发AI模型对话

AI模型 前面已经介绍了一般AI模型本地部署&#xff0c;直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。 微软提供了ML.NET来开发和使用AI模型&#xff0c;但是目前国内可能使用不多&#xff0c;至少实践例子很少看见。开发训练模型就不介绍了&am…...