Shell脚本编程

Shell编程

视频地址https://www.bilibili.com/video/BV1hW41167NW/?p=1&vd_source=977d52a6b92ce8b6ae67c16fc61f0428

第一章 Shell概述

大数据程序员为什么要学习Shell呢？

1. 需要看懂运维人员编写的Shell程序
2. 偶尔会编写一些简单的Shell程序来管理集群，提高开发效率。

Shell概述

Shell是一个命令行解释器，它接收应用程序的/用户命令，然后调用操作系统内核。
Shell 还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

第二章 Shell解析器

1. Linux提供的shell解析器有：6种 系统
   默认的是/bin/bash
   

2. bash和sh的关系，sh是bash的软连接
   

3. Contos默认的解析器是bash

第三章 Shell脚本入门

3.1 脚本格式

脚本以#!/bin/bash开头(指定解析器)

3.2 第一个Shell脚本：hello world

需求：创建一个Shell脚本，输出helloworld
创建一个文件夹，以后存放的shell脚本全放在这个文件夹下 mkdir shelldatas

进入shelldatas：cd shelldatas

在shelldatas下创建shell脚本：touch helloworld.sh

编辑sh脚本：vim helloworld.sh

按i进行输入 输入完成后按ESC键，输入:wq退出
运行脚本 ,有以下方式
sh helloworld.sh

bash helloworld.sh

bash /shelldatas/helloworld.sh

sh /shelldatas/helloworld.sh

./helloworld.sh 这个会报权限不够；

输入ll 查看权限
给文件添加权限：chmod 777 helloworld.sh

输入ll查看权限

权限赋予之后使用./helloworld.sh或者/shelldatas/helloworld.sh

注意：第一中执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限，第二种执行方法，本质是脚本需要自己执行，所以需要执行权限。

3.3 第二个Shell脚本：多命令处理

需求
在/shelldatas目录下创建一个banzhang.txt在banzhang.txt文件中增加”I love cls“
创建batch.sh脚本 touch batch.sh

编辑batch.sh vim batch.sh

按i进行输入，完成后按ESC并输入:wq退出

执行batch.sh sh batch,sh

查看文件夹是否多了banzhang.txt文件。

打开banzhang.txt,内容显示在控制台上。cat banzhang.txt

第四章 Shell中的变量

4.1系统变量

4.1.1 常用系统变量

$HOME、$PWD、$SHELL、$USER等

4.1.2 案例实操

1. 查看系统变量的值
   

2. 显示当前shell中的所有变量：set
   

4.2 自定义变量

4.2.1 基本语法

定义变量：变量 = 值

撤销变量： unset 变量

声明静态变量： readonly 变量，注意不能unset

变量定义规则

1. 变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。

2. 等号两侧不能有空格。

3. 在bash中，变量默认类型都是字符串类型，无法直接进行数值运算
   

4. 变量的值如果有空格，需要使用双引号或单引号括起来。
   

5. 可把变量提升为全局环境变量，可供其他Shell程序使用

4.2.2 export 变量名

编辑helloworld.sh

输入指令echo $D,

保存后运行helloworld.sh，$D 并没有被输出

目前$D为局部变量，将它提升为全局变量，export D

运行helloworld.sh

注意：变量设置为全局变量后，可供所有的shell脚本内使用，常见的场景就是些javahome，dorkehome等

4.3 特殊变量： $n

4.3.1 基本语法

$n(功能描述：n为数字，$0代表该脚本名称，$1-9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含如${10})

4.3.2 案例实操

创建touch parameter.sh;编辑文件 vim parameter.sh

输入 echo ”$0 $1 $2 $3“

报存编辑 运行parameter.sh,sh parameter.sh

应用场景，判断你输入的参数，脚本内根据参数执行相应的内容，

4.4 特殊变量： $#

4.4.1 基本语法

$# (功能描述：获取所有输入参数个数，常用于循环)。
实操案例
继续编辑vim parameter.sh 输入echo ‘$#’

保存运行脚本

4.5 特殊变量： $*、$@

4.5.1 基本语法

$*(功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体)
$@ （功能描述：这个变量也代表命令行中的所有的参数，不过$@把每个参数区分对待）

4.5.2 案例实操

4.6特殊变量： $?

4.6.1基本语法

$? （功能描述：最后一次执行的命令的返回状态，如果这个变量的值为0，证明上一个命令正确执行，如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了 ）

4.6.2 实操案例

第五章 运算符

5.1 基本语法

”$((运算式))“或”$[运算式]“
expr +，-，\*, / ,% 加，减，乘，除，取余
注意：expr 与运算符之间要有空格。

5.2实操案例

计算2+3，3-2

计算混合运行（2+3）*4
expr的形式，expr 2 + 3 用上顿号包起来表示让它先运行，后面在执行最外层的运算

通过[]中括号的形式，这个明显简单些，中括号内直接放运算式子

第六章 条件判断

6.1 基本语法

【 condition 】（注意condition前后要有空格）
注意：条件非空即为true，【 zhangsan 】返回true，[]返回false

6.2 常用判断条件

6.2.1 连个整数之间比较

= 字符串比较
-lt 小于 （less than） -le 小于等于（less equal）
-eq 等于 （equal） -gt 大于 （greater then）
-ge 大于等于（greater equal） -ne 不等于（Not equal）

6.2.2 按照文件权限进行判断

-r 有读的权限（read） -w 有写的权限（write）-x 有执行的权限（execute）

6.2.3 按照文件类型进行判断

-f 文件存在并且是一个常规的文件（file）
-e 文件存在 （existence）-d 文件存在并不是一个目录（directory）

6.2.4 例子：

判断23 大于等于 22，

判断helloworld.sh 是否具有写权限

/shelldatas/cls.txt 目录中的文件是否存在

多条件判断（&&表示前一条命令执行成功时，才执行后一条命令）， || 表示上一条命令执行失败后，才执行下一条命令

第七章 流程控制(重点)

7.1 if判断

7.1.1 基本语法

if [ 条件判断式 ]:then程序
fi
或者
if 【 条件判断式 】then程序
fi

1. 【 条件判断式 】，中括号和条件判断式之间必须有空格
2. if 后要有空格

7.1.2 案例实操

输入一个数字，如果式1，则输出ni zhen shuai，如果输出2，则输出ni zhen chou，如果是其他，什么也不输出。

7.2 case 语句

7.1.1 基本语法

case $ 变量名 in
”值1“)
如果变量的值等于值1，则执行程序1
;;
”值2“）
如果变量的值等于值2，则执行程序2
;;
...省略其他分支...
*)
如果变量的值都不是以上的值，则执行此程序
;;
esac

注意事项：

1. case行尾必须为单词”in“，每一个模式匹配必须以右括号”）“结束
2. 双分号”;;“表示命令序列结束，相当于Java中的break
3. 最后的” *）“表示默认模式，相当于Java中的default

7.1.2 案例实操：

输入一个数字，如果是1，则输出beijing，如果是2，则输出nanjing，如果是其他，则输出shanghai

7.3 for循环

7.3.1 基本语法

for (( 初始值;循环控制条件;变量变化 ))do程序
done

7.3.2 案例实操

从1加到100

7.3.3基本语法2

for 变量 in 值1 值2 值3...do程序
done

7.3.4 实操案例：打印所有输入参数

$*的输出，一次输出一个参数

$@的输出，一次输出一个参数

“$*” 加引号的，一次输出所有，只循环一次

加”$@“ 一次输出一个

总结：$@、$*、"$@",参数有几个就循环几次，
"$*", 不管参数有多少个，它只循环一次，并且值就是所有的值

7.4 while循环

7.4.1 基本语法

while [ 条件表达式 ]do程序done

7.4.2 实例：从1加到100

第八章 read读取控制台输入

8.1 基本语法

read(选项)(参数)

选项:
-p:指定读取值时的提示符；
-t: 指定读取值时等待的时间（秒）； 参数： 变量：指定读取值的变量名

8.2案例实操

提示7秒内，读取控制台输入的名称

第九章 函数

9.1 系统函数

9.1.1 basename 基本语法

basename [string/pathname] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来）
选项：suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

9.1.2 案例实操

截取该/shelldatas/helloword.sh路径的文件名称

9.1.3 dirname基本语法

dirname文件绝对路径 （功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录部分）然后返回剩下的路径（目录的部分））

9.1.4 案例实操

9.2 自定义函数

9.2.1 基本语法

[ function ] funname[()]
{Action;[return int;]
}
funname

经验技巧

1. 必须在调用函数地方之前，先声明函数，shell脚本是逐行运行，不像其他语言一样编译。
2. 函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果作为返回值，return后跟数值n（0~255）

9.2.2 案例实操（计算两个输入参数的和）

第十章 Shell工具（重点）

10.1 cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一行剪切字节、字符
和字段并将这些字节、字符和字段输出。

10.1.1 基本语法

cut[选项参数] filename
说明：默认分割符是治标符
选择参数说明

选项	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分隔

10.1.2 实操案例

准备数据

选取系统path变量值，第2个“：”开始后的所有路径

切割ifconfig后打印的ip地址

ifconfig eth0
ifconfig eth0 | grep "inet addr"
ifconfig eth0 | grep "inet addr" | cut -d : -f 2
ifconfig eth0 | grep "inet addr" | cut -d : -f 2 | cut -d " " -f 1

10.2 sed

sed是一种流编译器，它一次处理一行内容，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

10.2.1 基本语法

sed[选项参数] ‘command’ filename

10.2.2 选项参数说明

选项参数	功能
-e	直接在指令列模式上进行sed动作编辑

10.2.3 命令功能描述

命令	功能
a	新增，a的后面可以接字串，在下一行出现
d	删除
s	查找并替换

10.2.4 实例实操

将meinv 这个单词插入到sed.txt第二行，打印

删除源文件中包含zou的行

将sed.txt文件中将zhangsan替换为lisi

将sed.txt文件中的第二行删除，并将zhangsan替换为lisi

10.3 awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分割符将每行切片，切开的部分在进行分析处理。

10.3.1 基本用法

awk[选项参数] ‘patternl {action1} pattern2 {action2}...’ filename
pattern": 表示awk在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

10.3.2 选项参数说明

选项参数	功能
-F	指定输入文件拆分隔符
-V	赋值一个用户定义变量

10.3.3 案例实操

搜索passwd文件以root关键字开头的所有行，并输出改行的第7列

搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割

注意：只有匹配了pattern的行才会执行action
只显示/etc/passwd的第一列和第七列，以逗号分隔，且在所有行前面添加列名user，shell在最后一行添加“dage，/bin/zhishai”

注意：BEGIN在所有数据读取行之前执行，END在所有数据执行之后执行。
将passwd文件中的用户id增加数值1，并输出

10.3.4 awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数
NF	浏览纪律的域的个数（切割后，列的个数）

10.3.5 案例实操

统计passwd文件名，每行的行号，每列的列数

切割IP

查询sed.txt中空行所在的行号

10.4 sort

sort 命令式在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

10.4.1 基本语法

sort(选项)（参数）

选项	说明
-n	依照数值大小排序
-r	以相反的顺序排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列

10.4.2 案例实操

第11章： 企业真实面试题

11.1 京东

问题1：使用Linux命令查询filel中空行所在的行号

有文件chengji.txt内容如下

张三 40
李四 50
王五 60

使用Linux 命令计算第二列的和并输出：

cat chengji.txt | awk -F " " '{sum+=$2}  END{print sun}'

11.2搜狐&和讯网

Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#！ /bin/bash
if [ -f file.txt ]; thenecho "文件存在"
elseecho "文件不存在"
fi

11.3 新浪

用shell写一个脚本，对文本中无序的一列数字排序

11.4金和网络

请用shell脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符”shen“的文件名称