bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KDE,GNome,Xfce
CLI: /etc/shells
bash的特性:
命令行展开: ~,{}
命令别名: alias,unalias
命令历史: history
文件名通配: glob
快捷键:ctrl + a ,e,u,k,l
命令补全:$PATH
路径补全:
bash特性之: 命令hash
缓存此前命令的查找结果: key-value
key : 搜索键
value : 值
hash命令 :
hash: 列出
hash -d cmd: 删除
hash -r : 清空
bash的特性之一: 变量
程序: 指令+数据
指令:由程序文件提供;
数据:IO设备,文件,管道,变量
程序: 算法+数据
变量名+指向的内存空间
变量赋值: name=value
变量类型: 存储格式,表示数据范围,参与的运算
编程语言:
强类型变量:
弱类型变量:bash把所有变量统统视为字符型;bash中的变量无需事先声明;
变量替换:把变量名出现的位置替换为其所指向的内存空间中数据;
变量引用:${var_name},$var_name
变量名:包含字母,数字和下划线(开头不能是数字)
变量名:见名知义,命令机制遵循某种法则,以便区分,理解;不能使用程序的保留字,例如:if,else,while等
bash变量类型:
本地变量:作用域仅为当前shell进程
环境变量:作用域为当前shell进程及其子进程
局部变量:作用域仅为某代码片段(函数上下文)
位置参数变量:当执行脚本的shell进程传递的参数;
特殊变量:shell内置的有特殊功用的变量;
$?:
0:成功
1-255: 失败
本地变量:
变量赋值:name=value
变量引用:${name},$name
"":变量名会替换为其值;
'':变量名不会替换为其值;
查看变量:set
撤销变量:unset name
注意:此处非变量引用;
环境变量:
变量赋值:
(1) export name=value
(2) name=value
export name
(3) delcare -x name=value
(4) name=value
declare -x name
变量引用:${name},$name
注意: bash内嵌了许多环境变量(通常为全大写字符),用于定义bash工作环境
PATH,HISTSIZE,HISTFILE,SHELL,HOME,UID,PWD...
查看环境变量:export,declare -x,env,printenv
撤销环境变量:unset name
只读变量:
(1) declare -r name
(2) readonly name
只读变量无法重新赋值,并且不支持撤销;存活时间为当前shell进程的生命周期,随shell进程进程终止而终止;
bash特性之一多命令执行:
# cmd1 ; cmd2 ; cmd3 ; ...
逻辑运算:
运算数: 真(true,yes,on,1)
假(false,no,off,0)
与:
1 && 0 = 0
或:
1 || 0 = 1
非:
! 1 = 0
异或:判断是否相同,相同为0,相异为1;
短路法则:
示例:# id $username || useradd $username
shell脚本编程:
编程语言分类:根据运行方式
编译运行:源代码-->编译器(编译)-->程序文件
解释运行:源代码-->运行时启动解释器,由解释器边解释边运行;
根据其编程中功能的实现是调用库还是调用外部的程序文件;
shell脚本编程:
利用系统上的命令及编程组件进行编程;
完整编程:
利用库或编程组件进行编程;
编程模型:过程式编程语言,面向对象的编程语言
过程式:以指令为中心来组织代码,数据服务于代码;
顺序执行
选择执行
循环执行
如:c,bash
对象式:以数据为中心来组织代码,围绕数据来组织指令;
类(class): 实例化对象,method;
如:Java,c++,Python
shell脚本编程:过程式编程,解释运行,依赖外部程序文件运行
如何写shell脚本:
脚本文件的第一行,定格:给出shebang,解释器路径,用于指明解释器当前脚本的解释器程序文件
常见的解释器:
#!/bin/bash
#!/usr/bin/python
文本编辑器:nano
行编辑器:sed
全屏编辑器:nano,vi,vim
shell脚本是什么?
命令的堆积;
但很多命令不具幂等性,需要用程序逻辑来判断运行条件是否满足,以避免其运行中发生错误;
运行脚本:
(1)赋予执行权限,并直接运行行命令参数传递给解释器程序;
chmod +x /PATH
/PATH
(2) 直接运行解释器,将脚本以命令行参数传递给解释器程序;
bash /PATH
注意: 脚本中的空白行会被解释器忽略;
脚本中,除了shebang,余下所有以#开头的行,都会被视作注释行被忽略;
shell脚本的运行是通过运行一个子shell进程实现的;
练习:写脚本
(1) 显示/etc目录下所有以大写p或小写p开头的文件或目录本身;
(2) 显示/var 目录下的所有文件或目录本身,并将显示结果中的小写转换为大写后显示;
(3) 创建临时文件/tmp/myfile.xxxx;
bash的配置文件:
两类:
profile类:为交互式登录的shell进程提供配置
bashrc类:为非交互式登录的shell进程配置
登录类型:
交互式登录shell进程:
直接通过某终端输入账号和密码后登录打开的shell进程;
使用su - username 或者 su -l username执行的登录切换;
非交互式登录shell进程:
su username执行的登录切换;
图形界面下打开的终端;
运行脚本
profile类:
全局:对所有用户都有效;
/etc/profile
/etc/profile.d/*.sh
用户个人:仅对当前用户有效;
~/.bash_profile
功用:
1.用于定义环境变量;
2.用于运行命令和脚本;
bashrc类:
全局:
/etc/bashrc
用户个人:
~/.bashrc
功用:
1.定义本地变量;
2.定义命令别名;
注意:仅管理员可修改全局配置文件;
交互式登录shell进程:
/etc/profile-->/etc/profile.d/*-->/.bash_profile-->~/.bashrc-->/etc/bashrc
非交互式登录shell进程:
~/.bash rc-->/etc/bashrc-->/etc/profile.d/*
命令行中定义的特性,例如变量和别名作用域为当前shell进程的生命周期
配置文件定义的特性,只对随后新启动的shell进程有效
让通过配置文件定义的特性立即生效:
(1) 通过命令行重复定义一次;
(2) 让shell进程重新读配置文件;
~]# source /PATH
~]# . /PATH
问题一:定义对所有用户生效的命令别名,例如 cls='clear'?
问题二:让centos用户登录是,提供其已经登录,并显示当前系统时间?
文本处理工具:
Linux上文本处理三剑客:
grep,egrep,fgrep: 文本过滤工具(模式: pattern)工具;
grep:基本正则表达式,-E,-F
egrep:扩展正则表达式,-G,-F
fgrep:不支持正则表达式,
sed: stream editor,流编辑器;文本编辑工具;
awk: Linux上实现为gawk,文本报告生成器(格式化文本);
正则表达式:regual expression , regexp
由一类特殊字符及文本字符所编写的模式,其中有些字符不表示其字面意义,而是用于表示控制或通配的功能;
分两类:
基本正则表达式:BRE
扩展正则表达式:ERE
元字符: \(hello[[:space:]]\+\)\+
grep: global search regular expression and print out the line
作用: 文本搜索工具,根据用户指定的"模式(过滤条件)" 对目标文本逐个进行匹配检查;打印匹配到的行;
模式:由正则表达式的元字符及文本符所编写出的过滤条件;
正则表达式引擎:
grep [option] pattern [file]
grep [option] [-e pattern | -f file] [file...]
options:
--color=auto: 对匹配到的文本着色后高亮显示;
-i: ignorecase,忽略字符大小写;
-o: 仅显示匹配到的字符本身;
-v,--invert-match: 显示不能被模式匹配到的行;
-E: 支持使用扩展的正则表达式元字符;
-q,quiet,--slience: 静默模式,即不输出如何信息;
-A # : after,在后#行
-B # : before,在前#行
-C # : context,前后各#行
基本正则表达式元字符:
字符匹配:
.:匹配任意单个字符;
[]:匹配指定范围内的任意单个字符;
[^]:匹配指定范围外的任意单个字符;
如:[:punct:],[:alpha:];[:alnum:]#文字数字字符;[:alpha:]#文字字符;
匹配次数:用在要指明其出现的次数的字符的后面,用于限制其前面字符出现的次数;默认工作于贪婪模式;
*: 匹配其前面的字符任意次;0,1,多次;
例如: grep "x*y"
abxy
aby
xxxxy
.*: 匹配任意长度的任意字符;
\?: 0次或1次;
\+: 1次或多次;
\{m\}: m次;
\{m,n\}: 至少m次,至多n次;
位置锚定:
^: 行首锚定;用于模式的最左侧;
$: 行尾锚定的最右侧;
^pattern$ : 用于pattern来匹配整行;
^$: 空白行;
^[[:space:]]*$: 空行或包含空白字符的行;
单词:非特殊字符组成的连续字符(字符串)都称为单词;
\< 或 \b : 词首锚定;用于单词模式左侧;
\> 或 \b : 词尾锚定;用于单词模式右侧;
\<pattern\>: 匹配完整单词;
练习:
1. 显示/etc/passwd文件中不以/bin/bash结尾的行;
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd
2. 找出/etc/passwd文件中的两位数或三位数;
[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
3. 找出/etc/rc.d/rc.sysinit或 /etc/grub2.cfg文件中,以至少一个空白字符开头,且后面非空白字符的行;
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
4. 找出"netstat -tan"命令的结果中以'LISTEN'后跟0,1或多个空白符结尾的行;
[root@centos7 ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用:
\(\):将一个或多个字符捆绑在一起,当做一个整体进行处理;
如: \(xy\)*ab
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎自动记录于内部变量中,这些变量为;
bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KDE,GNome,Xfce
CLI: /etc/shells
bash的特性:
命令行展开: ~,{}
命令别名: alias,unalias
命令历史: history
文件名通配: glob
快捷键:ctrl + a ,e,u,k,l
命令补全:$PATH
路径补全:
bash特性之: 命令hash
缓存此前命令的查找结果: key-value
key : 搜索键
value : 值
hash命令 :
hash: 列出
hash -d cmd: 删除
hash -r : 清空
bash的特性之一: 变量
程序: 指令+数据
指令:由程序文件提供;
数据:IO设备,文件,管道,变量
程序: 算法+数据
变量名+指向的内存空间
变量赋值: name=value
变量类型: 存储格式,表示数据范围,参与的运算
编程语言:
强类型变量:
弱类型变量:bash把所有变量统统视为字符型;bash中的变量无需事先声明;
变量替换:把变量名出现的位置替换为其所指向的内存空间中数据;
变量引用:${var_name},$var_name
变量名:包含字母,数字和下划线(开头不能是数字)
变量名:见名知义,命令机制遵循某种法则,以便区分,理解;不能使用程序的保留字,例如:if,else,while等
bash变量类型:
本地变量:作用域仅为当前shell进程
环境变量:作用域为当前shell进程及其子进程
局部变量:作用域仅为某代码片段(函数上下文)
位置参数变量:当执行脚本的shell进程传递的参数;
特殊变量:shell内置的有特殊功用的变量;
$?:
0:成功
1-255: 失败
本地变量:
变量赋值:name=value
变量引用:${name},$name
"":变量名会替换为其值;
'':变量名不会替换为其值;
查看变量:set
撤销变量:unset name
注意:此处非变量引用;
环境变量:
变量赋值:
(1) export name=value
(2) name=value
export name
(3) delcare -x name=value
(4) name=value
declare -x name
变量引用:${name},$name
注意: bash内嵌了许多环境变量(通常为全大写字符),用于定义bash工作环境
PATH,HISTSIZE,HISTFILE,SHELL,HOME,UID,PWD...
查看环境变量:export,declare -x,env,printenv
撤销环境变量:unset name
只读变量:
(1) declare -r name
(2) readonly name
只读变量无法重新赋值,并且不支持撤销;存活时间为当前shell进程的生命周期,随shell进程进程终止而终止;
bash特性之一多命令执行:
# cmd1 ; cmd2 ; cmd3 ; ...
逻辑运算:
运算数: 真(true,yes,on,1)
假(false,no,off,0)
与:
1 && 0 = 0
或:
1 || 0 = 1
非:
! 1 = 0
异或:判断是否相同,相同为0,相异为1;
短路法则:
示例:# id $username || useradd $username
shell脚本编程:
编程语言分类:根据运行方式
编译运行:源代码-->编译器(编译)-->程序文件
解释运行:源代码-->运行时启动解释器,由解释器边解释边运行;
根据其编程中功能的实现是调用库还是调用外部的程序文件;
shell脚本编程:
利用系统上的命令及编程组件进行编程;
完整编程:
利用库或编程组件进行编程;
编程模型:过程式编程语言,面向对象的编程语言
过程式:以指令为中心来组织代码,数据服务于代码;
顺序执行
选择执行
循环执行
如:c,bash
对象式:以数据为中心来组织代码,围绕数据来组织指令;
类(class): 实例化对象,method;
如:Java,c++,Python
shell脚本编程:过程式编程,解释运行,依赖外部程序文件运行
如何写shell脚本:
脚本文件的第一行,定格:给出shebang,解释器路径,用于指明解释器当前脚本的解释器程序文件
常见的解释器:
#!/bin/bash
#!/usr/bin/python
文本编辑器:nano
行编辑器:sed
全屏编辑器:nano,vi,vim
shell脚本是什么?
命令的堆积;
但很多命令不具幂等性,需要用程序逻辑来判断运行条件是否满足,以避免其运行中发生错误;
运行脚本:
(1)赋予执行权限,并直接运行行命令参数传递给解释器程序;
chmod +x /PATH
/PATH
(2) 直接运行解释器,将脚本以命令行参数传递给解释器程序;
bash /PATH
注意: 脚本中的空白行会被解释器忽略;
脚本中,除了shebang,余下所有以#开头的行,都会被视作注释行被忽略;
shell脚本的运行是通过运行一个子shell进程实现的;
练习:写脚本
(1) 显示/etc目录下所有以大写p或小写p开头的文件或目录本身;
(2) 显示/var 目录下的所有文件或目录本身,并将显示结果中的小写转换为大写后显示;
(3) 创建临时文件/tmp/myfile.xxxx;
bash的配置文件:
两类:
profile类:为交互式登录的shell进程提供配置
bashrc类:为非交互式登录的shell进程配置
登录类型:
交互式登录shell进程:
直接通过某终端输入账号和密码后登录打开的shell进程;
使用su - username 或者 su -l username执行的登录切换;
非交互式登录shell进程:
su username执行的登录切换;
图形界面下打开的终端;
运行脚本
profile类:
全局:对所有用户都有效;
/etc/profile
/etc/profile.d/*.sh
用户个人:仅对当前用户有效;
~/.bash_profile
功用:
1.用于定义环境变量;
2.用于运行命令和脚本;
bashrc类:
全局:
/etc/bashrc
用户个人:
~/.bashrc
功用:
1.定义本地变量;
2.定义命令别名;
注意:仅管理员可修改全局配置文件;
交互式登录shell进程:
/etc/profile-->/etc/profile.d/*-->/.bash_profile-->~/.bashrc-->/etc/bashrc
非交互式登录shell进程:
~/.bash rc-->/etc/bashrc-->/etc/profile.d/*
命令行中定义的特性,例如变量和别名作用域为当前shell进程的生命周期
配置文件定义的特性,只对随后新启动的shell进程有效
让通过配置文件定义的特性立即生效:
(1) 通过命令行重复定义一次;
(2) 让shell进程重新读配置文件;
~]# source /PATH
~]# . /PATH
问题一:定义对所有用户生效的命令别名,例如 cls='clear'?
问题二:让centos用户登录是,提供其已经登录,并显示当前系统时间?
文本处理工具:
Linux上文本处理三剑客:
grep,egrep,fgrep: 文本过滤工具(模式: pattern)工具;
grep:基本正则表达式,-E,-F
egrep:扩展正则表达式,-G,-F
fgrep:不支持正则表达式,
sed: stream editor,流编辑器;文本编辑工具;
awk: Linux上实现为gawk,文本报告生成器(格式化文本);
正则表达式:regual expression , regexp
由一类特殊字符及文本字符所编写的模式,其中有些字符不表示其字面意义,而是用于表示控制或通配的功能;
分两类:
基本正则表达式:BRE
扩展正则表达式:ERE
元字符: \(hello[[:space:]]\+\)\+
grep: global search regular expression and print out the line
作用: 文本搜索工具,根据用户指定的"模式(过滤条件)" 对目标文本逐个进行匹配检查;打印匹配到的行;
模式:由正则表达式的元字符及文本符所编写出的过滤条件;
正则表达式引擎:
grep [option] pattern [file]
grep [option] [-e pattern | -f file] [file...]
options:
--color=auto: 对匹配到的文本着色后高亮显示;
-i: ignorecase,忽略字符大小写;
-o: 仅显示匹配到的字符本身;
-v,--invert-match: 显示不能被模式匹配到的行;
-E: 支持使用扩展的正则表达式元字符;
-q,quiet,--slience: 静默模式,即不输出如何信息;
-A # : after,在后#行
-B # : before,在前#行
-C # : context,前后各#行
基本正则表达式元字符:
字符匹配:
.:匹配任意单个字符;
[]:匹配指定范围内的任意单个字符;
[^]:匹配指定范围外的任意单个字符;
如:[:punct:],[:alpha:];[:alnum:]#文字数字字符;[:alpha:]#文字字符;
匹配次数:用在要指明其出现的次数的字符的后面,用于限制其前面字符出现的次数;默认工作于贪婪模式;
*: 匹配其前面的字符任意次;0,1,多次;
例如: grep "x*y"
abxy
aby
xxxxy
.*: 匹配任意长度的任意字符;
\?: 0次或1次;
\+: 1次或多次;
\{m\}: m次;
\{m,n\}: 至少m次,至多n次;
位置锚定:
^: 行首锚定;用于模式的最左侧;
$: 行尾锚定的最右侧;
^pattern$ : 用于pattern来匹配整行;
^$: 空白行;
^[[:space:]]*$: 空行或包含空白字符的行;
单词:非特殊字符组成的连续字符(字符串)都称为单词;
\< 或 \b : 词首锚定;用于单词模式左侧;
\> 或 \b : 词尾锚定;用于单词模式右侧;
\<pattern\>: 匹配完整单词;
练习:
1. 显示/etc/passwd文件中不以/bin/bash结尾的行;
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd
2. 找出/etc/passwd文件中的两位数或三位数;
[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
3. 找出/etc/rc.d/rc.sysinit或 /etc/grub2.cfg文件中,以至少一个空白字符开头,且后面非空白字符的行;
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
4. 找出"netstat -tan"命令的结果中以'LISTEN'后跟0,1或多个空白符结尾的行;
[root@centos7 ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用:
\(\):将一个或多个字符捆绑在一起,当做一个整体进行处理;
如: \(xy\)*ab
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎自动记录于内部变量中,这些变量为;
\1: 模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\2: 模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\3
...
如: he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
]# grep "\(l..e\).*\1" /PATH
egrep: grep -E
支持扩展的正则表达式实现类似于grep文本过滤功能;grep -E
grep [OPTIONS] PATTERN [FILE...]
选项:
-i,-o,-v,-q,-G(基本正则表达式),-A,-B,-C
扩展正则表达式的元字符:
字符匹配:
.:任意单个字符
[]:指定任意范围内的单个字符
[^]:指定范围外的任意单个字符
次数匹配:
*:其前字符任意次,即0,1或多次;
?:0次或1次,即其前字符是可有可无的;
+:其前字符至少1次;1次及以上;
{m}:
{m,n}:
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b:
\>,\b:
分组及引用:
():分组;括号的模式匹配到的字符会被记录于正则表达式引擎的俄内部变量中;
后项引用;\1,\2,...
或
a|b:a或b
C|cat: C或cat
(c|C)at: cat 或 Cat
练习:
1.找出/proc/meminfo文件中,所有在大小写S开头的行;至少有三种实现方式;
[root@centos7 ~]# grep -E "^(s|S)" /proc/meminfo
[root@centos7 ~]# grep -E "^[sS]" /proc/meminfo
[root@centos7 ~]# grep "^[sS]" /proc/meminfo
[root@centos7 ~]# grep -i "^s" /proc/meminfo
2.显示当前系统上root,centos或user1用户的相关信息;
[root@centos7 ~]# egrep "^(root|centos|user1)\>" /etc/passwd
3.找出/etc/rc.d/init.d/functions文件中某个单词后面跟一个小括号的行;
[root@centos7 ~]# grep -E "[[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
4.使用echo命令输出一绝对路径,使用egrep取出基(路径);
[root@centos7 ~]# echo /etc/sysconfig | egrep -o "[^/]+/?$"
5.找出ifconfig命令结果中的1-255之间的数值;
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
6.找出ifconfig命令结果中的IP地址;(有效ip地址:1.0.0.1--223.255.255.254)
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-1][0-9]|22[0-3])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\>"
7.添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
[root@centos7 ~]# cat /etc/passwd | egrep "^([^:]+\>).*\1$"
[root@centos7 ~]# egrep "^(\<[^:]+\>).*(\1)$" /etc/passwd
fgrep: 不支持正则表达式元字符;
当无需要用到元字符去编写时,使用fgrep必然更好;
文本查看及处理工具:wc ,cut ,sort ,uniq , diff,patch
wc: 单词统计;
wc [OPTION]... [FILE]...
-l:lines行
-w:words字
-c:bytes字节
-m:chars字符数,不可与-c同用
-L:打印最长行的长度
cut: 文本截取
cut OPTION... [FILE]...
-d CHAR: 以指定的字符为分隔符;
-f FIELDS: 挑选出的字段;
# : 指定的单个字段;
#-#: 连续的多个字段;
#,#: 离散的多个字段;
sort: 排序
sort OPTION... [FILE]...
-n:基于数值大小而非字符进行排序;
-t CHAR:指定分隔符;
-k#:用于排序比较的字段;
-r:逆序排序;
-f:忽略字符大小写
-u:重复内容只保留一次;
重复行:连续且相同;
uniq: 报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c: 统计显示每一行出现的次数;
-u: 仅显示不重复的行;
-d: 仅显示重复的行;
diff: 比较不同
diff [option]...FILES..
diff /PATH/oldfile /PATH/newfile > /PATH/PATH_file
-u: 使用unfied 机制,即显示要修改的行上下文,默认为3行;
patch: 向文件打补丁
patch [option] -i /PATH/PATH_file /PATH/oldfile
patch /PATH/oldfile < /PATH/PATH_file
练习:
取出ifconfig命令结果中ip地址;
: 模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
: 模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
...
如: he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
]# grep "\(l..e\).*
bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KDE,GNome,Xfce
CLI: /etc/shells
bash的特性:
命令行展开: ~,{}
命令别名: alias,unalias
命令历史: history
文件名通配: glob
快捷键:ctrl + a ,e,u,k,l
命令补全:$PATH
路径补全:
bash特性之: 命令hash
缓存此前命令的查找结果: key-value
key : 搜索键
value : 值
hash命令 :
hash: 列出
hash -d cmd: 删除
hash -r : 清空
bash的特性之一: 变量
程序: 指令+数据
指令:由程序文件提供;
数据:IO设备,文件,管道,变量
程序: 算法+数据
变量名+指向的内存空间
变量赋值: name=value
变量类型: 存储格式,表示数据范围,参与的运算
编程语言:
强类型变量:
弱类型变量:bash把所有变量统统视为字符型;bash中的变量无需事先声明;
变量替换:把变量名出现的位置替换为其所指向的内存空间中数据;
变量引用:${var_name},$var_name
变量名:包含字母,数字和下划线(开头不能是数字)
变量名:见名知义,命令机制遵循某种法则,以便区分,理解;不能使用程序的保留字,例如:if,else,while等
bash变量类型:
本地变量:作用域仅为当前shell进程
环境变量:作用域为当前shell进程及其子进程
局部变量:作用域仅为某代码片段(函数上下文)
位置参数变量:当执行脚本的shell进程传递的参数;
特殊变量:shell内置的有特殊功用的变量;
$?:
0:成功
1-255: 失败
本地变量:
变量赋值:name=value
变量引用:${name},$name
"":变量名会替换为其值;
'':变量名不会替换为其值;
查看变量:set
撤销变量:unset name
注意:此处非变量引用;
环境变量:
变量赋值:
(1) export name=value
(2) name=value
export name
(3) delcare -x name=value
(4) name=value
declare -x name
变量引用:${name},$name
注意: bash内嵌了许多环境变量(通常为全大写字符),用于定义bash工作环境
PATH,HISTSIZE,HISTFILE,SHELL,HOME,UID,PWD...
查看环境变量:export,declare -x,env,printenv
撤销环境变量:unset name
只读变量:
(1) declare -r name
(2) readonly name
只读变量无法重新赋值,并且不支持撤销;存活时间为当前shell进程的生命周期,随shell进程进程终止而终止;
bash特性之一多命令执行:
# cmd1 ; cmd2 ; cmd3 ; ...
逻辑运算:
运算数: 真(true,yes,on,1)
假(false,no,off,0)
与:
1 && 0 = 0
或:
1 || 0 = 1
非:
! 1 = 0
异或:判断是否相同,相同为0,相异为1;
短路法则:
示例:# id $username || useradd $username
shell脚本编程:
编程语言分类:根据运行方式
编译运行:源代码-->编译器(编译)-->程序文件
解释运行:源代码-->运行时启动解释器,由解释器边解释边运行;
根据其编程中功能的实现是调用库还是调用外部的程序文件;
shell脚本编程:
利用系统上的命令及编程组件进行编程;
完整编程:
利用库或编程组件进行编程;
编程模型:过程式编程语言,面向对象的编程语言
过程式:以指令为中心来组织代码,数据服务于代码;
顺序执行
选择执行
循环执行
如:c,bash
对象式:以数据为中心来组织代码,围绕数据来组织指令;
类(class): 实例化对象,method;
如:Java,c++,Python
shell脚本编程:过程式编程,解释运行,依赖外部程序文件运行
如何写shell脚本:
脚本文件的第一行,定格:给出shebang,解释器路径,用于指明解释器当前脚本的解释器程序文件
常见的解释器:
#!/bin/bash
#!/usr/bin/python
文本编辑器:nano
行编辑器:sed
全屏编辑器:nano,vi,vim
shell脚本是什么?
命令的堆积;
但很多命令不具幂等性,需要用程序逻辑来判断运行条件是否满足,以避免其运行中发生错误;
运行脚本:
(1)赋予执行权限,并直接运行行命令参数传递给解释器程序;
chmod +x /PATH
/PATH
(2) 直接运行解释器,将脚本以命令行参数传递给解释器程序;
bash /PATH
注意: 脚本中的空白行会被解释器忽略;
脚本中,除了shebang,余下所有以#开头的行,都会被视作注释行被忽略;
shell脚本的运行是通过运行一个子shell进程实现的;
练习:写脚本
(1) 显示/etc目录下所有以大写p或小写p开头的文件或目录本身;
(2) 显示/var 目录下的所有文件或目录本身,并将显示结果中的小写转换为大写后显示;
(3) 创建临时文件/tmp/myfile.xxxx;
bash的配置文件:
两类:
profile类:为交互式登录的shell进程提供配置
bashrc类:为非交互式登录的shell进程配置
登录类型:
交互式登录shell进程:
直接通过某终端输入账号和密码后登录打开的shell进程;
使用su - username 或者 su -l username执行的登录切换;
非交互式登录shell进程:
su username执行的登录切换;
图形界面下打开的终端;
运行脚本
profile类:
全局:对所有用户都有效;
/etc/profile
/etc/profile.d/*.sh
用户个人:仅对当前用户有效;
~/.bash_profile
功用:
1.用于定义环境变量;
2.用于运行命令和脚本;
bashrc类:
全局:
/etc/bashrc
用户个人:
~/.bashrc
功用:
1.定义本地变量;
2.定义命令别名;
注意:仅管理员可修改全局配置文件;
交互式登录shell进程:
/etc/profile-->/etc/profile.d/*-->/.bash_profile-->~/.bashrc-->/etc/bashrc
非交互式登录shell进程:
~/.bash rc-->/etc/bashrc-->/etc/profile.d/*
命令行中定义的特性,例如变量和别名作用域为当前shell进程的生命周期
配置文件定义的特性,只对随后新启动的shell进程有效
让通过配置文件定义的特性立即生效:
(1) 通过命令行重复定义一次;
(2) 让shell进程重新读配置文件;
~]# source /PATH
~]# . /PATH
问题一:定义对所有用户生效的命令别名,例如 cls='clear'?
问题二:让centos用户登录是,提供其已经登录,并显示当前系统时间?
文本处理工具:
Linux上文本处理三剑客:
grep,egrep,fgrep: 文本过滤工具(模式: pattern)工具;
grep:基本正则表达式,-E,-F
egrep:扩展正则表达式,-G,-F
fgrep:不支持正则表达式,
sed: stream editor,流编辑器;文本编辑工具;
awk: Linux上实现为gawk,文本报告生成器(格式化文本);
正则表达式:regual expression , regexp
由一类特殊字符及文本字符所编写的模式,其中有些字符不表示其字面意义,而是用于表示控制或通配的功能;
分两类:
基本正则表达式:BRE
扩展正则表达式:ERE
元字符: \(hello[[:space:]]\+\)\+
grep: global search regular expression and print out the line
作用: 文本搜索工具,根据用户指定的"模式(过滤条件)" 对目标文本逐个进行匹配检查;打印匹配到的行;
模式:由正则表达式的元字符及文本符所编写出的过滤条件;
正则表达式引擎:
grep [option] pattern [file]
grep [option] [-e pattern | -f file] [file...]
options:
--color=auto: 对匹配到的文本着色后高亮显示;
-i: ignorecase,忽略字符大小写;
-o: 仅显示匹配到的字符本身;
-v,--invert-match: 显示不能被模式匹配到的行;
-E: 支持使用扩展的正则表达式元字符;
-q,quiet,--slience: 静默模式,即不输出如何信息;
-A # : after,在后#行
-B # : before,在前#行
-C # : context,前后各#行
基本正则表达式元字符:
字符匹配:
.:匹配任意单个字符;
[]:匹配指定范围内的任意单个字符;
[^]:匹配指定范围外的任意单个字符;
如:[:punct:],[:alpha:];[:alnum:]#文字数字字符;[:alpha:]#文字字符;
匹配次数:用在要指明其出现的次数的字符的后面,用于限制其前面字符出现的次数;默认工作于贪婪模式;
*: 匹配其前面的字符任意次;0,1,多次;
例如: grep "x*y"
abxy
aby
xxxxy
.*: 匹配任意长度的任意字符;
\?: 0次或1次;
\+: 1次或多次;
\{m\}: m次;
\{m,n\}: 至少m次,至多n次;
位置锚定:
^: 行首锚定;用于模式的最左侧;
$: 行尾锚定的最右侧;
^pattern$ : 用于pattern来匹配整行;
^$: 空白行;
^[[:space:]]*$: 空行或包含空白字符的行;
单词:非特殊字符组成的连续字符(字符串)都称为单词;
\< 或 \b : 词首锚定;用于单词模式左侧;
\> 或 \b : 词尾锚定;用于单词模式右侧;
\<pattern\>: 匹配完整单词;
练习:
1. 显示/etc/passwd文件中不以/bin/bash结尾的行;
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd
2. 找出/etc/passwd文件中的两位数或三位数;
[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
3. 找出/etc/rc.d/rc.sysinit或 /etc/grub2.cfg文件中,以至少一个空白字符开头,且后面非空白字符的行;
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
4. 找出"netstat -tan"命令的结果中以'LISTEN'后跟0,1或多个空白符结尾的行;
[root@centos7 ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用:
\(\):将一个或多个字符捆绑在一起,当做一个整体进行处理;
如: \(xy\)*ab
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎自动记录于内部变量中,这些变量为;
\1: 模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\2: 模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\3
...
如: he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
]# grep "\(l..e\).*\1" /PATH
egrep: grep -E
支持扩展的正则表达式实现类似于grep文本过滤功能;grep -E
grep [OPTIONS] PATTERN [FILE...]
选项:
-i,-o,-v,-q,-G(基本正则表达式),-A,-B,-C
扩展正则表达式的元字符:
字符匹配:
.:任意单个字符
[]:指定任意范围内的单个字符
[^]:指定范围外的任意单个字符
次数匹配:
*:其前字符任意次,即0,1或多次;
?:0次或1次,即其前字符是可有可无的;
+:其前字符至少1次;1次及以上;
{m}:
{m,n}:
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b:
\>,\b:
分组及引用:
():分组;括号的模式匹配到的字符会被记录于正则表达式引擎的俄内部变量中;
后项引用;\1,\2,...
或
a|b:a或b
C|cat: C或cat
(c|C)at: cat 或 Cat
练习:
1.找出/proc/meminfo文件中,所有在大小写S开头的行;至少有三种实现方式;
[root@centos7 ~]# grep -E "^(s|S)" /proc/meminfo
[root@centos7 ~]# grep -E "^[sS]" /proc/meminfo
[root@centos7 ~]# grep "^[sS]" /proc/meminfo
[root@centos7 ~]# grep -i "^s" /proc/meminfo
2.显示当前系统上root,centos或user1用户的相关信息;
[root@centos7 ~]# egrep "^(root|centos|user1)\>" /etc/passwd
3.找出/etc/rc.d/init.d/functions文件中某个单词后面跟一个小括号的行;
[root@centos7 ~]# grep -E "[[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
4.使用echo命令输出一绝对路径,使用egrep取出基(路径);
[root@centos7 ~]# echo /etc/sysconfig | egrep -o "[^/]+/?$"
5.找出ifconfig命令结果中的1-255之间的数值;
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
6.找出ifconfig命令结果中的IP地址;(有效ip地址:1.0.0.1--223.255.255.254)
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-1][0-9]|22[0-3])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\>"
7.添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
[root@centos7 ~]# cat /etc/passwd | egrep "^([^:]+\>).*\1$"
[root@centos7 ~]# egrep "^(\<[^:]+\>).*(\1)$" /etc/passwd
fgrep: 不支持正则表达式元字符;
当无需要用到元字符去编写时,使用fgrep必然更好;
文本查看及处理工具:wc ,cut ,sort ,uniq , diff,patch
wc: 单词统计;
wc [OPTION]... [FILE]...
-l:lines行
-w:words字
-c:bytes字节
-m:chars字符数,不可与-c同用
-L:打印最长行的长度
cut: 文本截取
cut OPTION... [FILE]...
-d CHAR: 以指定的字符为分隔符;
-f FIELDS: 挑选出的字段;
# : 指定的单个字段;
#-#: 连续的多个字段;
#,#: 离散的多个字段;
sort: 排序
sort OPTION... [FILE]...
-n:基于数值大小而非字符进行排序;
-t CHAR:指定分隔符;
-k#:用于排序比较的字段;
-r:逆序排序;
-f:忽略字符大小写
-u:重复内容只保留一次;
重复行:连续且相同;
uniq: 报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c: 统计显示每一行出现的次数;
-u: 仅显示不重复的行;
-d: 仅显示重复的行;
diff: 比较不同
diff [option]...FILES..
diff /PATH/oldfile /PATH/newfile > /PATH/PATH_file
-u: 使用unfied 机制,即显示要修改的行上下文,默认为3行;
patch: 向文件打补丁
patch [option] -i /PATH/PATH_file /PATH/oldfile
patch /PATH/oldfile < /PATH/PATH_file
练习:
取出ifconfig命令结果中ip地址;
" /PATH
egrep: grep -E
支持扩展的正则表达式实现类似于grep文本过滤功能;grep -E
grep [OPTIONS] PATTERN [FILE...]
选项:
-i,-o,-v,-q,-G(基本正则表达式),-A,-B,-C
扩展正则表达式的元字符:
字符匹配:
.:任意单个字符
[]:指定任意范围内的单个字符
[^]:指定范围外的任意单个字符
次数匹配:
*:其前字符任意次,即0,1或多次;
?:0次或1次,即其前字符是可有可无的;
+:其前字符至少1次;1次及以上;
{m}:
{m,n}:
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b:
\>,\b:
分组及引用:
():分组;括号的模式匹配到的字符会被记录于正则表达式引擎的俄内部变量中;
后项引用;
bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KDE,GNome,Xfce
CLI: /etc/shells
bash的特性:
命令行展开: ~,{}
命令别名: alias,unalias
命令历史: history
文件名通配: glob
快捷键:ctrl + a ,e,u,k,l
命令补全:$PATH
路径补全:
bash特性之: 命令hash
缓存此前命令的查找结果: key-value
key : 搜索键
value : 值
hash命令 :
hash: 列出
hash -d cmd: 删除
hash -r : 清空
bash的特性之一: 变量
程序: 指令+数据
指令:由程序文件提供;
数据:IO设备,文件,管道,变量
程序: 算法+数据
变量名+指向的内存空间
变量赋值: name=value
变量类型: 存储格式,表示数据范围,参与的运算
编程语言:
强类型变量:
弱类型变量:bash把所有变量统统视为字符型;bash中的变量无需事先声明;
变量替换:把变量名出现的位置替换为其所指向的内存空间中数据;
变量引用:${var_name},$var_name
变量名:包含字母,数字和下划线(开头不能是数字)
变量名:见名知义,命令机制遵循某种法则,以便区分,理解;不能使用程序的保留字,例如:if,else,while等
bash变量类型:
本地变量:作用域仅为当前shell进程
环境变量:作用域为当前shell进程及其子进程
局部变量:作用域仅为某代码片段(函数上下文)
位置参数变量:当执行脚本的shell进程传递的参数;
特殊变量:shell内置的有特殊功用的变量;
$?:
0:成功
1-255: 失败
本地变量:
变量赋值:name=value
变量引用:${name},$name
"":变量名会替换为其值;
'':变量名不会替换为其值;
查看变量:set
撤销变量:unset name
注意:此处非变量引用;
环境变量:
变量赋值:
(1) export name=value
(2) name=value
export name
(3) delcare -x name=value
(4) name=value
declare -x name
变量引用:${name},$name
注意: bash内嵌了许多环境变量(通常为全大写字符),用于定义bash工作环境
PATH,HISTSIZE,HISTFILE,SHELL,HOME,UID,PWD...
查看环境变量:export,declare -x,env,printenv
撤销环境变量:unset name
只读变量:
(1) declare -r name
(2) readonly name
只读变量无法重新赋值,并且不支持撤销;存活时间为当前shell进程的生命周期,随shell进程进程终止而终止;
bash特性之一多命令执行:
# cmd1 ; cmd2 ; cmd3 ; ...
逻辑运算:
运算数: 真(true,yes,on,1)
假(false,no,off,0)
与:
1 && 0 = 0
或:
1 || 0 = 1
非:
! 1 = 0
异或:判断是否相同,相同为0,相异为1;
短路法则:
示例:# id $username || useradd $username
shell脚本编程:
编程语言分类:根据运行方式
编译运行:源代码-->编译器(编译)-->程序文件
解释运行:源代码-->运行时启动解释器,由解释器边解释边运行;
根据其编程中功能的实现是调用库还是调用外部的程序文件;
shell脚本编程:
利用系统上的命令及编程组件进行编程;
完整编程:
利用库或编程组件进行编程;
编程模型:过程式编程语言,面向对象的编程语言
过程式:以指令为中心来组织代码,数据服务于代码;
顺序执行
选择执行
循环执行
如:c,bash
对象式:以数据为中心来组织代码,围绕数据来组织指令;
类(class): 实例化对象,method;
如:Java,c++,Python
shell脚本编程:过程式编程,解释运行,依赖外部程序文件运行
如何写shell脚本:
脚本文件的第一行,定格:给出shebang,解释器路径,用于指明解释器当前脚本的解释器程序文件
常见的解释器:
#!/bin/bash
#!/usr/bin/python
文本编辑器:nano
行编辑器:sed
全屏编辑器:nano,vi,vim
shell脚本是什么?
命令的堆积;
但很多命令不具幂等性,需要用程序逻辑来判断运行条件是否满足,以避免其运行中发生错误;
运行脚本:
(1)赋予执行权限,并直接运行行命令参数传递给解释器程序;
chmod +x /PATH
/PATH
(2) 直接运行解释器,将脚本以命令行参数传递给解释器程序;
bash /PATH
注意: 脚本中的空白行会被解释器忽略;
脚本中,除了shebang,余下所有以#开头的行,都会被视作注释行被忽略;
shell脚本的运行是通过运行一个子shell进程实现的;
练习:写脚本
(1) 显示/etc目录下所有以大写p或小写p开头的文件或目录本身;
(2) 显示/var 目录下的所有文件或目录本身,并将显示结果中的小写转换为大写后显示;
(3) 创建临时文件/tmp/myfile.xxxx;
bash的配置文件:
两类:
profile类:为交互式登录的shell进程提供配置
bashrc类:为非交互式登录的shell进程配置
登录类型:
交互式登录shell进程:
直接通过某终端输入账号和密码后登录打开的shell进程;
使用su - username 或者 su -l username执行的登录切换;
非交互式登录shell进程:
su username执行的登录切换;
图形界面下打开的终端;
运行脚本
profile类:
全局:对所有用户都有效;
/etc/profile
/etc/profile.d/*.sh
用户个人:仅对当前用户有效;
~/.bash_profile
功用:
1.用于定义环境变量;
2.用于运行命令和脚本;
bashrc类:
全局:
/etc/bashrc
用户个人:
~/.bashrc
功用:
1.定义本地变量;
2.定义命令别名;
注意:仅管理员可修改全局配置文件;
交互式登录shell进程:
/etc/profile-->/etc/profile.d/*-->/.bash_profile-->~/.bashrc-->/etc/bashrc
非交互式登录shell进程:
~/.bash rc-->/etc/bashrc-->/etc/profile.d/*
命令行中定义的特性,例如变量和别名作用域为当前shell进程的生命周期
配置文件定义的特性,只对随后新启动的shell进程有效
让通过配置文件定义的特性立即生效:
(1) 通过命令行重复定义一次;
(2) 让shell进程重新读配置文件;
~]# source /PATH
~]# . /PATH
问题一:定义对所有用户生效的命令别名,例如 cls='clear'?
问题二:让centos用户登录是,提供其已经登录,并显示当前系统时间?
文本处理工具:
Linux上文本处理三剑客:
grep,egrep,fgrep: 文本过滤工具(模式: pattern)工具;
grep:基本正则表达式,-E,-F
egrep:扩展正则表达式,-G,-F
fgrep:不支持正则表达式,
sed: stream editor,流编辑器;文本编辑工具;
awk: Linux上实现为gawk,文本报告生成器(格式化文本);
正则表达式:regual expression , regexp
由一类特殊字符及文本字符所编写的模式,其中有些字符不表示其字面意义,而是用于表示控制或通配的功能;
分两类:
基本正则表达式:BRE
扩展正则表达式:ERE
元字符: \(hello[[:space:]]\+\)\+
grep: global search regular expression and print out the line
作用: 文本搜索工具,根据用户指定的"模式(过滤条件)" 对目标文本逐个进行匹配检查;打印匹配到的行;
模式:由正则表达式的元字符及文本符所编写出的过滤条件;
正则表达式引擎:
grep [option] pattern [file]
grep [option] [-e pattern | -f file] [file...]
options:
--color=auto: 对匹配到的文本着色后高亮显示;
-i: ignorecase,忽略字符大小写;
-o: 仅显示匹配到的字符本身;
-v,--invert-match: 显示不能被模式匹配到的行;
-E: 支持使用扩展的正则表达式元字符;
-q,quiet,--slience: 静默模式,即不输出如何信息;
-A # : after,在后#行
-B # : before,在前#行
-C # : context,前后各#行
基本正则表达式元字符:
字符匹配:
.:匹配任意单个字符;
[]:匹配指定范围内的任意单个字符;
[^]:匹配指定范围外的任意单个字符;
如:[:punct:],[:alpha:];[:alnum:]#文字数字字符;[:alpha:]#文字字符;
匹配次数:用在要指明其出现的次数的字符的后面,用于限制其前面字符出现的次数;默认工作于贪婪模式;
*: 匹配其前面的字符任意次;0,1,多次;
例如: grep "x*y"
abxy
aby
xxxxy
.*: 匹配任意长度的任意字符;
\?: 0次或1次;
\+: 1次或多次;
\{m\}: m次;
\{m,n\}: 至少m次,至多n次;
位置锚定:
^: 行首锚定;用于模式的最左侧;
$: 行尾锚定的最右侧;
^pattern$ : 用于pattern来匹配整行;
^$: 空白行;
^[[:space:]]*$: 空行或包含空白字符的行;
单词:非特殊字符组成的连续字符(字符串)都称为单词;
\< 或 \b : 词首锚定;用于单词模式左侧;
\> 或 \b : 词尾锚定;用于单词模式右侧;
\<pattern\>: 匹配完整单词;
练习:
1. 显示/etc/passwd文件中不以/bin/bash结尾的行;
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd
2. 找出/etc/passwd文件中的两位数或三位数;
[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
3. 找出/etc/rc.d/rc.sysinit或 /etc/grub2.cfg文件中,以至少一个空白字符开头,且后面非空白字符的行;
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
4. 找出"netstat -tan"命令的结果中以'LISTEN'后跟0,1或多个空白符结尾的行;
[root@centos7 ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用:
\(\):将一个或多个字符捆绑在一起,当做一个整体进行处理;
如: \(xy\)*ab
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎自动记录于内部变量中,这些变量为;
\1: 模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\2: 模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\3
...
如: he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
]# grep "\(l..e\).*\1" /PATH
egrep: grep -E
支持扩展的正则表达式实现类似于grep文本过滤功能;grep -E
grep [OPTIONS] PATTERN [FILE...]
选项:
-i,-o,-v,-q,-G(基本正则表达式),-A,-B,-C
扩展正则表达式的元字符:
字符匹配:
.:任意单个字符
[]:指定任意范围内的单个字符
[^]:指定范围外的任意单个字符
次数匹配:
*:其前字符任意次,即0,1或多次;
?:0次或1次,即其前字符是可有可无的;
+:其前字符至少1次;1次及以上;
{m}:
{m,n}:
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b:
\>,\b:
分组及引用:
():分组;括号的模式匹配到的字符会被记录于正则表达式引擎的俄内部变量中;
后项引用;\1,\2,...
或
a|b:a或b
C|cat: C或cat
(c|C)at: cat 或 Cat
练习:
1.找出/proc/meminfo文件中,所有在大小写S开头的行;至少有三种实现方式;
[root@centos7 ~]# grep -E "^(s|S)" /proc/meminfo
[root@centos7 ~]# grep -E "^[sS]" /proc/meminfo
[root@centos7 ~]# grep "^[sS]" /proc/meminfo
[root@centos7 ~]# grep -i "^s" /proc/meminfo
2.显示当前系统上root,centos或user1用户的相关信息;
[root@centos7 ~]# egrep "^(root|centos|user1)\>" /etc/passwd
3.找出/etc/rc.d/init.d/functions文件中某个单词后面跟一个小括号的行;
[root@centos7 ~]# grep -E "[[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
4.使用echo命令输出一绝对路径,使用egrep取出基(路径);
[root@centos7 ~]# echo /etc/sysconfig | egrep -o "[^/]+/?$"
5.找出ifconfig命令结果中的1-255之间的数值;
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
6.找出ifconfig命令结果中的IP地址;(有效ip地址:1.0.0.1--223.255.255.254)
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-1][0-9]|22[0-3])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\>"
7.添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
[root@centos7 ~]# cat /etc/passwd | egrep "^([^:]+\>).*\1$"
[root@centos7 ~]# egrep "^(\<[^:]+\>).*(\1)$" /etc/passwd
fgrep: 不支持正则表达式元字符;
当无需要用到元字符去编写时,使用fgrep必然更好;
文本查看及处理工具:wc ,cut ,sort ,uniq , diff,patch
wc: 单词统计;
wc [OPTION]... [FILE]...
-l:lines行
-w:words字
-c:bytes字节
-m:chars字符数,不可与-c同用
-L:打印最长行的长度
cut: 文本截取
cut OPTION... [FILE]...
-d CHAR: 以指定的字符为分隔符;
-f FIELDS: 挑选出的字段;
# : 指定的单个字段;
#-#: 连续的多个字段;
#,#: 离散的多个字段;
sort: 排序
sort OPTION... [FILE]...
-n:基于数值大小而非字符进行排序;
-t CHAR:指定分隔符;
-k#:用于排序比较的字段;
-r:逆序排序;
-f:忽略字符大小写
-u:重复内容只保留一次;
重复行:连续且相同;
uniq: 报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c: 统计显示每一行出现的次数;
-u: 仅显示不重复的行;
-d: 仅显示重复的行;
diff: 比较不同
diff [option]...FILES..
diff /PATH/oldfile /PATH/newfile > /PATH/PATH_file
-u: 使用unfied 机制,即显示要修改的行上下文,默认为3行;
patch: 向文件打补丁
patch [option] -i /PATH/PATH_file /PATH/oldfile
patch /PATH/oldfile < /PATH/PATH_file
练习:
取出ifconfig命令结果中ip地址;
,,...
或
a|b:a或b
C|cat: C或cat
(c|C)at: cat 或 Cat
练习:
1.找出/proc/meminfo文件中,所有在大小写S开头的行;至少有三种实现方式;
[root@centos7 ~]# grep -E "^(s|S)" /proc/meminfo
[root@centos7 ~]# grep -E "^[sS]" /proc/meminfo
[root@centos7 ~]# grep "^[sS]" /proc/meminfo
[root@centos7 ~]# grep -i "^s" /proc/meminfo
2.显示当前系统上root,centos或user1用户的相关信息;
[root@centos7 ~]# egrep "^(root|centos|user1)\>" /etc/passwd
3.找出/etc/rc.d/init.d/functions文件中某个单词后面跟一个小括号的行;
[root@centos7 ~]# grep -E "[[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
4.使用echo命令输出一绝对路径,使用egrep取出基(路径);
[root@centos7 ~]# echo /etc/sysconfig | egrep -o "[^/]+/?$"
5.找出ifconfig命令结果中的1-255之间的数值;
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
6.找出ifconfig命令结果中的IP地址;(有效ip地址:1.0.0.1--223.255.255.254)
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-1][0-9]|22[0-3])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\>"
7.添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
[root@centos7 ~]# cat /etc/passwd | egrep "^([^:]+\>).*
bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KDE,GNome,Xfce
CLI: /etc/shells
bash的特性:
命令行展开: ~,{}
命令别名: alias,unalias
命令历史: history
文件名通配: glob
快捷键:ctrl + a ,e,u,k,l
命令补全:$PATH
路径补全:
bash特性之: 命令hash
缓存此前命令的查找结果: key-value
key : 搜索键
value : 值
hash命令 :
hash: 列出
hash -d cmd: 删除
hash -r : 清空
bash的特性之一: 变量
程序: 指令+数据
指令:由程序文件提供;
数据:IO设备,文件,管道,变量
程序: 算法+数据
变量名+指向的内存空间
变量赋值: name=value
变量类型: 存储格式,表示数据范围,参与的运算
编程语言:
强类型变量:
弱类型变量:bash把所有变量统统视为字符型;bash中的变量无需事先声明;
变量替换:把变量名出现的位置替换为其所指向的内存空间中数据;
变量引用:${var_name},$var_name
变量名:包含字母,数字和下划线(开头不能是数字)
变量名:见名知义,命令机制遵循某种法则,以便区分,理解;不能使用程序的保留字,例如:if,else,while等
bash变量类型:
本地变量:作用域仅为当前shell进程
环境变量:作用域为当前shell进程及其子进程
局部变量:作用域仅为某代码片段(函数上下文)
位置参数变量:当执行脚本的shell进程传递的参数;
特殊变量:shell内置的有特殊功用的变量;
$?:
0:成功
1-255: 失败
本地变量:
变量赋值:name=value
变量引用:${name},$name
"":变量名会替换为其值;
'':变量名不会替换为其值;
查看变量:set
撤销变量:unset name
注意:此处非变量引用;
环境变量:
变量赋值:
(1) export name=value
(2) name=value
export name
(3) delcare -x name=value
(4) name=value
declare -x name
变量引用:${name},$name
注意: bash内嵌了许多环境变量(通常为全大写字符),用于定义bash工作环境
PATH,HISTSIZE,HISTFILE,SHELL,HOME,UID,PWD...
查看环境变量:export,declare -x,env,printenv
撤销环境变量:unset name
只读变量:
(1) declare -r name
(2) readonly name
只读变量无法重新赋值,并且不支持撤销;存活时间为当前shell进程的生命周期,随shell进程进程终止而终止;
bash特性之一多命令执行:
# cmd1 ; cmd2 ; cmd3 ; ...
逻辑运算:
运算数: 真(true,yes,on,1)
假(false,no,off,0)
与:
1 && 0 = 0
或:
1 || 0 = 1
非:
! 1 = 0
异或:判断是否相同,相同为0,相异为1;
短路法则:
示例:# id $username || useradd $username
shell脚本编程:
编程语言分类:根据运行方式
编译运行:源代码-->编译器(编译)-->程序文件
解释运行:源代码-->运行时启动解释器,由解释器边解释边运行;
根据其编程中功能的实现是调用库还是调用外部的程序文件;
shell脚本编程:
利用系统上的命令及编程组件进行编程;
完整编程:
利用库或编程组件进行编程;
编程模型:过程式编程语言,面向对象的编程语言
过程式:以指令为中心来组织代码,数据服务于代码;
顺序执行
选择执行
循环执行
如:c,bash
对象式:以数据为中心来组织代码,围绕数据来组织指令;
类(class): 实例化对象,method;
如:Java,c++,Python
shell脚本编程:过程式编程,解释运行,依赖外部程序文件运行
如何写shell脚本:
脚本文件的第一行,定格:给出shebang,解释器路径,用于指明解释器当前脚本的解释器程序文件
常见的解释器:
#!/bin/bash
#!/usr/bin/python
文本编辑器:nano
行编辑器:sed
全屏编辑器:nano,vi,vim
shell脚本是什么?
命令的堆积;
但很多命令不具幂等性,需要用程序逻辑来判断运行条件是否满足,以避免其运行中发生错误;
运行脚本:
(1)赋予执行权限,并直接运行行命令参数传递给解释器程序;
chmod +x /PATH
/PATH
(2) 直接运行解释器,将脚本以命令行参数传递给解释器程序;
bash /PATH
注意: 脚本中的空白行会被解释器忽略;
脚本中,除了shebang,余下所有以#开头的行,都会被视作注释行被忽略;
shell脚本的运行是通过运行一个子shell进程实现的;
练习:写脚本
(1) 显示/etc目录下所有以大写p或小写p开头的文件或目录本身;
(2) 显示/var 目录下的所有文件或目录本身,并将显示结果中的小写转换为大写后显示;
(3) 创建临时文件/tmp/myfile.xxxx;
bash的配置文件:
两类:
profile类:为交互式登录的shell进程提供配置
bashrc类:为非交互式登录的shell进程配置
登录类型:
交互式登录shell进程:
直接通过某终端输入账号和密码后登录打开的shell进程;
使用su - username 或者 su -l username执行的登录切换;
非交互式登录shell进程:
su username执行的登录切换;
图形界面下打开的终端;
运行脚本
profile类:
全局:对所有用户都有效;
/etc/profile
/etc/profile.d/*.sh
用户个人:仅对当前用户有效;
~/.bash_profile
功用:
1.用于定义环境变量;
2.用于运行命令和脚本;
bashrc类:
全局:
/etc/bashrc
用户个人:
~/.bashrc
功用:
1.定义本地变量;
2.定义命令别名;
注意:仅管理员可修改全局配置文件;
交互式登录shell进程:
/etc/profile-->/etc/profile.d/*-->/.bash_profile-->~/.bashrc-->/etc/bashrc
非交互式登录shell进程:
~/.bash rc-->/etc/bashrc-->/etc/profile.d/*
命令行中定义的特性,例如变量和别名作用域为当前shell进程的生命周期
配置文件定义的特性,只对随后新启动的shell进程有效
让通过配置文件定义的特性立即生效:
(1) 通过命令行重复定义一次;
(2) 让shell进程重新读配置文件;
~]# source /PATH
~]# . /PATH
问题一:定义对所有用户生效的命令别名,例如 cls='clear'?
问题二:让centos用户登录是,提供其已经登录,并显示当前系统时间?
文本处理工具:
Linux上文本处理三剑客:
grep,egrep,fgrep: 文本过滤工具(模式: pattern)工具;
grep:基本正则表达式,-E,-F
egrep:扩展正则表达式,-G,-F
fgrep:不支持正则表达式,
sed: stream editor,流编辑器;文本编辑工具;
awk: Linux上实现为gawk,文本报告生成器(格式化文本);
正则表达式:regual expression , regexp
由一类特殊字符及文本字符所编写的模式,其中有些字符不表示其字面意义,而是用于表示控制或通配的功能;
分两类:
基本正则表达式:BRE
扩展正则表达式:ERE
元字符: \(hello[[:space:]]\+\)\+
grep: global search regular expression and print out the line
作用: 文本搜索工具,根据用户指定的"模式(过滤条件)" 对目标文本逐个进行匹配检查;打印匹配到的行;
模式:由正则表达式的元字符及文本符所编写出的过滤条件;
正则表达式引擎:
grep [option] pattern [file]
grep [option] [-e pattern | -f file] [file...]
options:
--color=auto: 对匹配到的文本着色后高亮显示;
-i: ignorecase,忽略字符大小写;
-o: 仅显示匹配到的字符本身;
-v,--invert-match: 显示不能被模式匹配到的行;
-E: 支持使用扩展的正则表达式元字符;
-q,quiet,--slience: 静默模式,即不输出如何信息;
-A # : after,在后#行
-B # : before,在前#行
-C # : context,前后各#行
基本正则表达式元字符:
字符匹配:
.:匹配任意单个字符;
[]:匹配指定范围内的任意单个字符;
[^]:匹配指定范围外的任意单个字符;
如:[:punct:],[:alpha:];[:alnum:]#文字数字字符;[:alpha:]#文字字符;
匹配次数:用在要指明其出现的次数的字符的后面,用于限制其前面字符出现的次数;默认工作于贪婪模式;
*: 匹配其前面的字符任意次;0,1,多次;
例如: grep "x*y"
abxy
aby
xxxxy
.*: 匹配任意长度的任意字符;
\?: 0次或1次;
\+: 1次或多次;
\{m\}: m次;
\{m,n\}: 至少m次,至多n次;
位置锚定:
^: 行首锚定;用于模式的最左侧;
$: 行尾锚定的最右侧;
^pattern$ : 用于pattern来匹配整行;
^$: 空白行;
^[[:space:]]*$: 空行或包含空白字符的行;
单词:非特殊字符组成的连续字符(字符串)都称为单词;
\< 或 \b : 词首锚定;用于单词模式左侧;
\> 或 \b : 词尾锚定;用于单词模式右侧;
\<pattern\>: 匹配完整单词;
练习:
1. 显示/etc/passwd文件中不以/bin/bash结尾的行;
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd
2. 找出/etc/passwd文件中的两位数或三位数;
[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
3. 找出/etc/rc.d/rc.sysinit或 /etc/grub2.cfg文件中,以至少一个空白字符开头,且后面非空白字符的行;
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
4. 找出"netstat -tan"命令的结果中以'LISTEN'后跟0,1或多个空白符结尾的行;
[root@centos7 ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用:
\(\):将一个或多个字符捆绑在一起,当做一个整体进行处理;
如: \(xy\)*ab
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎自动记录于内部变量中,这些变量为;
\1: 模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\2: 模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\3
...
如: he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
]# grep "\(l..e\).*\1" /PATH
egrep: grep -E
支持扩展的正则表达式实现类似于grep文本过滤功能;grep -E
grep [OPTIONS] PATTERN [FILE...]
选项:
-i,-o,-v,-q,-G(基本正则表达式),-A,-B,-C
扩展正则表达式的元字符:
字符匹配:
.:任意单个字符
[]:指定任意范围内的单个字符
[^]:指定范围外的任意单个字符
次数匹配:
*:其前字符任意次,即0,1或多次;
?:0次或1次,即其前字符是可有可无的;
+:其前字符至少1次;1次及以上;
{m}:
{m,n}:
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b:
\>,\b:
分组及引用:
():分组;括号的模式匹配到的字符会被记录于正则表达式引擎的俄内部变量中;
后项引用;\1,\2,...
或
a|b:a或b
C|cat: C或cat
(c|C)at: cat 或 Cat
练习:
1.找出/proc/meminfo文件中,所有在大小写S开头的行;至少有三种实现方式;
[root@centos7 ~]# grep -E "^(s|S)" /proc/meminfo
[root@centos7 ~]# grep -E "^[sS]" /proc/meminfo
[root@centos7 ~]# grep "^[sS]" /proc/meminfo
[root@centos7 ~]# grep -i "^s" /proc/meminfo
2.显示当前系统上root,centos或user1用户的相关信息;
[root@centos7 ~]# egrep "^(root|centos|user1)\>" /etc/passwd
3.找出/etc/rc.d/init.d/functions文件中某个单词后面跟一个小括号的行;
[root@centos7 ~]# grep -E "[[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
4.使用echo命令输出一绝对路径,使用egrep取出基(路径);
[root@centos7 ~]# echo /etc/sysconfig | egrep -o "[^/]+/?$"
5.找出ifconfig命令结果中的1-255之间的数值;
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
6.找出ifconfig命令结果中的IP地址;(有效ip地址:1.0.0.1--223.255.255.254)
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-1][0-9]|22[0-3])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\>"
7.添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
[root@centos7 ~]# cat /etc/passwd | egrep "^([^:]+\>).*\1$"
[root@centos7 ~]# egrep "^(\<[^:]+\>).*(\1)$" /etc/passwd
fgrep: 不支持正则表达式元字符;
当无需要用到元字符去编写时,使用fgrep必然更好;
文本查看及处理工具:wc ,cut ,sort ,uniq , diff,patch
wc: 单词统计;
wc [OPTION]... [FILE]...
-l:lines行
-w:words字
-c:bytes字节
-m:chars字符数,不可与-c同用
-L:打印最长行的长度
cut: 文本截取
cut OPTION... [FILE]...
-d CHAR: 以指定的字符为分隔符;
-f FIELDS: 挑选出的字段;
# : 指定的单个字段;
#-#: 连续的多个字段;
#,#: 离散的多个字段;
sort: 排序
sort OPTION... [FILE]...
-n:基于数值大小而非字符进行排序;
-t CHAR:指定分隔符;
-k#:用于排序比较的字段;
-r:逆序排序;
-f:忽略字符大小写
-u:重复内容只保留一次;
重复行:连续且相同;
uniq: 报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c: 统计显示每一行出现的次数;
-u: 仅显示不重复的行;
-d: 仅显示重复的行;
diff: 比较不同
diff [option]...FILES..
diff /PATH/oldfile /PATH/newfile > /PATH/PATH_file
-u: 使用unfied 机制,即显示要修改的行上下文,默认为3行;
patch: 向文件打补丁
patch [option] -i /PATH/PATH_file /PATH/oldfile
patch /PATH/oldfile < /PATH/PATH_file
练习:
取出ifconfig命令结果中ip地址;
$"
[root@centos7 ~]# egrep "^(\<[^:]+\>).*(
bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KDE,GNome,Xfce
CLI: /etc/shells
bash的特性:
命令行展开: ~,{}
命令别名: alias,unalias
命令历史: history
文件名通配: glob
快捷键:ctrl + a ,e,u,k,l
命令补全:$PATH
路径补全:
bash特性之: 命令hash
缓存此前命令的查找结果: key-value
key : 搜索键
value : 值
hash命令 :
hash: 列出
hash -d cmd: 删除
hash -r : 清空
bash的特性之一: 变量
程序: 指令+数据
指令:由程序文件提供;
数据:IO设备,文件,管道,变量
程序: 算法+数据
变量名+指向的内存空间
变量赋值: name=value
变量类型: 存储格式,表示数据范围,参与的运算
编程语言:
强类型变量:
弱类型变量:bash把所有变量统统视为字符型;bash中的变量无需事先声明;
变量替换:把变量名出现的位置替换为其所指向的内存空间中数据;
变量引用:${var_name},$var_name
变量名:包含字母,数字和下划线(开头不能是数字)
变量名:见名知义,命令机制遵循某种法则,以便区分,理解;不能使用程序的保留字,例如:if,else,while等
bash变量类型:
本地变量:作用域仅为当前shell进程
环境变量:作用域为当前shell进程及其子进程
局部变量:作用域仅为某代码片段(函数上下文)
位置参数变量:当执行脚本的shell进程传递的参数;
特殊变量:shell内置的有特殊功用的变量;
$?:
0:成功
1-255: 失败
本地变量:
变量赋值:name=value
变量引用:${name},$name
"":变量名会替换为其值;
'':变量名不会替换为其值;
查看变量:set
撤销变量:unset name
注意:此处非变量引用;
环境变量:
变量赋值:
(1) export name=value
(2) name=value
export name
(3) delcare -x name=value
(4) name=value
declare -x name
变量引用:${name},$name
注意: bash内嵌了许多环境变量(通常为全大写字符),用于定义bash工作环境
PATH,HISTSIZE,HISTFILE,SHELL,HOME,UID,PWD...
查看环境变量:export,declare -x,env,printenv
撤销环境变量:unset name
只读变量:
(1) declare -r name
(2) readonly name
只读变量无法重新赋值,并且不支持撤销;存活时间为当前shell进程的生命周期,随shell进程进程终止而终止;
bash特性之一多命令执行:
# cmd1 ; cmd2 ; cmd3 ; ...
逻辑运算:
运算数: 真(true,yes,on,1)
假(false,no,off,0)
与:
1 && 0 = 0
或:
1 || 0 = 1
非:
! 1 = 0
异或:判断是否相同,相同为0,相异为1;
短路法则:
示例:# id $username || useradd $username
shell脚本编程:
编程语言分类:根据运行方式
编译运行:源代码-->编译器(编译)-->程序文件
解释运行:源代码-->运行时启动解释器,由解释器边解释边运行;
根据其编程中功能的实现是调用库还是调用外部的程序文件;
shell脚本编程:
利用系统上的命令及编程组件进行编程;
完整编程:
利用库或编程组件进行编程;
编程模型:过程式编程语言,面向对象的编程语言
过程式:以指令为中心来组织代码,数据服务于代码;
顺序执行
选择执行
循环执行
如:c,bash
对象式:以数据为中心来组织代码,围绕数据来组织指令;
类(class): 实例化对象,method;
如:Java,c++,Python
shell脚本编程:过程式编程,解释运行,依赖外部程序文件运行
如何写shell脚本:
脚本文件的第一行,定格:给出shebang,解释器路径,用于指明解释器当前脚本的解释器程序文件
常见的解释器:
#!/bin/bash
#!/usr/bin/python
文本编辑器:nano
行编辑器:sed
全屏编辑器:nano,vi,vim
shell脚本是什么?
命令的堆积;
但很多命令不具幂等性,需要用程序逻辑来判断运行条件是否满足,以避免其运行中发生错误;
运行脚本:
(1)赋予执行权限,并直接运行行命令参数传递给解释器程序;
chmod +x /PATH
/PATH
(2) 直接运行解释器,将脚本以命令行参数传递给解释器程序;
bash /PATH
注意: 脚本中的空白行会被解释器忽略;
脚本中,除了shebang,余下所有以#开头的行,都会被视作注释行被忽略;
shell脚本的运行是通过运行一个子shell进程实现的;
练习:写脚本
(1) 显示/etc目录下所有以大写p或小写p开头的文件或目录本身;
(2) 显示/var 目录下的所有文件或目录本身,并将显示结果中的小写转换为大写后显示;
(3) 创建临时文件/tmp/myfile.xxxx;
bash的配置文件:
两类:
profile类:为交互式登录的shell进程提供配置
bashrc类:为非交互式登录的shell进程配置
登录类型:
交互式登录shell进程:
直接通过某终端输入账号和密码后登录打开的shell进程;
使用su - username 或者 su -l username执行的登录切换;
非交互式登录shell进程:
su username执行的登录切换;
图形界面下打开的终端;
运行脚本
profile类:
全局:对所有用户都有效;
/etc/profile
/etc/profile.d/*.sh
用户个人:仅对当前用户有效;
~/.bash_profile
功用:
1.用于定义环境变量;
2.用于运行命令和脚本;
bashrc类:
全局:
/etc/bashrc
用户个人:
~/.bashrc
功用:
1.定义本地变量;
2.定义命令别名;
注意:仅管理员可修改全局配置文件;
交互式登录shell进程:
/etc/profile-->/etc/profile.d/*-->/.bash_profile-->~/.bashrc-->/etc/bashrc
非交互式登录shell进程:
~/.bash rc-->/etc/bashrc-->/etc/profile.d/*
命令行中定义的特性,例如变量和别名作用域为当前shell进程的生命周期
配置文件定义的特性,只对随后新启动的shell进程有效
让通过配置文件定义的特性立即生效:
(1) 通过命令行重复定义一次;
(2) 让shell进程重新读配置文件;
~]# source /PATH
~]# . /PATH
问题一:定义对所有用户生效的命令别名,例如 cls='clear'?
问题二:让centos用户登录是,提供其已经登录,并显示当前系统时间?
文本处理工具:
Linux上文本处理三剑客:
grep,egrep,fgrep: 文本过滤工具(模式: pattern)工具;
grep:基本正则表达式,-E,-F
egrep:扩展正则表达式,-G,-F
fgrep:不支持正则表达式,
sed: stream editor,流编辑器;文本编辑工具;
awk: Linux上实现为gawk,文本报告生成器(格式化文本);
正则表达式:regual expression , regexp
由一类特殊字符及文本字符所编写的模式,其中有些字符不表示其字面意义,而是用于表示控制或通配的功能;
分两类:
基本正则表达式:BRE
扩展正则表达式:ERE
元字符: \(hello[[:space:]]\+\)\+
grep: global search regular expression and print out the line
作用: 文本搜索工具,根据用户指定的"模式(过滤条件)" 对目标文本逐个进行匹配检查;打印匹配到的行;
模式:由正则表达式的元字符及文本符所编写出的过滤条件;
正则表达式引擎:
grep [option] pattern [file]
grep [option] [-e pattern | -f file] [file...]
options:
--color=auto: 对匹配到的文本着色后高亮显示;
-i: ignorecase,忽略字符大小写;
-o: 仅显示匹配到的字符本身;
-v,--invert-match: 显示不能被模式匹配到的行;
-E: 支持使用扩展的正则表达式元字符;
-q,quiet,--slience: 静默模式,即不输出如何信息;
-A # : after,在后#行
-B # : before,在前#行
-C # : context,前后各#行
基本正则表达式元字符:
字符匹配:
.:匹配任意单个字符;
[]:匹配指定范围内的任意单个字符;
[^]:匹配指定范围外的任意单个字符;
如:[:punct:],[:alpha:];[:alnum:]#文字数字字符;[:alpha:]#文字字符;
匹配次数:用在要指明其出现的次数的字符的后面,用于限制其前面字符出现的次数;默认工作于贪婪模式;
*: 匹配其前面的字符任意次;0,1,多次;
例如: grep "x*y"
abxy
aby
xxxxy
.*: 匹配任意长度的任意字符;
\?: 0次或1次;
\+: 1次或多次;
\{m\}: m次;
\{m,n\}: 至少m次,至多n次;
位置锚定:
^: 行首锚定;用于模式的最左侧;
$: 行尾锚定的最右侧;
^pattern$ : 用于pattern来匹配整行;
^$: 空白行;
^[[:space:]]*$: 空行或包含空白字符的行;
单词:非特殊字符组成的连续字符(字符串)都称为单词;
\< 或 \b : 词首锚定;用于单词模式左侧;
\> 或 \b : 词尾锚定;用于单词模式右侧;
\<pattern\>: 匹配完整单词;
练习:
1. 显示/etc/passwd文件中不以/bin/bash结尾的行;
[root@centos7 ~]# grep -v "/bin/bash$" /etc/passwd
2. 找出/etc/passwd文件中的两位数或三位数;
[root@centos7 ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
3. 找出/etc/rc.d/rc.sysinit或 /etc/grub2.cfg文件中,以至少一个空白字符开头,且后面非空白字符的行;
[root@centos7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
4. 找出"netstat -tan"命令的结果中以'LISTEN'后跟0,1或多个空白符结尾的行;
[root@centos7 ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
分组及引用:
\(\):将一个或多个字符捆绑在一起,当做一个整体进行处理;
如: \(xy\)*ab
Note: 分组括号中的模式匹配到的内容会被正则表达式引擎自动记录于内部变量中,这些变量为;
\1: 模式从左侧起,第一个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\2: 模式从左侧起,第二个左括号以及与之匹配的右括号之间的模式所匹配到的字符;
\3
...
如: he loves his lover.
he likes his lover.
she likes her liker.
she loves her liker.
]# grep "\(l..e\).*\1" /PATH
egrep: grep -E
支持扩展的正则表达式实现类似于grep文本过滤功能;grep -E
grep [OPTIONS] PATTERN [FILE...]
选项:
-i,-o,-v,-q,-G(基本正则表达式),-A,-B,-C
扩展正则表达式的元字符:
字符匹配:
.:任意单个字符
[]:指定任意范围内的单个字符
[^]:指定范围外的任意单个字符
次数匹配:
*:其前字符任意次,即0,1或多次;
?:0次或1次,即其前字符是可有可无的;
+:其前字符至少1次;1次及以上;
{m}:
{m,n}:
{0,n}
{m,}
位置锚定:
^:行首锚定
$:行尾锚定
\<,\b:
\>,\b:
分组及引用:
():分组;括号的模式匹配到的字符会被记录于正则表达式引擎的俄内部变量中;
后项引用;\1,\2,...
或
a|b:a或b
C|cat: C或cat
(c|C)at: cat 或 Cat
练习:
1.找出/proc/meminfo文件中,所有在大小写S开头的行;至少有三种实现方式;
[root@centos7 ~]# grep -E "^(s|S)" /proc/meminfo
[root@centos7 ~]# grep -E "^[sS]" /proc/meminfo
[root@centos7 ~]# grep "^[sS]" /proc/meminfo
[root@centos7 ~]# grep -i "^s" /proc/meminfo
2.显示当前系统上root,centos或user1用户的相关信息;
[root@centos7 ~]# egrep "^(root|centos|user1)\>" /etc/passwd
3.找出/etc/rc.d/init.d/functions文件中某个单词后面跟一个小括号的行;
[root@centos7 ~]# grep -E "[[:alpha:]]+\(\)" /etc/rc.d/init.d/functions
4.使用echo命令输出一绝对路径,使用egrep取出基(路径);
[root@centos7 ~]# echo /etc/sysconfig | egrep -o "[^/]+/?$"
5.找出ifconfig命令结果中的1-255之间的数值;
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"
6.找出ifconfig命令结果中的IP地址;(有效ip地址:1.0.0.1--223.255.255.254)
[root@centos7 ~]# ifconfig | egrep "\<([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-1][0-9]|22[0-3])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.([1-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\>"
7.添加用户bash,testbash,basher以及nologin(其shell为/sbin/nologin);而后找出/etc/passwd文件中用户名同shell名的行;
[root@centos7 ~]# cat /etc/passwd | egrep "^([^:]+\>).*\1$"
[root@centos7 ~]# egrep "^(\<[^:]+\>).*(\1)$" /etc/passwd
fgrep: 不支持正则表达式元字符;
当无需要用到元字符去编写时,使用fgrep必然更好;
文本查看及处理工具:wc ,cut ,sort ,uniq , diff,patch
wc: 单词统计;
wc [OPTION]... [FILE]...
-l:lines行
-w:words字
-c:bytes字节
-m:chars字符数,不可与-c同用
-L:打印最长行的长度
cut: 文本截取
cut OPTION... [FILE]...
-d CHAR: 以指定的字符为分隔符;
-f FIELDS: 挑选出的字段;
# : 指定的单个字段;
#-#: 连续的多个字段;
#,#: 离散的多个字段;
sort: 排序
sort OPTION... [FILE]...
-n:基于数值大小而非字符进行排序;
-t CHAR:指定分隔符;
-k#:用于排序比较的字段;
-r:逆序排序;
-f:忽略字符大小写
-u:重复内容只保留一次;
重复行:连续且相同;
uniq: 报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c: 统计显示每一行出现的次数;
-u: 仅显示不重复的行;
-d: 仅显示重复的行;
diff: 比较不同
diff [option]...FILES..
diff /PATH/oldfile /PATH/newfile > /PATH/PATH_file
-u: 使用unfied 机制,即显示要修改的行上下文,默认为3行;
patch: 向文件打补丁
patch [option] -i /PATH/PATH_file /PATH/oldfile
patch /PATH/oldfile < /PATH/PATH_file
练习:
取出ifconfig命令结果中ip地址;
)$" /etc/passwd
fgrep: 不支持正则表达式元字符;
当无需要用到元字符去编写时,使用fgrep必然更好;
文本查看及处理工具:wc ,cut ,sort ,uniq , diff,patch
wc: 单词统计;
wc [OPTION]... [FILE]...
-l:lines行
-w:words字
-c:bytes字节
-m:chars字符数,不可与-c同用
-L:打印最长行的长度
cut: 文本截取
cut OPTION... [FILE]...
-d CHAR: 以指定的字符为分隔符;
-f FIELDS: 挑选出的字段;
# : 指定的单个字段;
#-#: 连续的多个字段;
#,#: 离散的多个字段;
sort: 排序
sort OPTION... [FILE]...
-n:基于数值大小而非字符进行排序;
-t CHAR:指定分隔符;
-k#:用于排序比较的字段;
-r:逆序排序;
-f:忽略字符大小写
-u:重复内容只保留一次;
重复行:连续且相同;
uniq: 报告或移除重复的行
uniq [OPTION]... [INPUT [OUTPUT]]
-c: 统计显示每一行出现的次数;
-u: 仅显示不重复的行;
-d: 仅显示重复的行;
diff: 比较不同
diff [option]...FILES..
diff /PATH/oldfile /PATH/newfile > /PATH/PATH_file
-u: 使用unfied 机制,即显示要修改的行上下文,默认为3行;
patch: 向文件打补丁
patch [option] -i /PATH/PATH_file /PATH/oldfile
patch /PATH/oldfile < /PATH/PATH_file
练习:
取出ifconfig命令结果中ip地址;
bash特性及bash脚本编程初步
终端,附着在终端的接口程序;
GUI: KD
阅读背景：
shell脚本编程及grep命令
来源：互联网
分享到：
