02.Linux重定向与管道

发布于 2020-03-13  406 次阅读


为何要使用重定向

1.当屏幕输出的信息很重要,而且希望保存重要的信息时;
2.
后台执行中的程序,不希望他干扰屏幕正常的输出结果时;
3.
系统的例行命令, 例如定时任务的执行结果,希望他可以存下来时;
4.
一些执行命令,我们已经知道他可能出现错误信息, 想将他直接丢弃时;
5.
错误日志与标准正确日志需要分别输出至不同的文件;

  1. 1.1标准输入与输出

    执行一个shell程序时通常会自动打开三个标准文件

    标准输入(STDIN,文件描述符为0):通常对应终端的键盘,也可从其他文件或命令或者文件内容中输入。
    标准输出(STDOUT,文件描述符为1):默认输出到屏幕。
    错误输出(STDERR,文件描述符为2):默认输出到屏幕。
    文件名称(filename,文件描述符为3+

    进程将从标准输入中得到数据,将正常输出打印至屏幕终端,将错误的输出信息也打印至屏幕终端。
    进程使用文件描述符(file descriptors)来管理打开的文件


    cat命令为例cat命令的功能是从命令行给出的文件中读取数据,并将这些数据直接送到标准输出。若使用如下命令:

    [root@lxgyw ~]# cat /etc/passwd

    将会把文件/etc/passwd的内容依次显示到屏幕上。但如果cat命令行中没有参数, 它就会从标准输入中读取数据, 并将其送到标准输出。

    [root@lxgyw ~]# cat

    hello

    hello

    ^C

    //用户输入的每一行都立刻被cat命令输出到屏幕上。

    输入输出过程检测

    //持续追踪查看文件内容

    [root@lxgyw ~]# tail -f /etc/passwd

    ctrl+z 将进程转到后台

     

    //查看运行的进程

    [root@lxgyw ~]# ps

    PID TTY TIME CMD

    5848 pts/1
    00:00:00 bash

    6885 pts/1
    00:00:00 tail

    6888 pts/1
    00:00:00 ps

     

    //查看6885进程下的文件描述符

    [root@lxgyw ~]# ls -l /proc/6885/fd

    total 0

    lrwx------ 1 root root 64 Dec 3
    06:57
    0 -> /dev/pts/1

    lrwx------ 1 root root 64 Dec 3
    06:57
    1 -> /dev/pts/1

    lrwx------ 1 root root 64 Dec 3
    06:56
    2 -> /dev/pts/1

    lr-x------ 1 root root 64 Dec 3
    06:57
    3 -> /etc/passwd

    lr-x------ 1 root root 64 Dec 3
    06:57
    4 -> inotify

     

    //Linux查看标准输入输出设备

    [root@lxgyw ~]# ls -l /dev/std*

    lrwxrwxrwx 1 root root 15 Dec 2
    22:30 /dev/stderr -> /proc/self/fd/2

    lrwxrwxrwx 1 root root 15 Dec 2
    22:30 /dev/stdin -> /proc/self/fd/0

    lrwxrwxrwx 1 root root 15 Dec 2
    22:30 /dev/stdout -> /proc/self/fd/1

  2. 1.2输出重定向

    重定向: 改变标准输入、标准输出的方向的就是重定向

    标准覆盖输出重定向
    标准追加输出重定向 >>
    错误覆盖输出重定向 2>
    错误追加输出重定向 2>>
    输入重定向 <

    类型

    操作符

    用途

    标准覆盖输出重定向

    >

    将命令的执行结果输出到指定的文件中, 而不是直接显示在屏幕上

    标准追加输出重定向

    >>

    将命令执行的结果追加输出到指定文件

    标准输入重定向

    <<

    将命令中接收输入的途径由默认的键盘更改为指定的文件

    案例1: 标准输出重定向(覆盖)

    //标准输出重定向, 先清空,后写入, 如果文件不存在则创建

    [root@lxgyw ~]# ifconfig eth0 > abc

    案例2: 标准输出重定向(追加)

    //标准追加输出重定向, 向配置文件末尾追加内容

    [lxgyw@lxgyw ~]$ echo
    "This is network conf" >> if

    案例3: 错误输出重定向


    //正确输出以及错误输出重定向至一个文件

    [root@lxgyw ~]# useradd lxgyw

    [root@lxgyw ~]# su - lxgyw

     

    //将标准输出和标准错误输出重定向到不同文件

    [lxgyw@lxgyw ~]$ find /etc -name "*.conf"
    1>a 2>b

    案例4: 正确和错误都输入到相同位置

    //将标准输出和标准错误输出重定向到同一个文件, 混合输出

    [lxgyw@lxgyw ~]$ find /etc -name "*.conf" &>ab

     

    //合并两个文件内容至一个文件

    [lxgyw@lxgyw ~]$ cat a b > c

    案例5: 正确和错误都输入到相同位置

    //重定向到相同的位置

    [root@lxgyw ~]# ls /root /error >ab 2>&1

    案例6: 重定向到空设备/dev/null


    //空设备,即将产生的输出丢掉

    [root@lxgyw ~]# ls /root /error >ab 2>/dev/null

    [root@lxgyw ~]# ls /root /error >ab &>/dev/null

     

     

    //思考

    [root@lxgyw ~]# cp /etc/passwd /dev/null

    [root@lxgyw ~]# cp /etc/passwd /etc/passwd1 2>/dev/null

     

    如果/dev/null
    设备被删除

    [root@lxgyw ~]# rm -f /dev/null

     

    //1.手动创建

    [root@lxgyw ~]# mknod -m 666 /dev/null c 1
    3

    //2.重启自动创建

     

    MAJOR主设备号 MINOR从设备号

    主设备号相同: 表示为同一种设备类型,也可以认为 kernel 使用的是相同的驱动

    从设备号:在同一类型设备中的一个序号

    案例7: 脚本中使用重定向

    [root@lxgyw ~]# vim ping.sh

    ping -c1 192.168.69.113

    if [ $? -eq 0 ];then


    echo
    "192.168.69.113 is up."

    else


    echo
    "192.168.69.113 is down."

    fi

    [root@lxgyw ~]# chmod +x ping.sh

    [root@lxgyw ~]# ./ping.sh

     

    //改进后版

    [root@lxgyw ~]# vim ping.sh

    ping -c1 192.168.69.113 &>/dev/null

    if [ $? -eq 0 ];then


    echo
    "192.168.69.113 is up."

    else


    echo
    "192.168.69.113 is down."

    fi

    案例8: 脚本中使用重定向

    [root@lxgyw ~]# vim ping2.sh

    ping -c1 192.168.69.113 &>/dev/null

    if [ $? -eq 0 ];then

    echo "192.168.69.113 is up."
    >>up.txt

    else

    echo "192.168.69.113 is down."
    >>down.txt

    fi

    [root@lxgyw ~]# chmod +x ping2.sh

    [root@lxgyw ~]# ./ping2.sh

  3. 1.3输入重定向

    标准输入< 等价 0<

    案例1

    //没有改变输入的方向,默认键盘

    [root@lxgyw ~]# mail alice

    Subject: hello

    1111

    2222

    3333

    . //结束

    EOT

     

    //检查是否收到邮件

    [root@lxgyw ~]# su - alice

    [root@lxgyw ~]# mail

     

     

    //输入重定向,来自于文件

    [root@lxgyw ~]# mail -s "test01" alice < /etc/hosts

    案例2

    ////没有改变输入的方向,默认键盘,此时等待输入

    [root@lxgyw ~]# grep 'root'

    xxx

    xxx

     

    [root@lxgyw ~]# grep 'root' < /etc/passwd

    root:x:0:0:root:/root:/bin/bash

    案例3

    [root@lxgyw ~]# dd if=/dev/zero of=/file1.txt bs=1M count=20

    [root@lxgyw ~]# dd </dev/zero >/file2.txt bs=1M count=20

    案例4

    //mysql 表结构导入

    [root@lxgyw ~]# mysql -uroot -p123 < bbs.sql

    案例5: 利用重定向建立多行的文件

    //手动执行 shell 命令

    [root@lxgyw ~]# echo "111" > file1.txt

    [root@lxgyw ~]# cat file1.txt

    111

    [root@lxgyw ~]# cat >file2.txt

    111

    222

    333

    ^D

     

    [root@lxgyw ~]# cat >>file3.txt

    aaa

    bbb

    ccc

    ^D

    案例6: 利用重定向建立多行的文件

    //脚本 script 创建多行文件

    [root@lxgyw ~]# vim create_file.sh

    cat >file200.txt <<EOF

    111

    222

    333

    yyy

    ccc

    EOF

     

     

    [root@lxgyw ~]# vim vm.sh

    cat <<-EOF

    +------------------- --- ---- --- ---- --- --- ---- --- --+ ||

    | ====================== |

    | 虚拟机基本管理 v5.0 |

    | by lxgyw |

    | ====================== |

    | 1.
    安装 KVM |

    | 2.
    安装或重置 CentOS-6.9 |

    | 3.
    安装或重置 CentOS-7.4 |

    | 5.
    安装或重置 Windows-7 |

    | 6.
    删除所有虚拟机 |

    | q. 退出管理程序 |

    +------------------- --- ---- --- ---- --- --- ---- --- --+

    EOF

    案例7: 两条命令同时重定向

    [root@lxgyw ~]# ls; date &>/dev/null

    [root@lxgyw ~]# ls &>/dev/null; date &>/dev/null

    [root@lxgyw ~]# (ls; date) &>/dev/null

     

    //后台执行

    [root@lxgyw ~]# (while :; do date; sleep 2; done) &

    [1] 6378

    [root@lxgyw ~]# (while :; do date; sleep 2; done) &>date.txt &

    [root@lxgyw ~]# jobs

    [1]+ 运行中 ( while :; do date; sleep
    2;

    done ) &>/date.txt &

    扩展点subshell

    [root@lxgyw ~]# cd /boot; ls

     

    //subshell 中执行

    [root@lxgyw ~]# (cd /boot; ls)

     

    //如果不希望某些命令的执行对当前 shell 环境产生影响,请在subshell中执行

  4. 1.4进程管道技术

    管道操作符号 "|" 连接左右两个命令, 将左侧的命令的标准输出, 交给右侧命令的标准输入

    格式cmd1 | cmd2 [...|cmdn]

    案例1: /etc/passwd 中的用户按 UID 大小排序

    [root@lxgyw ~]# sort -t":" -k3 -n /etc/passwd

    [root@lxgyw ~]# sort -t":" -k3 -n /etc/passwd -r

    [root@lxgyw ~]# sort -t":" -k3 -n /etc/passwd |head

    案例2: 统计当前/etc/passwd 中用户使用的 shell 类型

    //思路:取出第七列(shell) | 排序(把相同归类)| 去重

    [root@lxgyw ~]# awk -F: '{print $7}' /etc/passwd

    [root@lxgyw ~]# awk -F: '{print $7}' /etc/passwd |sort

    [root@lxgyw ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq

    [root@lxgyw ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq -c

    案例3: 统计出最占CPU5个进程

    [root@lxgyw ~]# ps aux --sort=-%cpu |head -6

    案例4: 统计网站的访问情况 top 20

    //思路: 打印所有访问的连接 | 过滤访问网站的连接 | 打印用户的 IP | 排序 | 去重

     

    [root@lxgyw ~]# yum -y install httpd

    [root@lxgyw ~]# systemctl start httpd

    [root@lxgyw ~]# systemctl stop firewalld

     

    [root@lxgyw ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c

    [root@lxgyw ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c |sort -k1 -rn |head -n 20

    案例5: 打印当前所有 IP

    [root@lxgyw ~]# ip addr |grep 'inet ' |awk '{print $2}' |awk -F"/"
    '{print $1}'

    127.0.0.1

    192.168.69.112

    案例6: 打印根分区已用空间的百分比(仅打印数字)

    [root@lxgyw ~]# df |grep '/$' |awk '{print $5}' |awk -F"%"
    '{print $1}'

  5. 1.4.1tee管道技术


    [root@lxgyw ~]# ip addr |grep 'inet ' |tee ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'

    127.0.0.1

    192.168.69.112

    192.168.122.1

     

    [root@lxgyw ~]# cat ip.txt

    inet 127.0.0.1/8 scope host lo

    inet 192.168.69.112/24 brd 192.168.69.255 scope global ens32

    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0

    重定向与tee区别

    [root@lxgyw ~]# date > date.txt

    [root@lxgyw ~]# date |tee date.txt

  6. 1.4.2参数传递xargs

    将参数列表转换成小块分段传递给其他命令
    读入stdin的数据转换为参数添加至命令后面
    让一些不支持管道的命令可以使用管道。

    管道命令符能让大家能进一步掌握命令之间的搭配使用方法,进一步提高命令输出值的处理效率。

    [root@lxgyw ~]# grep "/sbin/nologin" /etc/passwd | wc -l

    33

     

    [root@lxgyw ~]# head -5 /etc/passwd|tail -1

    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

     

    //使用grep过滤输出信息

    [root@lxgyw ~]# ls -l /etc |grep pass

    -rw-r--r-- 1 root root 4653 Dec 2
    15:54 passwd

    -rw-r--r--. 1 root root 4606 Dec 2
    15:54 passwd-

    -rw-r--r--. 1 root root 1454 Sep 23
    2014 passwd.OLD

     

    //管道和标准输出以及标准错误输出, 使用普通用户执行如下命令

    find /etc/ -name "p*"|grep passwd

    find /etc/ -name "p*"|grep passwd > a

    find /etc/ -name "p*"|grep passwd > b

    find /etc/ -name "p*"|grep passwd &> ab

    注意事项:

    1.在管道后面的命令,都不应该在写文件名 
    2.
    在管道中只有标准输出才可以传递下一个命令, 标准错误输出会直接输出终端显示, 建议在使用管道前将标准错误输出重定向。
    例如: find /etc -name "*.conf" 2>/dev/null | grep rc
    3.
    有些命令不支持管道技术, 但是可以通过xargs来实现管道传递。
    例如: which cat|xargs ls-l
    例如: ls |xargs rm -rvf
    例如: ls |xargs cp -rvft /tmp/ -> ls | xargs -I {} cp -rvf {} /tmp
    例如: ls |xargs mv -t /tmp/ -> ls | xargs -I {} mv {} /tmp

     

     

     

     

     

     

     

     

     

     

     

     

        


一沙一世界,一花一天堂。君掌盛无边,刹那成永恒。