Модуль 07 — Потоки, конвейеры и поиск

У каждого процесса есть три стандартных потока. По умолчанию все они подключены к терминалу, но их можно перенаправить.

Результат и ошибки идут разными потоками, хотя на экране смешиваются. Это видно, если вывести результат в файл:

$ ls /etc/hostname /nonexistent > out.txt
ls: невозможно получить доступ к '/nonexistent': Нет такого файла или каталога
$ cat out.txt
/etc/hostname

Ошибка осталась на экране, а в файл попал только результат. Так задумано: можно сохранить данные и при этом увидеть, что пошло не так.

$ echo one > f; echo two >> f; cat f
one
two
$ ls /etc/hostname /nonexistent > out.txt 2> err.txt
$ cat err.txt
ls: невозможно получить доступ к '/nonexistent': Нет такого файла или каталога
$ find /etc -name "*.conf" 2> /dev/null | wc -l    # без «Отказано в доступе» на экране
118

Перенаправление выполняет ваша оболочка, а не sudo. Поэтому sudo echo текст > /etc/файл не сработает: в файл пишет оболочка без прав root. Правильно — через tee, который сам открывает файл: echo текст | sudo tee /etc/файл (раздел 06).

Знак | соединяет stdout одной команды со stdin следующей. Каждая утилита делает одну вещь, а конвейер складывает из них решение. Возьмём журнал веб-сервера, где каждая строка — один запрос:

$ head -3 access.log
192.168.1.10 - - [14/Oct/2026:10:01:12 +0300] "GET / HTTP/1.1" 200 5120
192.168.1.15 - - [14/Oct/2026:10:01:40 +0300] "GET /about.html HTTP/1.1" 200 2048
10.0.0.7 - - [14/Oct/2026:10:02:03 +0300] "GET /admin HTTP/1.1" 404 162

Вопрос: с каких адресов было больше всего запросов?

$ cut -d" " -f1 access.log | sort | uniq -c | sort -rn
      4 10.0.0.7
      3 192.168.1.10
      2 192.168.1.15
      1 192.168.1.22

Конвейер собирают постепенно: добавили команду, посмотрели промежуточный результат, добавили следующую. Если данных много, на каждом шаге ставьте в конец | head.

$ grep " 404 " access.log | cut -d" " -f7     # что искали несуществующего
/admin
/wp-login.php
/.env
/phpmyadmin/

Адрес 10.0.0.7 перебирает типовые пути админок и файлов с паролями — это автоматический сканер. Такие записи на любом открытом сервере появляются в первые часы работы; что с ними делать — в курсе «Основы кибербезопасности».

grep шаблон файлы выводит строки, в которых есть шаблон. Если файлы не указаны — ищет в stdin, поэтому его ставят в конвейер.

$ grep -r PermitRootLogin /etc/ssh/
/etc/ssh/sshd_config:#PermitRootLogin prohibit-password
/etc/ssh/sshd_config:# the setting of "PermitRootLogin prohibit-password".
$ grep -v '^#' /etc/fstab | grep .              # без комментариев и пустых строк

Шаблон grep — регулярное выражение. Основные символы: ^ — начало строки, $ — конец, . — любой символ, * — повтор предыдущего 0 и более раз, [0-9] — символ из диапазона. Шаблон берите в одинарные кавычки, чтобы оболочка не раскрыла * и $ раньше grep.

find обходит дерево каталогов и выбирает файлы по условиям: имени, типу, размеру, времени изменения, владельцу.

$ find /etc -name "*.conf" 2>/dev/null | head -3
/etc/udev/udev.conf
/etc/udev/iocost.conf
/etc/selinux/semanage.conf
$ find /var/log -type f -size +1M          # файлы больше 1 МБ
$ find ~ -type f -mtime -1                  # изменённые за последние сутки
$ find /srv -user anna -type d               # каталоги пользователя anna
$ find /tmp -name "*.tmp" -mtime +7 -delete  # удалить .tmp старше 7 дней

$ find . -name "*.log" -exec wc -l {} \;
10 ./access.log

$ sort -t: -k3 -n /etc/passwd | tail -3 | cut -d: -f1,3   # пользователи с наибольшим UID
systemd-network:998
student:1000
nobody:65534
$ grep " 404 " access.log | tee 404.txt | wc -l        # сохранить и посчитать
4

Для разбора полей, разделённых несколькими пробелами, cut неудобен — там используют awk '{print $9}'. Подробно awk и sed разбираются в курсе «Bash-скрипты и автоматизация».

tar собирает каталог в один файл с сохранением прав и дат, а с опцией z ещё и сжимает его (gzip). Так переносят сайты, делают резервные копии и скачивают исходники.

$ tar -czf site.tar.gz site          # c — создать, z — сжать, f — имя архива
$ tar -tzf site.tar.gz               # t — показать содержимое
site/
site/index.html
site/css/
site/css/s.css
$ tar -xzf site.tar.gz -C restore    # x — распаковать в каталог restore
$ tar -czf backup-$(date +%F).tar.gz site    # имя с датой: backup-2026-10-14.tar.gz

Буквы запоминаются как действия: create, extract, list; z — gzip, v — показывать имена файлов, f — имя архива, оно всегда идёт сразу после опций. $(date +%F) подставляет в команду текущую дату — так архивы не затирают друг друга.