Linux и bash-скриптинг

shuf list > list.tmp && mv list.tmp list

sed -i ’s/,/\n/g’ list.new # заменить запятые переносом строк

sudo tune2fs -l /dev/sda2 | grep create

    # формируем файл с контрольными суммами
    md5sum * | sort -u > md5.sum
     
    # вносим изменения в каталог
    touch test.txt
     
    # формируем ещё раз файл с контрольными суммами
    md5sum * | sort -u > md5-2.sum
     
    # сравниваем 2 файла с контрольными суммами
    diff md5.sum md5-2.sum
     
    # разницу (если она есть) покажет предыдущая команда

    md5sum -c md5.sum
     
    # если какой-то файл изменён, то будет показано 
    # ЦЕЛ, ПОВРЕЖДЁН. СОВПАЛА или НЕ СОВПАЛА вычисленная контрольная сумма.

    scp -C ~/files/localdir/file.txt ftpuser@hostname:~/sitename/target-dir/
     
    -r - рекурсивно
    -C - использовать сжатие данных

sudo -l

sudo visudo

petrovich ALL=(ALL:ALL) ALL

терминал tmux https://habrahabr.ru/post/126996/

service cron status

crontab -l

crontab -e

crontab cron-file.txt

sudo apt-get install pass

[bash]

Ctrl + Z - приостановить процесс
fg - возобновить процесс

Сервис для проверки своих учётных записей и e-mail на наличие в базах которые увели.

https://haveibeenpwned.com/

Проверяйте и принимайте меры по смене пароля, его усилению и защите.

Рекомендация сервиса найдена на сайте: https://securelist.ru/

sudo apt-get update && sudo apt-get upgrade && sudo apt-get autoremove

    at [-m] [-q очередь] [-f файл] ВРЕМЯ
     
    Значение этих параметров:
     
    -q используется для указания очереди. Очередь обозначается одной буквой;
    корректными очередями считаются очереди с идентификаторами от a до z и
    от A до Z.
     
    -m позволяет отправить пользователю сообщение по электронной почте после
    выполнения задачи даже в том случае, когда выполненная программа
    ничего не вывела.
     
    -f позволяет прочитать команды из файла, а не со стандартного ввода.
     
    В качестве времени at принимает строки в форматах, совместимых со
    стандартом POSIX.2.
    Принимается строка, указывающая время в формате ЧЧ:ММ, позволяющая выполнить
    команду в назначенное время в течение дня.
    Месяц, день, год: ММДДГГ или ММ/ДД/ГГ или ДД.ММ.ГГ.
    Указание даты должно следовать за указанием времени.

    at 20:05
    [Enter]
    > touch foo.txt
    [Ctrl + D]

atq

atrm 3

nano /etc/at.allow

dpkg -l | tail -n+6 | awk '{print($2)}' | less

или

dpkg --get-selections | less

    sudo apt-get install ranger mc mutt evolution geany nano keepassx imagemagick whois wget ruby
    sinatra firefox lynx w3m pwgen liferea gimp virtualbox vlc youtube-dl shutter klavaro ktouch
    libreoffice pindgin gnumeric git htop unetbootin nemo xmlstarlet screen laby freeplane fbreader
    vim tree at kazam traceroute rake anki pass dia tmux guake git jekyll mojo
     
    +PDF-Shuffler + HPLIP + printer-driver + telegram + heroku + google chrome + firefox developer edition + viber + sublime text

    Посмотреть данные: $ exiftool image.jpeg
    Стереть данные: $ exiftool -all= image.jpeg
    Стереть из всех файлов в каталоге: $ exiftool -all= *
    Стереть из всех jpg в каталоге: $ exiftool -all= *.jpg

Сайт: https://trisquel.info/
Wikipedia: https://ru.wikipedia.org/wiki/Trisquel
Ещё: http://www.opennet.ru/opennews/art.shtml?num=40995
Ещё: http://zenway.ru/page/trisquel

    Host mysite
    IdentityFile ~/.ssh/mysite_key.pub
    HostName 00.000.00.00
    User siteadmin

ssh -o 'IdentitiesOnly=yes'

    1.Выполните команду
    echo net.ipv6.conf.all.disable_ipv6=1 > /etc/sysctl.d/disableipv6.conf
     
    2.В файле /etc/hosts закомментируйте все строки, относящиеся к IPv6
    # The following lines are desirable for IPv6 capable hosts
    #::1 ip6-localhost ip6-loopback
    #fe00::0 ip6-localnet
    #ff00::0 ip6-mcastprefix
    #ff02::1 ip6-allnodes
    #ff02::2 ip6-allrouters
     
    3. Добавьте или измените строки в /etc/ssh/ssh_config
    AddressFamily inet
     
    4. В /etc/avahi/avahi-daemon.conf 
    use-ipv6=no
     
    5. В /etc/exim4/update-exim4.conf
    disable_ipv6 = true
     
    6. Перезагрузить и убедиться, что интерфейс не имеет адреса IPv6
    ifconfig
    - после перезагрузки не должно быть строки с IPv6 адресом. 
     
    7. Проверить нет ли подключений и прослушиваемых портов по IPv6
    netstat --all | grep -E "tcp6|udp6"

adduser krdprog

passwd --lock krdprog

deluser --remove-home krdprog

passwd

    #!/bin/bash
    #=======================================================================
    # Скрипт поиска внутренних ссылок на странице сайта
    #=======================================================================
    URL="$1" ; # адрес страницы заданный через аргумент к скрипту
     
    # уникальные внутренние ссылки:
    GiveMeListUrlOnPage () {
    lynx -dump -nonumbers -listonly $URL | grep $URL | sort | uniq ;
    }
     
    GiveMeListUrlOnPage ;
     
    exit 0

    $ sh links.on.page.sh krdprog.ru
     
    если надо сохранить в файл:
    $ sh links.on.page.sh krdprog.ru > url.txt
     
    если надо показать количество ссылок, то так:
    $ sh links.on.page.sh krdprog.ru | wc -l

    1. Генерация пары ключей:
    ssh-keygen -b 2048 -t rsa -f ~/.ssh/sitename_key -C "Key for site"
     
    2. Разложим ключи по местам:
    Публичный ключ sitename_key.pub копируем на удалённый сервер в домашнем каталоге
    создав каталог ~/.ssh и меняя название файла на authorized_keys
     
    # выставим права на удалённом сервере:
    ~$ chmod 700 .ssh/
    ~$ chmod 600 .ssh/authorized_keys
     
    3. Делаем короткую запись доступа к серверу (на локальной машине):
    nano ~/.ssh/config
     
    Содержимое файла ~/.ssh/config:
     
    Host sitename
    IdentityFile ~/.ssh/sitename_key
    HostName 11.111.111.11
    User usernameftp
     
    # Тут мы сделали короткую запись, чтобы не вводить ssh usernameftp@11.111.111.11,
    а набирать просто ssh sitename
     
    Пробуем:
    $ ssh sitename

    screen - запустить скрин
    screen -S taskmane -t taskname - запустить скрин с именем taskname
     
    screen -r taskname - открыть скрин с именем taskname
    screen -x taskname - подключиться к скрину запущенному в другом терминале
     
    Ctrl+a+d - свернуть скрин
    ctrl+d - выйти из screen
     
    screen -list - список активных скринов

    hardstatus on
    hardstatus alwayslastline
    hardstatus string "%w"
    #shell /bin/bash
    startup_message off

    alias screen1='screen -S 1 -t 1'
    alias screen2='screen -S 2 -t 2'
    alias screen3='screen -S 3 -t 3'
    alias screen4='screen -S 4 -t 4'
    alias screen5='screen -S 5 -t 5'
     
    alias screenr1='screen -r 1'
    alias screenr2='screen -r 2'
    alias screenr3='screen -r 3'
    alias screenr4='screen -r 4'
    alias screenr5='screen -r 5'
     
    Теперь запускать скрины можно по команде screen1
    Сворачивать по: ctrl+a+d
    Разворачивать по: screenr1
    и т.п. для каждого номера

grep -f ./file1 -vFx ./file2 > ./file3

    #!/bin/bash
     
    # обработка фотографий в jpg
    case "$1" in
         jpg)
              echo "Ок. Это jpg" ;
              ;;
         jpeg|JPEG|JPG)
              echo "Переименуем в jpg" ;
              ;;
         png|PNG)
              echo "Конвертируем png в jpg" ;
              ;;
         gif|GIF)
              echo "Конвертируем gif в jpg" ;
              ;; 
         *)
              echo "Этот тип файла не поддерживается операцией" ; # все другие форматы
              ;;
    esac
     
    exit 0

    test_me () {
    echo "Hello $1!"
    }
     
    test_me "Петрович";

    #!/bin/bash
     
    # создание каталога для log-файлов  
    MkdirLog () {
        if ! [ -d "./log" ] ; then
            mkdir ./log ; # каталог ./log
        fi ;
     
        if ! [ -d "./log/$(date +%F)" ] ; then
            mkdir ./log/$(date +%F) ; # каталог с текущей датой внутри каталога ./log
        fi ;
        
        LogDir="./log/$(date +%F)" ;
    }
     
    MkdirLog ;
     
    exit 0

    YesOrNotFileFind () {
        if ! [ -f "$1" ] ; then
            echo "Файл $1 не найден" ;
        else
            echo "Файл $1 найден" ;
        fi
    }
     
    # передадим в аргументе функции имя файла для проверки на наличие
    YesOrNotFileFind "./list" ;
    YesOrNotFileFind "./my.config" ;
     
    -e  Файл существует
    -f  Файл существует и это обычный файл
    -r  Файл существует и он доступен для чтения
    -w  Файл существует и он доступен для записи
    -x  Файл существует и он исполняемый
    -L  Файл существует и это символьная ссылка
    -S  Файл существует и это сокет
    -d  Директория существует

    ListSring="$(cat ./list | wc -l)" ;
     
    или
     
    ListSring="$(wc -l < ./list)" ;

    sed '1,10d' test.log > test.tmp.log && mv test.tmp.log test.log
     
    или с переменной
     
    HowManyLines=10 ;
     
    tail -n $((`wc -l test.log | awk '{print $1}'`-$HowManyLines)) test.log > test.tmp.log && mv test.tmp.log test.log

tail -f test.log

cat /dev/null > test.log

sed -n 1,6p test.txt

sed -n -e 4,8p -e 11p test.txt

head -n 5 test.txt | tail -n 1
или
sed -n 5p test.txt

sed '1,2d' test.txt

shuf -i 50-150 -n 1

curl -Lw '%{http_code}' -s -o /dev/null -I krdprog.ru

curl -Lw '%{http_code}' -s -o /dev/null -I krdprog.ru/dfhagjdsfyhja8

\ - с обратной косой черты начинаются буквенные спецсимволы, а также он используется
если нужно использовать спецсимвол в виде какого-либо знака препинания;
^ - указывает на начало строки;
$ - указывает на конец строки;
* - указывает, что предыдущий символ может повторяться 0 или больше раз;
+ - указывает, что предыдущий символ должен повторится больше один или больше раз;
? - предыдущий символ может встречаться ноль или один раз;
{n} - указывает сколько раз (n) нужно повторить предыдущий символ;
{N,n} - предыдущий символ может повторяться от N до n раз;
. - любой символ кроме перевода строки;
[az] - любой символ, указанный в скобках;
х|у - символ x или символ y;
[^az] - любой символ, кроме тех, что указаны в скобках;
[a-z] - любой символ из указанного диапазона;
[^a-z] - любой символ, которого нет в диапазоне;
\b - обозначает границу слова с пробелом;
\B - обозначает что символ должен быть внутри слова, например, ux совпадет с uxb
или tuxedo, но не совпадет с Linux;
\d - означает, что символ - цифра;
\D - нецифровой символ;
\n - символ перевода строки;
\s - один из символов пробела, пробел, табуляция и так далее;
\S - любой символ кроме пробела;
\t - символ табуляции;
\v - символ вертикальной табуляции;
\w - любой буквенный символ, включая подчеркивание;
\W - любой буквенный символ, кроме подчеркивания;
\uXXX - символ Unicdoe.

echo "Hello!" > $(date +%Y-%m-%d-%H-%M).txt

Сравнение целых чисел:

-eq равно

if [ "$a" -eq "$b" ]

-ne не равно

if [ "$a" -ne "$b" ]

-gt больше

if [ "$a" -gt "$b" ]

-ge больше или равно

if [ "$a" -ge "$b" ]

-lt меньше

if [ "$a" -lt "$b" ]

-le меньше или равно

if [ "$a" -le "$b" ]

< меньше (внутри двойных круглых скобок )

(("$a" < "$b"))

<= меньше или равно (внутри двойных круглых скобок)

(("$a" <= "$b"))

знак > больше (внутри двойных круглых скобок)

(("$a" > "$b"))

знак >= больше или равно (внутри двойных круглых скобок)

(("$a" >= "$b"))

http://www.linuxformat.ru/archive

    ssconvert file.csv file.xls
     
    или
     
    ssconvert -T Gnumeric_Excel:excel_biff8 file.csv

ssconvert --list-exporters

ssconvert -T Gnumeric_html:xhtml file.csv

ssconvert -T Gnumeric_pdf:pdf_assistant file.csv

    ID                                | Description
    Gnumeric_lpsolve:lpsolve          | Решатель линейных программ LPSolve
    Gnumeric_sylk:sylk                | MultiPlan (SYLK)
    Gnumeric_html:roff                | TROFF (*.me)
    Gnumeric_html:latex_table_visible | LaTeX 2e (*.tex) table fragment of visible rows
    Gnumeric_html:latex_table         | LaTeX 2e (*.tex) фрагмент таблицы
    Gnumeric_html:latex               | LaTeX 2e (*.tex)
    Gnumeric_html:xhtml_range         | Блок XHTML для экспорта в буфер обмена
    Gnumeric_html:xhtml               | XHTML (*.html)
    Gnumeric_html:html40frag          | Фрагмент HTML (*.html)
    Gnumeric_html:html40              | HTML 4.0 (*.html)
    Gnumeric_html:html32              | HTML 3.2 (*.html)
    Gnumeric_Excel:xlsx2              | ISO/IEC 29500:2008 & ECMA 376 2ое издание (2008); [MS Excel™ 2010]
    Gnumeric_Excel:xlsx               | ECMA 376 1ое издание (2006); [MS Excel™ 2007]
    Gnumeric_Excel:excel_dsf          | MS Excel™ 97/2000/XP & 5.0/95
    Gnumeric_Excel:excel_biff7        | MS Excel™ 5.0/95
    Gnumeric_Excel:excel_biff8        | MS Excel™ 97/2000/XP
    Gnumeric_dif:dif                  | Формат обмена данными (*.dif)
    Gnumeric_glpk:glpk                | Решатель линейных программ GLPK
    Gnumeric_OpenCalc:odf             | ODF 1.2 extended conformance (*.ods)
    Gnumeric_OpenCalc:openoffice      | ODF 1.2 strict conformance (*.ods)
    Gnumeric_stf:stf_csv              | Значения разделённые запятыми (CSV)
    Gnumeric_stf:stf_assistant        | Текст (настраиваемый)
    Gnumeric_XmlIO:sax:0              | Gnumeric XML несжатый (*.xml)
    Gnumeric_XmlIO:sax                | Gnumeric XML (*.gnumeric)
    Gnumeric_pdf:pdf_assistant        | Экспорт в PDF

sudo apt install gnumeric

    mkdir xls html ;
     
    find * -maxdepth 0 -type f -print0 | xargs -0 -n 1 ssconvert -T Gnumeric_Excel:excel_biff8 && find *.xls -print0 |
    xargs -0 -i mv {} xls/ ;
     
    find * -maxdepth 0 -type f -print0 | xargs -0 -n 1 ssconvert -T Gnumeric_html:html40 && find *.html -print0 |
    xargs -0 -i mv {} html/ ;

    find * -maxdepth 0 -type f -print0 | xargs -0 -n 1 -i mv {} foo/
    # в качестве примера: перенесёт все файлы в каталог foo

find * -maxdepth 0 -type f -print0 | xargs -0 wc -l >> how-many-words.txt

    Вставить в скрипт:
    . ./имя_файла
     
    Пример:
    . ./yandex.config

mc
ranger

for i in {1..30} ; do echo "Hi!" ; done

    # добавить символы в начале каждой строки используя AWK
    awk '{print "текст"$0}' file
    # добавить символы в начале каждой строки используя SED
    sed 's/^/текст/' file
     
    # добавить символы в конце каждой строки используя AWK
    awk '{print $0"текст"}' file
    # добавить символы в конце каждой строки используя SED
    sed 's/$/текст/' file
     
    # добавить символы в начале и в конце каждой строки используя AWK
    awk '{print "в_начале"$0"в_конце"}' file
    # добавить символы в начале и в конце каждой строки используя SED
    sed "s/.*/в_начале&в_конце/" file

sed -e '/^$/d' -e '/^#/d' ttt.txt

grep -r "искомый текст" ~/work

sort | uniq

wc -l

less file.txt # программа пейджер (просмотр длинных файлов)

<команда 1> | xargs -i <команда 2> {} <команда 2-2>

for i in dir* ; do touch $i/zz.txt ; done

tr -dc A-Za-z0-9_ < /dev/urandom | head -c 30 | xargs

    pwgen -1sBnc 40 1
     
    получится примерно так: 4mdM3dAzNNhqhHxxvpeTVpkioWMNFTxERTvRLLHj

    pwgen -1sBny 40 1
     
    получится примерно так: ~p`T&n[?V`f\HrK#-,g.[=$.|H)?'po9+[-]wy,v

sudo apt-get install pwgen

8d - удалить 8-ую строку
/^$/d - удалить все пустые строки
1,/^$/d - удалить все строки до первой пустой строки, включительно
/Foo/d - вывести строки, содержащие 'Foo' (с ключом -n)
s/Foo/Bar/ - в каждой стоке заменить первое встретившееся слово Foo на слово Bar
s/Foo/Bar/g - в каждой стоке заменить все встретившиеся слова Foo на Bar
s/ *$// - удалить все пробелы в конце каждой строки
s/00*/0/g - заменить все последовательности нулей одним символом 0
/Foo/d - удалить все строки со словом Foo
s/Foo//g - удалить все найденные Foo, оставляя остальную чать строки без изменений

Использование стандартных утилит операционной системы для работы с текстом

Оставлю тут ссылку на крайне полезную статью: https://www.ibm.com/developerworks/ru/library/au-unixtext/index.html

nl -s';'

Мануалы команд GNU/Linux переведённые на русский язык.
Тут: http://www.opennet.ru/man_1.shtml

Тут: http://www.opennet.ru/man.shtml?topic=wget

ffmpeg -i input.m4a -acodec libmp3lame -ab 128k output.mp3

touch file{01..30}.txt

find file0[4-8].txt

grep -e "word1" -e "word2"

    find * -type d | xargs -n 1 cp zz.txt
     
    или можно так :
     
    for i in $(find * -type d) ; do cp zz.txt $i ; done

    find * -name zz.txt | xargs rm
    # ОСТОРОЖНО! Удаляет файл и в текущем каталоге тоже.

time script.sh

date +%F

find -type f -print0 | xargs -0 sed -i 's/foo/bar/g'