Промышленное программирование

Лекция 4. Преобразование данных

SSH (Secure SHell) - сетевой протокол прикладного уровня, позволяющий производить удалённое управление операционной системой и туннелирование TCP-соединений (например, для передачи файлов)
Самый популярный безопасный способ взаимодействия с удаленными серверами, большинство backend разработчиков пользуются им много раз за день
ssh <server dns name or ip> - подключиться с дефолтными auth методами и от имени текущего пользователя
ssh -i <private key path> user1@<dns or ip> - использовать указанный ключ и имя пользователя user1
ssh -A <dns or ip> - использовать ssh-agent для безопасного проброса ключей на сервер
Ключи можно сгенерировать, например, при помощи ssh-keygen

Есть шутка, что программисты занимаются перекладыванием json'ов
В продолжение - продвинутые программисты перекладывают json в protobuf и обратно
Не смотря на то, что это все шутки - обработка и преобразование данных в различных представлениях занимает много времени любого разработчика
Порой многие (простые) преобразования в данных проще и быстрее сделать через bash команду или скрипт, чем писать что-то на Python или другом ЯП

Мы уже использовали много приемов, позволяющих так или иначе преобразовать данные: pipeline с помощью |, фильтрация с помощью grep, извлечение полей или форматирование json с помощью jq...
Для того, чтобы преобразовать какие-либо данные, нужны сами данные и утилиты, которые будут заниматься преобразованиями
В качестве источника тестовых данных можно использовать journalctl (linux only)
Давайте, для примера, найдем все записи Disconnected from ...

Sed (Stream EDitor) - потоковый текстовый редактор (а также язык программирования), применяющий различные предопределённые текстовые преобразования к последовательному потоку текстовых данных
Типичное использование - дать команду, каким образом преобразовать данные (например, контент файла), вместо того чтобы непосредственно его редактировать
Sed поддерживает огромное количество команд, однако, вероятно, самая популярная - s-substitution
s/REGEX/SUBSTITUTION/, где REGEX - регулярное выражение для поиска, а SUBSTITUTION - строка для замены

Кроме этого, нужно помнить, что * и + - жадные по умолчанию
Для исправления этого поведения в большинстве имплементаций регулярных выражений можно использовать ? (но не в sed)
Для отладки сложных регулярных выражений полезно бывает использовать regex debugger
В комбинации с sed (да и большинством имплементаций) можно использовать группы для извлечения информации из текста

Awk — C-подобный скриптовый язык построчного разбора и обработки входного потока (например, текстового файла) по заданным шаблонам (регулярным выражениям). Может использоваться в сценариях командной строки
Awk, как и sed, имеет очень много возможностей (но мы затронем лишь базовые вещи)
Awk программа - это шаблон (по умолчанию принимает все) и набор действий, который надо выполнить с найденной строкой
Строка внутри awk разделяется на поля (по умолчанию - по пробельным символам, можно изменить через -F), $0 - вся строка, $1-$n - поля с соответствующим номером
awk '{print $2}' - для каждой строки напечатать второе поле
В большинстве случаев, awk позволяет заменить использование sed и grep

Лекция 4. Преобразование данных