脚本源码怎么用,脚本源码怎么使用 收藏 0

十分钟带你学会 Shell 脚本

本篇文章没有太多的理论知识，主要分为基础语法案例、常用工具型命令（重点：帮助我们完成复杂需求）、工作中常见的需求（实战案例有源码，工作中可以直接套用），建议花十分钟阅读一遍收藏即可，当工作中需要编写 Shell 脚本直接套用案例中的脚本模板，足可满足后端开发的大部分需求。

作为一名后端程序员，如果不掌握基础的 Shell 脚本，那么运维编写的一些简单的脚本根本无法看懂，也不便于与运维进行沟通交流。掌握 Shell，可以帮助我们提高日常工作效率，比如快速构建部署项目、管理集群、监控服务器、定时清理日志文件或管理服务器等等。

Shell 是由 C 语言编写而成，外号俗称壳。开发者如果想操作 Linux 系统内核，必须通过 Shell 脚本进行交互，解释和执行用户命令，不可以绕过 Shell 直接操作 Linux 内核。Shell 是一门强大的编程语言，容易上手功能强大。

Linux 中有几种常见的解析器，后面的模板都是使用 Bash（最常用的解析器）解析器进行编写，查看当前系统支持哪些解析器：

查看当前系统使用的 Shell 解析器：

对于后台开发者，系统环境变量一定不会陌生，这里不做过多赘述。Shell 变量分为两种：系统变量、自定义变量。

常见的系统变量如下：

1. 变量命令规则

变量名必须是以字母或下划线字符“_”开头，后面字母、数字或下划线字符。切记不用使用特殊符号，给自己带来不必要的麻烦。

2. 查看当前 Shell 所有的环境变量

3. 编写自定义变量

4. 变量的作用域

普通的变量作用域为当前的执行程序，程序外部不可使用当前定义的变量。通过 export 可以把变量升级为全局环境变量，这样当前系统所有程序都可以使用这个环境变量。

创建测试脚本：

赋值执行权限：

编写脚本：

定义全局脚本（脚本内容如下）：

5. 由于定义了全局变量，所以执行脚本可以正常输出 \\$user_name 变量的值，反之脚本中定义的局部变量，其它脚本中不可以正常输出结果。

运算符的种类大致可以分为（直接上代码示例）4 种。

if else 不再做介绍，上述运算符案例中有大量使用，对于后端开发及其简单，流程控制在程序用使用非常频繁。

最后的 *) 表示默认模式，相当于 Java 中的 default，;; 表示命令序列结束，相当于 Java 中的 break。

案例：从 1 加到 100。

案例：从 1 加到 100。

Shell 脚本和其它编程语言类似，分为系统函数和自定义函数。

1. basename 基本语法

功能描述：basename 命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。

不加后缀：

加后缀：

如果脚本中需要获取当前路径的后缀名称：

2. dirname 基本语法

功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分）。

1. 基本语法：

2. 经验技巧

• 必须在调用函数地方之前，先声明函数，Shell 脚本是逐行运行。不会像其它语言一样先编译。
• 函数返回值，只能通过 $? 系统变量获得，可以显示加 return 返回，如果不加，将以最后一条命令运行结果，作为返回值。return 后跟数值 n（0~255）。

3. 案例实操

函数无返回值：计算两个输入参数的和。

脚本源码：

函数有返回值：计算两个输入参数的和（函数返回值，只能通过$?系统变量获得）。

下面列举的几个命令非常实用，命令的具体使用方法请阅读：Linux 命令大全，非常重要且命令参数太多，这里不做过多赘述。

• awk：非常强大的文本分析功能，开发中使用非常频繁。
• sort：对文件进行排序，并将标准结果显示输出。
• sed：sed 是一种流编辑器，一次处理一行内容。
• cut：主要用于剪切字符、字节，并输出结果。

请用 Shell 脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符“shen”的文件名称。

判断用户输入的是否为 IP 地址：

定时清空文件内容，定时记录文件大小：

检测网卡流量，并按规定格式记录在日志中：

计算文档每行出现的数字个数，并计算整个文档的数字总数：

杀死所有脚本：

从 FTP 服务器下载文件：

监测 Nginx 访问日志 404 情况：

iptables 自动屏蔽访问网站频繁的 IP

方法 1：根据访问日志（Nginx 为例）。

方法 2：通过 TCP 建立的连接。

Expect 实现 SSH 免交互执行命令：

执行命令脚本：写个循环可以批量操作多台服务器。

Linux 主机 SSH 连接信息：

创建 10 个用户，并分别设置密码，密码要求 10 位且包含大小写字母以及数字，最后需要把每个用户的密码存在指定文件中：

扫描主机端口状态：

1分钟插入10亿行数据！抛弃Python，写脚本请使用Rust

来源：Avinash

编辑：好困

最近，一位程序员表示自己急需一个「也就」十亿行数据的测试数据库，并且还得在一分钟之内生成。

于是，他做了一个所有程序员都会做的事：写一个Python脚本来生成数据库。

然而，很不幸的是，这个脚本非 常 慢。

于是，他又做了一个所有程序员都会做的事：进一步学习关于SQLite、Python以及不知道为什么还有Rust的知识。

项目已开源：https://github.com/avinassh/fast-sqlite3-inserts

作者需要在他2019年的MacBook Pro（2.4GHz四核i5）上，一分钟内生成一个有10亿行的SQLite数据库。

表的模式

要求：

1. 生成的数据是随机的；
2. 「area」列将包含六位数的地区代码（任何六位数都可以，不需要验证）；
3. 「age」列是5、10或15中的任何一个；
4. 「active」列是0或1。

不过，作者表示，对脚本的要求也不用太高，还是可以妥协的：

1. 如果进程崩溃，所有的数据都丢失也没有问题，再次运行脚本就可以了；
2. 允许充分利用电脑的资源：100%的CPU，8GB的内存和剩余的SSD储存；
3. 不需要使用真正的随机方法，来自stdlib的伪随机方法就可以。

在最开始的脚本中，作者试图在一个for循环中逐一插入1000万条记录，而这让用时直接达到了15分钟。

显然，这太慢了。

在SQLite中，每次插入都是一个事务，每个事务都保证它被写入磁盘，作者推断可能问题就来自这里。

于是作者开始尝试不同规模的批量插入，发现10万是一个最佳点，而运行时间减少到了10分钟。

作者认为自己写的代码已经很简练了，并没有什么可以优化的空间。

于是他将下一个目标转到了数据库的优化。

根据各种关于SQLite优化的建议，作者做了一些改进。

• 关闭「journal_mode」将禁用回滚日志，也就是说，如果任何事务失败，都无法回滚。

• 关闭「synchronous」，将使SQLite不再关心是否能可靠地写入磁盘，而是把这个责任交给操作系统。也就是说，可能会出现SQLite并没有成功写入磁盘的情况。

• 「cache_size」指定了SQLite在内存中可以保留多少个内存页。

• 当「locking_mode」为「EXCLUSIVE」模式时，SQLite锁住的连接将永远不会被释放。

• 将「temp_store」设置为「MEMORY」可以让其表现像一个内存数据库。

此处作者提醒，请不要把这些操作用到生产上去。

作者再次重写了Python脚本，这次包括了微调的SQLite参数，这次带来了巨大的提升，运行时间大幅减少：

• 原始的for循环版本用时大约10分钟。
• 批处理版本用时大约8.5分钟。

PyPy在其主页上强调它比CPython快4倍，于是作者决定尝试一下。

令作者有些意外的是，竟然不需要对现有的代码进行任何改动，只需要在PyPy运行就可以了。

批处理版本只需要2.5分钟，也就是速度快了接近3.5倍。

莫非是在Python的循环上耗费了太多时间？于是作者删除了SQL指令之后再次跑了一遍代码：

• 批处理版本在CPython中用时5.5分钟。

• 批处理版本在PyPy中用时1.5分钟（又是3.5倍的速度提升）。

然而用Rust重写了相同的内容之后，循环只需要17秒。

于是，作者果断抛弃Python，转投Rust的怀抱。

像Python一样，作者先写了一个原始的Rust版本，一个循环执行一行数据的插入。

然而，即便使用了所有SQLite的优化，也依然消耗了大约3分钟。于是作者进行了进一步的测试：

• 尝试把「rusqlite」换成异步运行的「sqlx」，这让用时直接被拉到了14分钟。作者表示，这比自己迄今为止写的任何一个Python迭代都要差。
• 在执行原始SQL语句时，使用准备好的语句。这个版本的用时只有1分钟。

使用准备好的语句，以50行为一个批次插入，最终用时34.3秒。

作者又写了一个线程版本，其中一个线程从通道接收数据，还有四个线程向通道推送数据。

这个也是目前性能最好的版本，最终用时大约32.37秒。

SQLite论坛上的网友提出了一个有趣的想法：测量内存数据库所需的时间。

于是作者又跑了一遍代码，将数据库的位置设定为「:memory:」，rust版本完成的时间少了两秒（29秒）。

也就是说将1亿条记录写入到磁盘上需要2秒，这个用时似乎也是合理的。

这也说明，可能没有更多的SQLite优化可以以更快的方式写入磁盘，因为99%的时间都花在生成和添加数据上。

插入1亿行数据的用时：Rust33秒 PyPy126秒 CPython210秒

总结

1. 尽可能使用SQLite PRAGMA语句

1. 使用准备好的语句

1. 进行分批插入

1. PyPy确实比CPython快4倍

1. 异步不一定更快

目前，第二快的版本是单线程运行的，而作者的电脑有4个核心，于是他在一分钟内可以得到8亿行数据。然后再经过几秒钟的数据合并，时间仍然可以少于一分钟。

网友评论

博主的这一番研究获得了网友们的一致好评。

真的很喜欢这些观点：

学习了更多关于PRAGMA语句。

PyPy的效率和灵活性可以通过即插即用的方式体现（将来一定会给它一个机会）。

文章的排版非常简单，有适当的源代码链接。很有趣，很容易上手。

Rust高光时刻又来了！

参考资料：

https://avi.im/blag/2021/fast-sqlite-inserts/

https://github.com/avinassh/fast-sqlite3-inserts

本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com