shell编程学习之使用jq对json提取 jq命令允许直接在命令行下对JSON进行操作,包括分片.过滤.转换等 ,jq是用C编写,没有运行时依赖,所以几乎可以运行在任何系统上.预编译的二进制文件可以直接在Linux.OS X和windows系统上运行,当然在linux和OS X系统你需要赋与其可执行权限:在linux系统中也可以直接用yum安装. 下载地址 https://stedolan.github.io/jq/download/ 本文主要介绍其使用,默认是已经安装好的,没有安装的,请自行

shell中取字符串子串的几种方式 echo "123456789" | awk '{print substr($0,5,2)}' 截取 1)awk中函数substrsubstr(源字符串,开始索引,长度)   开始索引以0开始示例:awk '{$a=substr($0,0,2);print $a;}' filename假设文件中为只有一行为abcdefg,则返回结果为ab (2)expr substr expr substr 字符串 开始索引 长度   开始索引以1开始示例: exp

需求 有时候在shell script里面需要一些执行,如果放在程序里面不便于统一管理,并且每一次修改路径都要去script里面改好麻烦,所以统一把路径放在配置文件中方便管理. 问题 如何读取相对应的key-value是主要问题,主要是用到IFS分隔符,记住使用时最好先备份原来的IFS,使用完记得还原IFS,否则会出现未知错误 配置文件(格式:”key = value“) [csv] splitHome = 20151214_QL/split_home output = 20151214_QL/

Mark 下,周末来补充 参考资料: https://stedolan.github.io/jq/tutorial/

#!/bin/bash read -p "请输入要爬取的页面数(默认为10):" page_num page_num=${page_num:-} echo $page_num read -p "请输入要保存的目录名称(默认为img):" save_path_name save_path_name=${save_page_name:-"/opt/img"} [ ! -d $save_path_name ]&&mkdir $save_

#!/bin/sh ` configDir="$dir/config" ipport="$configDir/ip_port" url="http://www.youdaili.cn/Daili/http/" indexs=$(curl -s --max- "$url" |piconv -f utf8 -t gbk|awk '$0~/http:\/\/www.youdaili.cn\/static\/images\/hot.g

1. #!/bin/bash tmonth=`date +%m`tyear=`date +%y`tday=`date +%d`day=`expr $tday + 0`month=`expr $tmonth + 0`year=`expr $tyear + '2000'`now_date=`printf "%04d/%d/%d" $year $month $day`echo /work/ftpfile/$now_date 结果: /work/ftpfile/2017/10/31/work/

检查端口占用 lsof -i:[port] netstat -anp |grep [port] 监控网络客户TCP连接数 netstat -anp | grep tcp |wc -l 获取某进程中运行中的线程数量 ls /proc/[PID]/task | wc -l 输出进程内存的状况,分析线程堆栈 pmap 统计文档容量 du -sh [目录|文件|正则] 例如:查看日志文件大小,从而判定日志是否被入侵者清理掉. du -sh /var/log/* 查看文件系统挂载点容量 df -h |gr

1.路径与命令查找顺序 基本上,命令运行的顺序可以这样看: 1)以相对/绝对路径执行命令,例如“/bin/ls”或“./ls”; 2)由alias找到该命令来执行; 3)由bash内置的(builtin)命令来执行; 4)通过$PATH这个变量的顺序找到的第一个命令来执行. 通过type -a ls也可以查询得到.   2.bash的环境配置文件 1)login与non-login shell login shell:取的bash时需要完整的登陆流程 non-login shell:取的bash

按照惯例,Shell变量由全大写字母加下划线组成,有两种类型的Shell变量:环境变量和本地变量. 环境变量: 环境变量可以从父进程传给子进程,因此Shell进程的环境变量可以从当前Shell进程传给fork出来的子进程.用printenv命令可以显示当前Shell进程的环境变量. 本地变量 只存在于当前Shell进程,用set命令可以显示当前Shell进程中定义的所有变量(包括本地变量和环境变量)和函数. 环境变量是任何进程都有的概念,而本地变量是Shell特有的概念.在Shell中,环境变量

(1).前言 动态页面:HTML文档中的部分是由客户端运行JS脚本生成的,即服务器生成部分HTML文档内容,其余的再由客户端生成 静态页面:整个HTML文档是在服务器端生成的,即服务器生成好了,再发送给我们客户端 这里我们可以观察一个典型的供我们练习爬虫技术的网站:quotes.toscrape.com/js/ 我们通过实验来进一步体验下:(这里我使用ubuntu16.0系统) 1.启动终端并激活虚拟环境:source course-python3.5-env/bin/activate 2.爬取

看到一个看球网站的以下截图红色框数据,想爬取下来,通常爬取网站数据一般都会从java或者python爬取,但本人这两个都不会,只会shell脚本,于是硬着头皮试一下用shell爬取,方法很笨重,但旨在结果嘛,呵呵. 2.首先利用curl工具后者wget工具把整个网站数据爬取下来 curl 网址 >wangzhan.txt 3.查看wangzhan.txt文件,找出规则,看到数据是存放在哪个地方,本人是把txt文件拷到本机上用UE打开方便查看.通过查看文件,我发现数据是存储在“var automu

一.shell历史 Shell的作用是解释执行用户的命令,用户输入一条命令,Shell就解释执行一条,这种方式称为交互式(Interactive),Shell还有一种执行命令的方式称为批处理(Batch),用户事先写一个Shell脚本(Script),其中有很多条命令,让Shell一次把这些命令执行完,而不必一条一条地敲命令.Shell脚本和编程语言很相似,也有变量和流程控制语句,但Shell脚本是解释执行的,不需要编译,Shell程序从脚本中一行一行读取并执行这些命令,相当于一个用户把脚本中的

shell脚本的学习: 1.Shell的作用是解释运行用户的命令,用户输入一条命令,Shell就解释运行一条,这样的方式称为交互式(Interactive),Shell还有 一种运行命令的方式称为批处理(Batch),用户事先写一 个Shell脚本(Script),当中有非常多条命令,让Shell一次把这些命令运行完,而 不必一条一条地敲命令. 2.shell变量包含环境变量和本地变量,环境变量能够从父进程传给子进程,printenv可打印出来:本地变量仅仅存在于当前 Shell进程,用set命

直接插入排序(顺序插入排序) 基本思想: 排序过程,整个排序过程为n-1趟插入,即先将序列中的第1个元素看成是一个有序子序列,然后从第2个元素开始,逐个进行插入,直至整个序列有序. 在有序序列中插入一个元素,保持序列是有序的,不断增长这个有序序列完成排序 就类似将成绩单上的第一个同学的名字和成绩学到旁边一张白纸中央,如果第二个同学比他成绩高,就写到第一个同学的上方,如果比他低,就写到下方.等看到第三个同学的成绩后,根据他的成绩与前两个同学成绩比较,插入到相应的位置.比如他的成绩正好在两个同学之间

要掌握一门语言,就要先掌握它的语法.如同C语言一般,shell也有自己的语法. 变量 按照惯例,Shell变量通常由字母加下划线开头,由任意长度的字母.数字.下划线组成.有两种类型的Shell变量: 环境变量 环境变量可以从父进程传给子进程,因此Shell进程的环境变量可以从当前Shell进程传给fork出来的子进程.用printenv命令可以显示当前Shell进程的环境变量. 本地变量 只存在于当前Shell进程,用set命令可以显示当前Shell进程中定义的所有变量(包括本地变量和环境变量)

执行脚本: 编写一个简单的脚本test.sh: #! /bin/sh cd .. ls Shell脚本中用#表示注释,相当于C语言的//注释.但如果#位于第一行开头,并且是#!(称为Shebang)则例外,它表示该脚本使用后面指定的解释器/bin/sh解释执行.如果把这个脚本文件加上可执行权限然后执行: chmod a+x test.sh ./test.sh Shell会fork一个子进程并调用exec执行./test.sh这个程序,exec系统调用应该把子进程的代码段替换成./test.sh程

1. echo -n str        打印不换行 2. 反引号来圈住命令传入变量 eg: 生成日志文件: #!/bin/bash today=`date +%y%m%d` ls /usr/bin -al > log.$today 3. 重定向:command operator file >: 命令内容重定向到文件中 <: 文件内容重定向到命令参数里 <<: 命令行输入内容重定向到命令参数里.有开头和结尾标识. eg: 4. 管道: | : 左边命令输出结果直接重定向到右

(1)shell 历史: Shell的作用是解释执行用户的命令,用户输入一条命令,Shell就解释执行一条,这种方式称为交互式(Interactive). Shell还有一种执行命令的方式称为批处理(Batch),用户事先写一个Shell脚本(Script),其中有很多条命令,让Shell一次把这些命令执行完,而不必一条一条地敲命令. Shell脚本和编程语言很相似,也有变量和流程控制语句,但Shell脚本是解释执行的,不需要编译,Shell程序从脚本中一行一行读取并执行这些命令,相当于一个用户

在上一篇文章的末尾,我们创建了一个scrapy框架的爬虫项目test,现在来运行下一个简单的爬虫,看看scrapy爬取的过程是怎样的. 一.爬虫类编写(spider.py) from scrapy.spider import BaseSpider class test(BaseSpider): name = "test" allowed_domains = ["yuedu.baidu.com"] start_urls = ["http://yuedu.ba

Shell 就是一个命令解释器,他的作用就是解释执行用户输入的命令及程序等,用户每输入一条命令,Shell 就解释一条.这种从键盘一输入命令,就可以立即得到回应的对话方式,就称为交互的方式. 当命令或程序不在命令下执行,而是通过一个程序来执行时,该程序就称为Shell 脚本. Shell 脚本类似于DOS系统下的批处理程序(早期扩展名一般为“ *.bat”). 用户可在Shell 脚本中敲入一系列的命令及语句组合,这些命令,变量和流程控制语句等有机地结合起来,就形成了一个功能强大的Shell 脚