读取url_list文件批量下载网页 url_list http://www.tianyancha.com/company/2412078287 http://www.4399.com/special/1.htm http://www.we7.cc/ http://kongzhong.tmall.com/ http://dianying.2345.com/ http://www.takefoto.cn/viewnews-1521788.html http://www.x4jdm.com/bf/4…

[1]Shell脚本:while read line无法读取最后一行的问题 刚刚利用shell脚本处理日志文件时,发现了一个问题:while read line无法读取到最后一行 通过编辑器可以看到待处理的文件是5243行,但是,脚本的计数值却只打印了5242次. shell脚本源码如下: icount=0 while read line do data=`echo ${line#*error repeat sdr }` callid=`echo ${data% error:mysql.*}`…

linux上面的程序刚开始启动的时候一般会从命令行获取某些参数,比如以守护进程运行啊什么的,典型的例子就是linux下的man,如下图所示 实现该功能可以使用getopt函数实现,该函数在头文件unistd.h定义 函数原型 int getopt(int argc,char * const argv[ ],const char * optstring); 函数说明 getopt()用来分析命令行参数.参数argc和argv是由main()传递的参数个数和内容.参数optstring 则代表欲处理…

在另一博文<Shell脚本实现DB2数据库表导出到文件>中实现了通过脚本实现将DB2数据库导出到文件,需要传入七个参数,最后一个是一个带有空格字符串,所以传入的时候有点问题,会自动识别空格,默认会将空格前的当作第7个参数,以下是传入的参数: MD duanwf CDR_CALL_YYYYMMDD /home/duanwf/asiainfo/export/T141015001_20141014.avl & fetch first rows only 最后的“fetch first 100…

1.sys模块 需要模块:sys参数个数:len(sys.argv)脚本名:    sys.argv[0]参数1:     sys.argv[1]参数2:     sys.argv[2] test.py import sys print 'scripy name is',sys.argv[0] tmp = len(sys.argv) for each in range(1,tmp): print 'arv',each,sys.argv[each] 运行时输入:python test.py hes…

shell判断一个变量是否为空方法总结 https://www.jb51.net/article/154835.htm 1.判断变量 复制代码代码如下: read -p "input a word :" wordif  [ ! -n "$word" ] ;then    echo "you have not input a word!"else    echo "the word you input is $word"fi 2…

package main import ( "flag" "fmt" "math" "os" ) /* go build xxx.go 编译产生同名的exe文件(在当前文件夹下) go run xxx.go 编译执行二合一(产生的exe文件在临时目录下) go builde -o yoursister.exe xxx.go 编译产生yoursister.exe文件(在当前文件夹下) */ /*简易获取命令行参数:获取命令行上输…

需求是这样的:将一个大概680M的Matlab数据文件传到国外某所大学的服务器上,服务器需要连接VPN才能访问,由于数据文件太大,而且如果我直接ssh连过去或者用ftp传输,那么中间很可能中断. ps:原来的时间大概17个小时左右!天哪,不要太惊讶,这是真的! 我当然没有直接的解决方法啊-请教王博学长,经过王博学长的指点迷津,一个基本可行的方案就这么出来了: 文件 -> CDN ->国外服务器 用cdn 的话,我只需要将文件先上传到CDN,然后只要节点同步之后,文件很有可能在国外的服务器上,这…

很多程序和脚本都通过环境变量来获取系统信息.存储临时数据和配置信息. 6.1 什么是环境变量: bash shell用一个叫环境变量(environment variable)的特性来存储有关shell会话和工作环境的信息. 这项特性允许在内存中存储数据,以便程序能轻松访问到它们. 在bash shell中,分两类: 全局变量:对于shell会话和所有生成的子shell都是可见的 局部变量:只对创建的它们的shell可见 6.1.1全局环境变量 查看全局变量,  $env    $printen…

1.Shell脚本: shell是一种脚本语言 目的:可以实现自动化运维,能大大增加运维的效率.2.Shell脚本结构:   #!/bin/bash  以#!/bin/bash开头,即以/bin/bash进行解析#  以#开始的行,表解释说明通常以.sh结尾执行方法:/bin/bash  name.sh 或先加执行权限 chmod +x name.sh  然后再运行 ./name.sh-x  显示执行的过程:/bin/bash -x  name.sh-n 查看脚本中是否有语法错误: /bin/b…