Axel替代wget 2011年11月10日admin发表评论阅读评论   Linux下用的最多的下载工具莫过于wget和curl,这两个工具虽然堪称经典.但其单线程的速度越来越不能大软件的下载.于是考虑使用多线程下载工具代替这两个经典的工具.从网上搜寻不难发现多线程下载工具N多,这里只说两个.因为个人通过测试,感觉这两个工具无论和性能和下载速度上都堪称上称之作. 本篇幅介绍axel,另外一个工具aira2我会另列一个篇章介绍. Wget http://alioth.debian.org/frs…

在爬数据的时候很多时候需要下载文件比如压缩文件,音频,视频,图片等等,这些文件通常有一个请求的url,这个时候使用request模块或者urllib模块都很慢,而且很不稳定,这个时候使用wget或者axel等系统工具并结合os模块的system命令就很稳定并且很快 在数据抓取的时候很能加快速度 sudo apt-get install axel 亲测比wget快非常多:) 如果在 Windows平台可以使用迅雷会员下载更快一些, linux上面有 xware desktop…

Axel工具是linux下的http/ftp中强大下载工具,支持多线程和断点续传下载.且可以从多个地址或者从一个地址的多个连接来下载同一个文件. 常用的选项: [root@wjoyxt ~]# axel -h查看帮助信息 Usage: axel [options] url1 [url2] [url...]  格式 --max-speed=x  -s x Specify maximum speed (bytes per second)(指定每秒的最大下载速度) --num-connections=…

前段时间趁着双11打折,又将阿里云主机续费了3年.之前布署的系统是Ubuntu 12.04,从系统发布到现在也有四年半了,其官方支持的生命周期也将止于明年春,且这在几年里出现了很多新的事物,我也需要跟上时代的步伐,于是着手将整个环境更新至最新的Ubuntu 16.04,现将布署过程记录如下 系统布署 环境布署 应用布署 10. 停止服务器实例,选择更换系统盘,选择Ubuntu 16.04 64bit,重启实例 20. 挂载虚拟内存 mkdir /swap && cd /swap &…

最近学习Linux,使用虚拟机太不方便,于是购买了阿里云最便宜的云主机作为学习设备. 本系列文章记录了个人学习过程的点点滴滴. 学习Linux系列--安装Ubuntu 学习Linux系列--安装软件环境 学习Linux系列--布署常用服务 学习Linux系列--Python资源收集 10.云主机的配置是单核U,512M内存,20G系统盘,5G数据盘,1M的带宽,1个公网IP,操作系统是Ubuntu 12.04 X64,价格为每月57块. 菜鸟也会安装 Linux! Ubuntu 系统菜鸟入门完全…

整理总结日常Ubuntu中使用的一些软件,事实证明使用Linux真的会让人的欲望变小有个能用的就不错啦,不要调三捡四 解压类 Unzip | unzip -O CP936 files Unrar rar 浏览器 谷歌 必备插件: 火狐 编程类 Java JDK + Eclipse | 均官网 Eclipse中需要安装的插件 Python Pycharm |官网 Python日常需要安装的模块(在交互式解释器中输入>>> help("modules")即可查看所有已安装…

1.一般使用spine比较多,spine是一个基于C语言的,非常快速的轮询引擎.它是默认的cmd.php轮询的可选替代 wget http://www.cacti.net/downloads/spine/cacti-spine-0.8.8a.tar.gz 然后解压安装即可: ./configure --prefix=/usr/local/spine ;make -j8 ;make -j8 install 然后修改配置: vim /usr/local/spine/etc/spine.conf DB…

网络共享服务:ftp,nfs,samba比较 从跨平台角度说, samba, ftp差不多, 而nfs不支持windows平台 从挂载角度说, samba, nfs可以把远程目录挂载到本地目录上, 对用户是透明的. 而ftp则不行 从使用范围上说, samba, nfs最好是限定在局域网内, 不要暴露在公网上. 而ftp则不同, 既可以面向内网, 也可以是公网. 从面向对像来说, 三者都支持文件, 但samba还支持打印机, 以及作windows域管理器 FTP(File Transfer Pr…

Docker镜像由只读层组成,每个层都代表一个Dockerfile指令.这些层是堆叠的,每一层都是前一层变化的增量.示例Dockerfile: ​ FROM ubuntu:15.04 COPY . /app RUN make /app CMD python /app/app.py 每条指令创建一个层: FROM从ubuntu:15.04Docker镜像创建一个图层. COPY 从Docker客户端的当前目录添加文件. RUN用你的应用程序构建make. CMD 指定在容器中运行的命令. ​ 运行…

Compared aria2c, axel and wget, aria2c is the best. It support multi-thread download (with "-s ") and resume partially downloaded files automatically (you have to use "-c" in wget for this function). Synopsis: $ aria2c -s 10 <URL>…