为什么wget下载的对象后面有一堆乱码

2024-11-09

解决wget下载文件名乱码的一些方法

在下载用apache或者nginx做的索引目录时,遇到文件名乱码问题.搜索了不少资料,尝试了好几种方案,大家可以结合使用. 一般情况下加上–restrict-file-names=nocontrol参数就可以用了. 其实除了下面方法一和方法二外,还有一个大家可以自由发挥的,我是没有研究透,编码实在太让自己头疼了. 有一个前提,要注意索引目录显示出来的是什么编码,比如有些网站是UTF-8(这个应该比较正规,中文不会出现很大麻烦,可以用方法二搞定),有些是GBK,可能跟文件的编码,或者apache.

初学shell，今天遇到由wget下载到本地的网页源代码的乱码问题，无聊的写了一个转码的脚本

今天用wget想下载文件,结果下载了一堆本地的index.html文件,一查看全是乱码,然后百度了一下,网页的编码格式大概有三种: 1.utf-8 2.gb2312 3.gbk 要在网页源码中的<head>下的<meta >属性的设置中查看 charset 对应的属性值. 而我的centos的操作系统只识别utf-8格式的,由环境变量LANG保存的配置,我们可以查看一下 echo $LANG ,系统返回的是:zh_CN.UTF-8 .所以我们需要一个转换编码格式的命令:icon

wget下载工具

转自于:http://www.jb51.net/LINUXjishu/86326.html 1.使用wget下载单个文件 e.g. wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip #下载文件,并保存在当前目录下 #下载过程显示进度条,当前下载速度,剩余下载时间等 2.使用wget -O 下载并以不同的文件名保存 e.g. wget http://www.centos.bz/download?id=1080 #默认保存在当前目录下的文件

Wget下载终极用法和15个详细的例子

Wget下载终极用法和15个详细的例子备注:wget 不支持https 下载,也没有相关https参数,当下载https的时候或以改用 axelWget是一种很好用的因特网下载工具,他具有的很多特性是其他工具所不能比拟的,再者他是一个轻量级可配置的下载工具. 本文结合例子介绍Windows下wget的多种下载方法和用途. 1.用Wget下载单个文件下载的时候会显示: ~文件的大小.连接状态.连接地址以及文件的大小 ~保存的名称 ~下载进度条 ~下载速度.时间,还有多少未下载例如我下载ed

15个Linux Wget下载实例终极指南

15个Linux Wget下载实例终极指南 Linux wget是一个下载文件的工具,它用在命令行下.对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器.如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器.这样既浪费时间又浪费精力,那不没办法的事.而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步.wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP

多线程爬虫Java调用wget下载文件，独立线程读取输出缓冲区

写了个抓取appstore的,要抓取大量的app,本来是用httpclient,但是效果不理想,于是直接调用wget下载,但是由于标准输出.错误输出的原因会导致卡住,另外wget也会莫名的卡住. 所以我采用: 一.独立线程读取输出信息: 二.自己实现doWaitFor方法来代替api提供的waitFor()方法,避免子进程卡死. 三.设置超时,杀死wget子进程,没有正确返回的话,重试一次,并把超时时间加倍: 有了以上操作,wget不会卡死,就算卡住了也会因为超时被干掉再重试一次,所以绝大部分的

使用wget下载JDK8

每次去官网下载JDK有点烦但是直接使用wget 又得同意协议所以使用如下的wget就好了(注意是64位的哦) 先去官网看一下地址变化没有如下 :修改后面的下载地址即可注意哦~ 2.然后使用下面的wget下载就好了~(不可以直接解压需要重命名后缀名有问题哦) wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://down

wget下载整个网站

wget下载整个网站wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,

wget 下载百度网盘文件

上传文件到服务器,有许多种方法,罗列一下我用过的 xftps之类的工具 rz tz命令 git 上传到码云通过wget方式,上传文件到百度网盘,七牛云等只要支持wget方式下载即可下面介绍一下怎么通过wget方式下载文件到服务器,我这边演示的是百度网盘: 上传文件到百度网盘我这边通过分享获取"百度云分享链接",点击文件会有分享按钮,我选择邮件的分享方式: 打开邮箱查看文件地址,并复制 "百度云分享链接",wget下载时会用到再百度网盘点击下载,选用迅雷下载,

CentOS 6.x下wget 下载提示 Unable to locally verify the issuer’s authority 完美解决方案

CentOS 6.x下wget 下载提示 Unable to locally verify the issuer’s authority 完美解决方案栏目:Linux 作者:小天点击: 1,453 次升级了wget 和 OpenSSL后,下载https链接的文件时出现提示:ERROR: cannot verify ftp.gnu.org's certificate,.... Unable to locally verify the issuer's authority. 如下图:

利用WGET下载文件，并保存到指定目录

wget是Linux上一个非常不错的下载指令,也算是Linux工作者常用的指令之一而这个指令我想在各大系统都预设有提供,包括了Ubuntu.Fedora等,而一般来说,要使用wget下载档案,只需要打以下的指令:wget 网址而要让档案自动储存到指令的目录下,则需要借用-P这个参数,可以使用以下的指令wget -P 目录网址举例来说,如果你要放到/root底下,你可以打下列的指令:wget -P /root 网址

关于RDS备份文件使用wget下载提示403 Forbidden的情况

关于RDS备份文件使用wget下载提示403 Forbidden的情况使用wget下载提示403错误当我们RDS物理备份文件时,例如: 原因: URL中包含有特殊字符比如&,从而造成URL被截断导致请求URL在OSS中不存在,所以当我们访问时被拒绝提示403. 解决办法: 可以将备份文件URL使用英文""扩起来即可下载,详情见下图: 实例操作: wget .tar.gz?OSSAccessKeyId=LTAIyKz*********Cng8%3D" -O aliyu

linux上使用wget下载文件

首次安装的centos操作系统是没有安装wget的,所以首先需要先安装wget,然后才能使用wget下载文件. 1.第一步,保证centos能正常连网.使用命令 :yum -y install wget 如下图,稍等一会即可安装完成. 2.使用wget下载文件,以下载jdk为例. 首先到官网下载地址页面.https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 复制*.tar.g

【Docker】通过cookie欺骗在ubuntu中使用wget下载jdk

在ubuntu系统中,如果想通过wget直接下载Orcale内的jdk文件,一般是办不到的.所以就得用特殊的方法. 首先在官网找到自己需要下载的jdk版本下载链接: 点选Accept License Agreement后,右键需要下载的Linux文件,右键点击它,选择"复制链接地址",这样就能得到该文件的下载路径. 比如下载linux x64版本文件jdk-6u45-linux-x64.bin,得到的路径为: http://download.oracle.com/otn/java/jd

wget下载HTTPS链接

wget -c -O master.zip --no-check-certificate https://github.com/mitsuhiko/flask/archive/master.zip # master.zip 为文件名# https://... 为链接 wget是linux最常用的下载命令, 通常的运用要领是: “wget 空格+要下载文件的url路径”. 比方 : [linux]# wget http://www.test.com/xxxx/xxx.tar.gz 其中-c参数,

linux下使用wget下载整个网站

linux下可以用wget下载整个网站,而且网站链接中包含utf-8编码的中文也能正确处理. 简要方法记录如下: wget --restrict-file-name=ascii -m -c -nv -np -k -E -p -R=exe,zip http://www.xxx.com 参数释义如下: --restrict-file-name=ascii ,将文件名保存为ASCII格式.这样能避免utf-8文件名带来的麻烦(注:1.12版才支持ascii参数值) -m 整站下载,mirror的缩写,

ubuntu 中wget (下载)命令用法

Linux wget是一个下载文件的工具,它用在命令行下. 对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器 1.使用wget下载单个文件以下的例子是从网络下载一个文件并保存在当前目录 wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间). 2.使用wget -O下载并以不同的文件名保存

wget下载https文件，服务器可以虚拟机中不行的问题

用wget下载一个图片资源(https协议),在服务器上可以,但在本机的虚拟机中卡在下面这里了: [root@localhost ~]# wget 'https://gp1.wac.edgecastcdn.net/806614/photos/photos.500px.net/90241693/795b7a5900db5905631ebe7ff5aa141a5e0f59ce/3.jpg?v=6' ---- ::-- https://gp1.wac.edgecastcdn.net/806614/ph

解决wget下载https时报错 --no-check-certificate (不检查证书)

如果使用 wget下载https开头的网址域名时报错,你需要加上 --no-check-certificate (不检查证书)选项例如: wget https://pypi.python.org/packages/88/28/79162bfc351a3f1ab44d663ab3f03fb495806fdb592170990a1568ffbf63/IPy-0.83.tar.gz --no-check-certificate 在wget 后面加上参数后可以解决这个问题

linux 使用wget下载https连接地址cannot verify github.com's certificate

使用linux的wget下载时候会出现网站没有证书警告的问题, 例如下载git时,可以使用wget https://github.com/git/git/archive/v2.3.0.zip --no-check-certificate 去掉证书验证

为什么wget下载的对象后面有一堆乱码

热门专题