想保存一些网页,最后找到这 wget 的 shell脚本,虽然不是太理想,亲测可用呢. 使用wget工具抓取网页和图片   来源 https://my.oschina.net/freestyletime/blog/356985 #!/bin/sh URL="$2" PATH="$1" echo "download url: $URL" echo "download dir: $PATH" /usr/bin/wget -e ro

利用wget 抓取 网站网页 包括css背景图片 wget是一款非常优秀的http/ftp下载工具,它功能强大,而且几乎所有的unix系统上都有.不过用它来dump比较现代的网站会有一个问题:不支持css文件,它不会自动下载.重新链接css中所指定的图片.这个问题导致的最常见的后果是dump下来的网站看不到背景图片.本文所介绍的这个脚本主要就是用来解决这个缺陷的. 这里简要介绍一下这个脚本的细节:     第3行用于设置要下载的网站的地址.     第10行用于将文件名转换为windows兼容的

相应的安装命名 yum -y install wget yum -y install setup yum -y install perl wget -r   -p -np -k -E  http://www.xxx.com 抓取整站 wget -l 1 -p -np -k       http://www.xxx.com 抓取第一级 -r 递归抓取-k 抓取之后修正链接,适合本地浏览 http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html wge

---------------------------------------------------------临时解决方案----亲测ok 要解决该问题,方式也比较简单,就是修改Content Security Policy的默认配置. 修改方式为,进入Manage Jenkins-> Script console,输入如下命令并进行执行. System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "

在开发中,我们常常碰到需要定时拉取网站数据,如: setInterval(function(){ $.ajax({ url: 'xx', success: function( response ){ // do something with the response } }); }, 5000); 请思考下此写法有什么弊端? 能想到情况是:如果接口异常了,程序仍然会间隔5000ms抓取数据.换句话说,我们不能捕获到异常,并做一些合理的调整. 所以我们换个写法: // new hotness (f

wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps, -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的. 另外

一.Docker是什么? 产生背景: 开发和运维之间因为环境不同和导致的矛盾(不同的操作系统.软件环境.应用配置等)DevOps 代码.系统.环境.配置等封装成镜像Image--->运维: 集群的环境下每台服务器都要配置相同的环境: 解决“在我的机器是哪个可以正常工作”的问题: Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 阿里云.百度云等都支持Docker技术 二.Docker的作

首先从标题说起,为啥说抓取网站数据不再难(其实抓取网站数据有一定难度),SO EASY!!!使用Fizzler全搞定,我相信大多数人或公司应该都有抓取别人网站数据的经历,比如说我们博客园每次发表完文章都会被其他网站给抓取去了,不信你们看看就知道了.还有人抓取别人网站上的邮箱.电话号码.QQ等等有用信息,这些信息抓取下来肯定可以卖钱或者干其他事情,我们每天都会时不时接到垃圾短信或邮件,可能就这么回事了,有同感吧,O(∩_∩)O哈哈~. 本人前段时间了写了两个程序,一个程序是抓取某彩票网站的数据(双

写在前面 Md2site是基于Omi的一款Markdown转网站工具,使用简单,生成的文件轻巧,功能强大. 官网:http://alloyteam.github.io/omi/md2site/ Github: https://github.com/AlloyTeam/omi/tree/master/md2site 真实案例:http://alloyteam.github.io/omi/website/docs-cn.html 在使用之前的版本的时候,你会发现体验非常好?为什么非常好?因为页面间的

在有些时候,我们往往从github或者gitlab或者coding上面直接下载项目下来运行,但是这种情况往往没有使用git远程拉取来的安全(或者叫装逼), 所以这里我以gitLab为例子,说一下如何将远程服务器上的代码拉取到本地   首先,你得安装好git的软件 可以从网上获取 安装教程点击链接:git安装教程 安装好后,打开你的远程仓库的网站,当然你得发现你的项目组或者找到开源项目的东东 比如我的 gitlab: 然后随便打开一个项目,复制SSH链接:   接下来就可以开始在黑框里面搞了: 打

jenkins的部署 一.部署git 1)先检查系统是否已经自带了git,如果有,就卸载 $ rpm -qa | grep git && rpm -e git --nodeps 2)开始安装git所需要的依赖包 $ yum -y install curl-devel gettext-devel expat-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker 3)下载git源码包并安装 $ wget https://mirro

看到一个看球网站的以下截图红色框数据,想爬取下来,通常爬取网站数据一般都会从java或者python爬取,但本人这两个都不会,只会shell脚本,于是硬着头皮试一下用shell爬取,方法很笨重,但旨在结果嘛,呵呵. 2.首先利用curl工具后者wget工具把整个网站数据爬取下来 curl 网址 >wangzhan.txt 3.查看wangzhan.txt文件,找出规则,看到数据是存放在哪个地方,本人是把txt文件拷到本机上用UE打开方便查看.通过查看文件,我发现数据是存储在“var automu

一.安装Git(windows版.其他平台参阅) 去Git的官网,下载安装包,安装时,一路默认 二.配置Git 2.1 在任意地方,创建一个文件夹,保证该文件夹的目录全部是英文 2.2 打开新建的文件夹,在空白处右击,菜单中点选 Git Init Here 2.3 再次右击,菜单中点选Git Bash,弹出命令行 2.4 配置所有本地仓的账号.邮箱 $ git config --global user.name "Your Name" $ git config --global use

  应用范围:可以在命令行直接使用密码来进行远程连接和远程拉取文件. 使用前提:对于未连接过的主机.而又不输入yes进行确认,需要进行sshd服务的优化: # vim /etc/ssh/ssh_config StrictHostKeyChecking no # vim /etc/ssh/sshd_config GSSAPIAuthentication no UseDNS no # service sshd restart sshpass 命令的安装: # yum -y install sshpa

golang的第三方代码拉取一直是让人头疼的问题,在github托管的代码还好,托管在其他网站上的代码总会由于大家都懂的原因,无法访问.纵使是github,在拉取文件数量较多的库时,也是比较慢的. 有没有比较好的解决方案呢?有的,这里给大家提供一个:gogs + glide. gogs简介 官网 无需多做介绍,对标Gitlab即可.gogs使用golang开发,只要是go语言支持的平台它都支持,其搭建非常简单,这也是我们使用它而不用Gitlab的原因. glide 简介 glide是Go的包管理

一.本地新建Maven项目并启动成功 1. 按照IDEA提供的模板,构建一个maven webapp的模板项目. 一路Next,到最后的finish.如下图. 2. 新建Tomcat,启动刚建立的项目. (无需管太多,Tomcat会自行启动) 3. 启动成功 启动项目,浏览器出现如下,表示启动成功. 二.IDEA安装和配置Git,配置GitHub账号 步骤总结: 1. 本地安装Git 2. IDEA配置Git 3. IDEA配置GitHub账号 图示如下: 三.IDEA本地项目与GitHub 3

一.配置ssh key 1. 进入当前用户目录cd ~2. 生成ssh keyssh-keygen -t rsa -C "ABC@qq.com"ABC@qq.com账号必须是你登录github的账户名 中间如果提示文件已经存在可以选择覆盖,提示输入密码,可以直接按Enter跳过. $ ssh-keygen -t rsa -C "ABC@qq.com" Generating public/private rsa key pair. Enter file in whic

上午刚入手的小说,下午心血来潮想从网站上拉取下来做成电子书,呵呵,瞎折腾-说做就做- [抓包] 这一步比什么都重要,如果找不到获取真正资源的那个请求,就什么都不用做了- 先是打算用迅雷把所有页面都下载下来然后本地处理,结果发现保存下来的页面都只有界面没有内容-看了看Javascript的代码,原来是ready的时候再ajax发送post到另一个网址取内容. 于是再抓包核实一下.抓包工具真难搞,试了两三个都没成功,最后还是用firefox搞定了-打开页面共发送了50个请求,不过post只有两个,很

前言 本文旨在配置凭据.使用Git仓库中的Jenkinsfile与使用声明式流水线拉取Git代码 使用SVN等其他版本控制工具,请参考使用Pipeline-Syntax生成对应代码块 凭据(credentials)是什么 凭据(credentials)是访问其他系统的认证信息,可以是账号/密码.SSH密钥.加密文件等,Jenkins可以通过设置的凭据与其它第三方应用进行认证,在可信与可控的范围内,完成第三方交互. Jenkins可以存储以下类型的credentials: Secret text

转载请注明出处:饭饭博客:https://www.cnblogs.com/zzf0305/p/9602107.html 摘语:参考了N多大侠的资料,终于将自己的环境配置起来了.站在众多巨人的肩膀进行总结. 背景:公司的服务器为了安全,基本都是在内网中,只有有需要时才会开通一台外网机器. 目的:本文章将讲述,在开通一台外网机器的情况下,利用nginx做反向代理,使内网中的五台机器都可以上网,并将doker镜像下载下来. 附录:内网机器的安装配置脚本.写的比较简单粗暴. #!/bin/bash ne

一.创建项目 1.打开官网 2.填写相关内容 查看新创建的项目 3.选择方式 4.在git上新建文件夹 1)克隆: mkdir workspace 将代码克隆到本地,取本地配置的.ssh的文件 git clone git@github.com:bingtubao/AutoTest.git 2)推送 编辑一个文件 vi test.txt 注意:vi模式下,先输入i为编辑模式,在按esc切换到命令模式,然后:wq保存退出 git status 查看状态 git add 文件名         追踪文