webcollector是一个开源的Java网络爬虫框架.最近的爬虫改用java写了,对这一周的工作进行简要总结.对于内部机制了解不深入,主要侧重在应用. 一.环境搭建 需要安装一个webcollector的jar包,从官网上下载bin文件,解压,根据不同IDE的安装方式进行安装即可. https://github.com/CrawlScript/WebCollector 关于使用,官网上提供了很多的例子,从GitHub上将整个Webcollector的工程下载下来,参照进行编码. 我直接在官方

参考 :http://www.aboutyun.com/thread-9219-1-1.html Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档 Cloudera Manager5及CDH5安装指导(终极在线安装) 问题: mysql服务,启动不起来? 答:CM本身是有一个元数据库,可以不管它,改为mysql. CM是离线安装,还是在线安装? 答:都可以,通常是离线安装,慢慢下. 跟jdk版本有没有问题? 答:5.4.

在Linux 安装Python3.5.6详细文档!!!! 1.安装相关依赖库(工具包) yum install gcc patch libffi-devel python-devel  zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y 2.下载python3的源代码(在linux

目录 全网最全的linux上docker安装oracle的详细文档,遇到了n个问题,查了几十篇文章,最终汇总版,再有解决不了的,私聊我,我帮你解决 1. 拉取阿里镜像oracle 2. 创建初始化数据 3. 创建启动容器 数据持久化 4. 进入oracle容器 5. 切换到root用户下进行配置 6. 编辑profile文件配置ORACLE环境变量 7. 创建软连接 8. 切换到oracle 用户 9. 登录sqlplus并修改sys.system用户密码 10. 修改sys.system用户密

第一部分,使用文档的说明 Options(选项): -h, -–help 显示此帮助消息并退出 -hh 显示更多帮助信息并退出 –-version 显示程序的版本号并退出 -v VERBOSE 详细级别:0-6(默认为1) Target(目标): 以下至少需要设置其中一个选项,设置目标URL. -d DIRECT 直接连接到数据库. -u URL, –url=URL 目标URL. -l LIST 从Burp或WebScarab代理的日志中解析目标. -r REQUESTFILE 从一个文件中载入

问题导读:1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装?2.Cloudera Manager5安装被中断该如何继续安装?还是重新安装?3.安装过程cloudera server与agent不能通信该如何解决?4.Cloudera Manager5安装是否有要求?5.安装服务的过程中,遇到错误,该如何解决?Cloudera Manager5安装遇到很多的问题,本来Cloudera Manager是为了简化部署,但是由于条件有限,安装

最近要做一个数据库的升级工作,提前在自己的PC机上练习了一下,这种文档在网上很多,但是大多都是使用命令编辑脚本,其实数据库还有一个DBUA的升级工具可以使用,使升级工作方便了很多. OS环境:windows XP 32位 PC 数据库版本:10.20.01 升级版本:10.20.05 操作步骤:1.备份数据库软件和数据库,因为迁移一旦失败,可以迅速恢复. 2.使用metalink下载升级包 3.关闭数据库所有的后台服务,在管理工具内停止. 4.升级数据库软件 5.升级数据库 //metalink

https://www.kubernetes.org.cn/3808.html?tdsourcetag=s_pcqq_aiomsg 1:服务器信息以及节点介绍 系统信息:centos1708 minimal    只修改IP地址 主机名称 IP 备注 node01 192.168.150.181 master and etcd rode02 192.168.150.182 master and etcd node03 192.168.150.183 master and etcd node04

1. 操作系统,系统环境,目结结构,用户,权限,日志路径,脚本2. 配置规范化 1.1 操作系统准备 操作系统 Kylin Linux release 3.3.1707 (Core)数据库版本 mysql-5.6.15-linuxmysql相关路径 /data/mysqldata/{3306/{data,tmp,binlog,slave,log/iblog},backup,scripts}软件路径 /data/soft1.2 相关软件准备选择磁盘挂载目录/data作为mysql数据路径以及其他相

一.SpringMVC基础入门,创建一个HelloWorld程序 1.首先,导入SpringMVC需要的jar包. 2.添加Web.xml配置文件中关于SpringMVC的配置 <!--configure the setting of springmvcDispatcherServlet and configure the mapping--> <servlet> <servlet-name>springmvc</servlet-name> <serv

awk命令 本文索引 [隐藏] awk命令格式和选项 awk模式和操作 模式 操作 awk脚本基本结构 awk的工作原理 awk内置变量(预定义变量) 将外部变量值传递给awk awk运算与判断 算术运算符 赋值运算符 逻辑运算符 正则运算符 关系运算符 其它运算符 运算级优先级表 awk高级输入输出 读取下一条记录 简单地读取一条记录 关闭文件 输出到一个文件 设置字段定界符 流程控制语句 条件判断语句 循环语句 while语句 for循环 do循环 其他语句 数组应用 数组的定义 数组相关函

在开发项目时候,难免要查看日志排查错误.之前只会用cat , more, less, tac, tail的简单功能, 但在实际工程中还是不够用的,至少效率很低.今天抽空看了下以下的博客,并实际进行了简单的操作. 希望以后多用一些这样的方式加快自己的错误排查效率,提高整体的工作效率. 参考文章: http://blog.csdn.net/xyw_blog/article/details/16861681 http://www.linuxso.com/command/more.html 总结如下:

下面演示安装的是在VirtualBox里安装rhel 6.4 linux 64位系统. 一.VirtualBOX 版本. 二.虚拟机的配置. 1.现在开始演示安装,一起从零开始.点击“新建”,创建新的系统. 1.现在开始演示安装,一起从零开始.点击“新建”,创建新的系统. 2.选择你要安装的系统类型,这里它有自动识别功能,我输入rhel-6.4_64的时候,下面的类型和版本自动识别出来了. 3.给虚拟机分配内存大小,这个结合你自己机器的内存.如果不安装其他的东西512M就可以,我的机器是8G,这

https://smartos.org/ http://dtrace.org/guide/chp-io.html http://blog.csdn.net/babyfacer/article/details/8577333 http://www.beginningwithi.com/2013/01/22/whole-lotta-videos/ http://blog.smartcore.net.au/smartos-command-line-fu/ http://www.openindiana.

1.首先打开Cornerstone 2.然后如下图所示: 3.选择对应的仓库,如下图所示 4.然后Import完成之后,就把本地的文件提交到SVN服务器上了,如下图所示,另外如果你想要使用SVN进行版本控制的话,那么需要把服务器上的文件Check Out到本地,这样的话本地Check Out下来的文件就和服务器上对应的文件建立了关联,这样本地文件再更改的时候就能作用于SVN服务器上了,达到了版本控制的一个目的.如下图: PS:如果你在打开工程的时候让你升级SVN版本的话,不要升级,如果升级的话你

http://www.runoob.com/css/css-boxmodel.html

简介 Filter也称之为过滤器,它是Servlet技术中最激动人心的技术,WEB开发人员通过Filter技术,对web服务器管理的所有web资源:例如Jsp, Servlet, 静态图片文件或静态 html 文件等进行拦截,从而实现一些特殊的功能.例如实现URL级别的权限访问控制.过滤敏感词汇.压缩响应信息等一些高级功能. Filter技术是servlet 2.3新增加的功能.它能够对Servlet容器的请求和响应对象进行检查和修改. Filter本身并不生成请求和响应对象,只是提供过滤功能.

使用Virtual Box,感觉跟Vmware差不多,我的本子的系统是win7 64位. 下面演示安装的是在VirtualBox里安装rhel 6.4 linux 32位系统.32位系统安装和 64位的安装差不多 一.VirtualBOX 版本. 二.虚拟机的配置. 1.现在开始演示安装,一起从零开始.点击"新建",创建新的系统. 2.选择你要安装的系统类型,这里它有自动识别功能,我输入rhel-6.4_64的时候,下面的类型和版本自动识别出来了. 3.给虚拟机分配内存大小,这个结合你

规划 环境:redhat6.9 安装包:p13390677_112040_Linux-x86-64_1of7.zip p13390677_112040_Linux-x86-64_2of7.zip 数据库配置 ORACLE_SID=csk; ORACLE_BASE=/home/app/oracle; ORACLE_HOME= $ORACLE_BASE/product/11.2.0/dbhome_1; ORACLE IP = 192.168.17.133 ORACLE 端口= 1521.1158 具

Draw Diagrams With Markdown August 15, 2016 by typora.io Typora supports some Markdown extensions for diagrams, once they are enabled from preference panel. When exporting as HTML, PDF, epub, docx, those rendered diagrams will also be included, but d

<!DOCTYPE html> <html> <head> <meta name="viewport" content="width=device-width, initial-scale=1"> <title>Draggable Link</title> <meta name="description" content="Drag a link to rec