http://www.ibm.com/developerworks/cn/opensource/os-cn-heritrix/…

原文:利用Xamaria构建Android应用-公交发车信息屏 1.背景 在公交整个运营系统中,信息展示占据了很大一部分的内容.各种除了户外的各种LED拼接屏,还有用于室内信息提示用的LCD屏幕.对于LCD屏,传统的方式需往往要安装一台以上的电脑主机,然后将LCD屏当作电脑显示器使用.利用操作系统的直接输出,或是同步分屏功能,将显示的内容投到相应的LCD设备上.不过,随着智能设备的普及,比如装有Android的机顶盒,或是智能电视,将显示功能直接集成到显示设备中成为了一种可能和趋势.同时,大大减…

利用Python编写简单网络爬虫实例3 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错 实验目的 获取目标网站“http://bbs.51testing.com/forum.php”中特定url,通过分析发现,目标url同其它url的关系如下   目标url存在子页面中的文章中,随机分布,我们要把它找出来 python脚本 #!/usr/bin/env python # -*- coding:utf-8 -*- from urllib.request…

利用Python编写简单网络爬虫实例2 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错 实验目的 获取目标网站“http://www.51testing.com/html/index.html”中特定url,通过分析发现,目标url同其它url的关系如下   目标url存在子页面中的文章中,随机分布,我们要把它找出来 python脚本 #!/usr/bin/env python # -*- coding:utf-8 -*- from urllib.r…

来自weixin 记得n年前项目需要一个灵活的爬虫工具,就组织了一个小团队用Java实现了一个爬虫框架,可以根据目标网站的结构.地址和需要的内容,做简单的配置开发,即可实现特定网站的爬虫功能.因为要考虑到各种特殊情形,开发还耗了不少人力.后来发现了Python下有这个Scrapy工具,瞬间觉得之前做的事情都白费了.对于一个普通的网络爬虫功能,Scrapy完全胜任,并把很多复杂的编程都包装好了.本文会介绍如何Scrapy构建一个简单的网络爬虫. 一个基本的爬虫工具,它应该具备以下几个功能: 通过H…

记得n年前项目需要一个灵活的爬虫工具,就组织了一个小团队用Java实现了一个爬虫框架,可以根据目标网站的结构.地址和需要的内容,做简单的配置开发,即可实现特定网站的爬虫功能.因为要考虑到各种特殊情形,开发还耗了不少人力.后来发现了Python下有这个Scrapy工具,瞬间觉得之前做的事情都白费了.对于一个普通的网络爬虫功能,Scrapy完全胜任,并把很多复杂的编程都包装好了.本文会介绍如何Scrapy构建一个简单的网络爬虫. 一个基本的爬虫工具,它应该具备以下几个功能: 通过HTTP(S)请求,…

全面解读Python Web开发框架Django Django是一个开源的Web应用框架,由Python写成.采用MVC的软件设计模式,主要目标是使得开发复杂的.数据库驱动的网站变得简单.Django注重组件的重用性和“可插拔性”,敏捷开发和DRY法则(Don’t Repeat Yoursef).   花了两周时间,利用工作间隙时间,开发了一个基于Django的项目任务管理Web应用.项目计划的实时动态,可以方便地被项目成员查看(^_^又 重复发明轮子了).从前台到后台,好好折腾了一把,用到:H…

Dockerfile内容如下: FROM centos MAINTAINER Victor ivictor@foxmail.com WORKDIR /root RUN rm -f /etc/yum.repos.d/* RUN echo '[BASE]' > /etc/yum.repos.d/base.repo RUN echo 'name=base' >> /etc/yum.repos.d/base.repo RUN echo 'baseurl=http://192.168.244.13…

利用node构建本地服务 首先安装下node.js,地址为https://nodejs.org/en/,然后安装npm. node.js的中文api地址http://nodeapi.ucdok.com/#/api/- 一些模块的用法可以在自己的终端试试哦,通过node这个命令进入node.js环境.如下图 利用node构建本地服务,用到的模块有http.fs.path着三个模块,其中http是用来创建服务的:fs时文件模块,可读写等本地文件:path是一套用于处理和转换文件路径的工具集(具体见h…

前一篇文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上,介绍如何利用Eclipse构建Spark集成开发环境. (1) 准备工作 在正式介绍之前,先要以下软硬件准备: 软件准备: Eclipse Juno版本(4.2版本),可以直接点击这里下载:Eclipse 4.2 Scala 2.9.3版本,Window安装程序可以直接点击这里下载:Scala 2…

  转载自:http://www.ibm.com/developerworks/cn/opensource/os-cn-gradle/ 构建系统时候常常要用到 Ant, Maven 等工具,对于初学者来说,它们还是过于复杂,上手还是需要时间的.本文将向读者介绍一种全新的构建项目的方式 gradle,它简单.上手快,能大大节省项目的时间和成本. 在 eclipse 下利用 gradle 构建系统 基本开发环境 操作系统:本教程使用的为 Windows Vista Enterprise, 如果您的系…

一.项目初始构建 现在如果要构建一个 Vue 的项目,最方便的方式,莫过于使用官方的 vue-cli . 首先,咱们先来全局安装 vue-cli ,打开命令行工具,输入以下命令: $ npm install -g vue-cli 1 然后,利用 vue-cli 构建一个 Vue 项目: $ vue init <template-name> <project-name> # 例如: $ vue init webpack my-project 1 2 3 4 这行代码其实就是从 Git…

项目开发常采用前后端分离的方式.前后端通过API进行交互,在Swagger UI中,前后端人员能够直观预览并且测试API,方便前后端人员同步开发. 在SpringBoot中集成swagger,步骤如下: 1.项目开始当然离不了的就是pom文件了,下面的依赖添加到Maven项目的pom.xml文件中.springfox-swagger2组件帮助我们自动生成描述API的json文件,而springfox-swagger-ui组件就是将这个json文件解析出来,用一种更友好的方式呈现出来.另外我这边操…

利用openssl构建根证书-服务器证书-客户证书 OpenSSL功能远胜于KeyTool,可用于根证书,服务器证书和客户证书的管理 一.构建根证书 1.构建根证书前,需要构建随机数文件(.rand),完整命令如 openssl rand -out private/.rand 1000 rand 随机数命令.这里将随机数文件输出到private目录下. -out 输出文件路径, 这里的参数1000,指定来产生伪随机字节数 2.构建根证书私钥 openssl genrsa -aes256 -out…

利用Docker构建开发环境 Posted by  makewonder on 2014 年 4 月 2 日   最近接触PAAS相关的知识,在研发过程中开始使用Docker搭建了自己完整的开发环境,感觉生活在PAAS时代的程序员真是幸福,本文会简要介绍下Docker是什么,如何利用Docker来搭建自己的开发环境(本文主要是面向Mac OS X),以及期间所遇到的一些坑和解决方案.(本文会要求你对PAAS.LXC.CGroup.AUFS有一定的了解基础,请自行Google ) 大背景–虚拟化技…

利用Dockerfile构建一个基于CentOS 7,包括java 8, tomcat 7,php ,mysql+mycat的镜像. Dockerfile内容如下: FROM centosMAINTAINER Victor root@linuxidc.comWORKDIR /rootRUN rm -f /etc/yum.repos.d/*RUN  echo '[BASE]' > /etc/yum.repos.d/base.repoRUN  echo 'name=base' >> /etc…

动机 使用Markdown撰写博客,并以静态页面形式发布. 选择hugo 现在jekyll似乎更加流行,但是jekyll是基于Ruby的,在windows下安装很繁琐. 而hugo是用go写的,windows版本只有一个exe,安装起来非常方便. 因此决定使用hugo作为站点生成器. 系统环境 Windows 8.1 x64(主流Windows系统应该都没有问题) git(用来下载皮肤) 安装hugo 下载 通过Github的下载页面获得最新版本的hugo. 解压并配置PATH 解压到任意文件夹…

1 包含 直接把另一个文件的内容,复制粘贴过来 {% include "模板路径" %} 注意:模板都是放在 templates 这个文件夹下面的,可以在里面新建文件夹来进行分离:    例如:{% include "include/header.html" %} <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"…

目前本人接触过两种模板导出的方式:(1)C#利用NPOI接口制作Excel模板,在服务端用数据渲染模板(2)在前端利用前人搭建好的框架,利用office编写xml制作模板,在客户端进行数据的渲染,导出的格式是word.在制作报表时两种方式都可以满足的基本需求,但excel模板更加强大,因为xml模板的布局大体在事先就要确定好,扩展性不高,而excel模板就可以根据数据的特点进行自定义布局,拓展性更强.下面介绍如何在服务端利用NPOI构建excel模板. 简单来讲,NPOI是一个库,它可以处理多种…

React初步学习-利用React构建个人博客 用React和Webpack写了一个很简单的个人博客,主要是想要熟悉一下react中各种基本基本属性及方法的使用.在构建过程中碰到不少问题,通过阅读官方API,对react的生命周期和状态提升都有了更好的了解. 构建工具webpack css编译使用css-loader 博客源码 git@github.com:sunrun93/react-blog-app.git 将源码下载到本地,通过npm i安装依赖,使用npm start运行项目 依赖安装完…

这一章节我们来展示一下如何利用泛型构建复杂模型? 1.元组列表 我们之前已经说过元组是一个复杂的模型,能够返回多对象. package com.ray.ch11; import java.util.ArrayList; public class Test { public ArrayList<Tuple<A, B, C>> test() { ArrayList<Tuple<A, B, C>> list = new ArrayList<Tuple<…

shell编程系列10--文本处理三剑客之sed利用sed查询特定内容 利用sed查找文件内容: pattern种类: .8p .,10p .,+5p ./regexp/p .,/regexp/p ./regexp/,8p .打印/etc/passwd中第10行的内容 sed -n '10p' /etc/passwd .打印/etc/passwd中第8行开始,到第15行结束的内容 sed -n '8,15p' /etc/passwd .打印/etc/passwd中从第8行开始,然后+5行结束的内…

前言 Swagger 是一款RESTFUL接口的文档在线自动生成+功能测试功能软件.本文简单介绍了在项目中集成swagger的方法和一些常见问题.如果想深入分析项目源码,了解更多内容,见参考资料. Swagger 是一个规范和完整的框架,用于生成.描述.调用和可视化 RESTful 风格的 Web 服务.总体目标是使客户端和文件系统作为服务器以同样的速度来更新.文件的方法,参数和模型紧密集成到服务器端的代码,允许API来始终保持同步.Swagger 让部署管理和使用功能强大的API从未如此简单.…

利用ELK构建一个小型日志收集平台 伴随着应用以及集群的扩展,查看日志的方式总是不方便,我们希望可以有一个便于我们查询及提醒功能的平台:那么首先需要剖析有几步呢? 格式定义 --> 日志收集 --> 运输 --> 存入 --> 查询 根据上面这几步,我们简单来设计一个收集平台,如下图: 这里我们使用了Elastic Stack家族的Filebeat用作客户端收集,Kibana作为数据展示,Elasticsearch(后面简称ES)来存储日志,Logstash作为一个中转站帮助我们运…

建议在了解了一定网络爬虫的基本原理和Heritrix的架构知识后进行配置和扩展.相关博文:http://www.cnblogs.com/hustfly/p/3441747.html 摘要 随着网络时代的日新月异,人们对搜索引擎,网页的内容,大数据处理等问题有了更多的要求.如何从海量的互联网信息中选取最符合要求的信息成为了新的热点.在这种情况下,网络爬虫框架heritrix出现解决了这个问题. Heritrix是一个开源的.java开发的.可扩展的web爬虫项目.用户可以使用它来从网上抓取想要的资…

龙启东 魅族资深DBA 负责MySQL.Redis.MongoDB以及自动化平台建设 .擅长MySQL高可用方案.SQL性能优化.故障诊断等. 本次分享主要包括以下几方面: 如何利用MHA 改造MHA适应MySQL高可用场景 构建MySQL高可用平台的出发点 如何构建MySQL高可用平台 一.背景和目标 以前几十台DB服务器,人工登陆服务器就能维护好,也没有高可用,当master挂了,通知业务将IP切换到slave然后重启也能基本满足业务要求,但是业务迅速发展,实例数不断增加,复制集不断增加,数…

引言 在学习Scala的过程中,我发现其在构建大规模分布式计算系统上有与生俱来的特质. 其丰富的类型系统能够帮助编程设计提供非常好的信息隐藏和抽象,其monoids和monads概念利用Scala高阶函数实现计算并行和数据处理流水线,其Actor系统帮助编写可伸缩性的应用程序,事实上现特定领域语言的优势帮助开发用户非常好克服不同语言的障碍. 尽管以上Scala长处说起来不会感同身受,但这能够作为我学习的一大动力.让我開始尝试编写并行机器学习系统. 在学习过程中,我主要參考<Scala for M…

在复杂的网络世界中,各种应用之间通信需要依赖各种各样的协议,比如:HTTP,Telnet,FTP,SMTP等等. 在开发过程中,有时候我们需要构建一些适应自己业务的应用层协议,Netty作为一个非常优秀的网络通信框架,可以帮助我们完成自定义协议的通信. 一般而言,我们制定的协议需要两个部分: Header : 协议头部,放置一些Meta信息. Content : 应用之间交互的信息主体. 例如: | Version | Content-Length | SessionId | Content |…

(此文章同时发表在本人微信公众号"dotNET每日精华文章",欢迎右边二维码来关注.) 微软的下一代编译器技术Roslyn是一个里程碑的技术,可以给.NET平台带来无限想象空间.比如今天推荐文章中谈到的,给C#开发一个交互脚本引擎. Roslyn(即.NET Compiler Platform)是微软开源的C#和Visual Basic编译器,其包含了丰富的代码分析API,让你能够利用熟悉的语言和工具来构建代码分析工具. 随着VS 2015 RC的发布,Roslyn也进入了Go Liv…

大家都知道.一个域名相应一个IP地址,而一个WebSite则相应一个IP地址上相应port服务的应用程序(或位置).而大型站点的并发訪问量很大,这些站点是怎样在一台Webserver上实现负载均衡的呢? 相信非常多人会有与我相同的疑惑,但实际上成熟的解决方式已经大规模投入使用.而经常使用的则是反向代理方法. 反向代理(Reverse Proxy)方式是指以代理server来接受internet上的连接请求,然后将请求转发给内部网络上的server.并将从server上得到的结果返回给intern…