目的: 通过网络爬虫爬取中国最小粒度的区域维度信息,包括省(Province) .市(City).县(County).镇(town).村委会(village) 主网站链接: http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html 主要jar包: http://jsoup.org/packages/jsoup-1.8.1.jar 之前一节我们说过java爬虫从网络上利用jsoup获取网页文本,也就是说我们可以有三种方法获取h…

java爬虫项目   大型的: Nutch apache/nutch · GitHub 适合做搜索引擎,分布式爬虫是其中一个功能. Heritrix internetarchive/heritrix3 · GitHub 比较成熟的爬虫. 小型的: Crawler4j yasserg/crawler4j · GitHub WebCollector CrawlScript/WebCollector · GitHub(国人作品) 目标是在让你在5分钟之内写好一个爬虫.参考了crawler4j,如果经常…

接上一篇:Java高级项目实战02:客户关系管理系统CRM系统模块分析与介绍 欢迎点击回顾,接下来我们说说 CRM系统数据库设计. 我们根据产品的原型搞以及UI组的设计稿, 接下来就要设计数据库, 一般在大公司我们可能有专门的DBA, 这时我们可以不要考虑数据库的搭建, 但是也要能够读懂或者了解DBA的设计思路方便我们在程序开发的时候不会出现问题, 一般我们关系型数据库我们只要遵循三范式的设计即可, 表名能够见名知意最好. 但是在数据库中表与表之间我们是不需要做关联的, 我们都是在程序中关联,…

本文承接上一篇:Java高级项目实战之CRM系统01:CRM系统概念和分类.企业项目开发流程 先来CRM系统结构图: 每个模块作用介绍如下: 1.营销管理 营销机会管理:针对企业中客户的质询需求所建立的信息录入功能,方便销售人员进行后续的客户需求跟踪与联系,提高企业客户购买产品的几率. 营销开发计划:开发计划是根据营销机会而来,对于企业质询的客户,对应会有相应的销售人员对于该客户进行具体的沟通交流,此时对于整个crm 系统而言,通过营销开发计划来进行相应的信息管理,提高客户的购买企业产品的可能性…

简易的java爬虫项目 本项目仅供java新手学习交流,由于本人也是一名java初学者,所以项目中也有很多不规范的地方,希望各位高手不吝赐教,在评论区指出我的不足,我会虚心学习: 成果预览: 在开始讲述前想来展示一下项目的最终效果(下面是项目的运行效果和最终插入的数据): 需求简介: 我想要获取一个中医网站中的所有的中药材的信息并将他们存入到我的数据库中用来自己进行分析和学习.药材的信息包括:药材名,别名,功能主治,性状,味道,归经,来源,用法用量. 页面分析: 我们需要的数据都是以 "http…

写在前面的话 从今天开始一个Java Web实战项目,参考自 http://blog.csdn.net/eson_15/article/details/51277324 这个博客(非常感谢博主的分享精神).本博客系列文章也会参考前面博客中项目的进度来写,因此标题可能高度相似,章节结构也可能相似,只是内容排版和行文上会有些区别. 现在开始记录我开发的过程,争取每一个项目中的每一个知识点都有一个比较详细的记录,对每个知识点尽可能记录总结好1. 基本原理,2.框架/工具使用配置, 2.框架/工具/解决…

一.爬虫项目 1.爬虫基础 a.网页上面会有相同的数据 b.去重处理 布隆过滤器哈希存储 c.标签匹配: 正则表达式beautiful soup或lxml这种标签提取库 d.动态内容 phantomjs selenium 二.爬豆瓣网电影 网站地址:https://www.douban.com/ 准备工作: 1.在数据库中创建表 movie.sql CREATE TABLE `movie_info` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT,…

交代下背景.电脑系统是64位的,用的是64位的Tomcat.安装是32位的Myeclipse10,java环境也是32位的.Tomcat在開始启动时会报这样一个错误,"Can't load IA 64-bit .dll on a AMD32-bit platform".可是不耽误使用,近期在敲Drp项目中用到了底层接口的几个方法,这个错误导致项目不能正常执行了,所以就将64位的Tomcat换成了与java环境一样的32位的Tomcat.上面的问题就顺利攻克了,于是继续自己的开发,可是当…

概要 我们要開始一个关于Java项目的开发,那么我们就须要搭建一个关于Java开发的环境,那么搭建一个Java开发环境,都须要些什么东东,又有些什么注意事项呢. 过程 我先将我搭建Java环境的软件和开发用到的软件列一下,Jdk.Jre.MyEclipse.Oracle.Tomcat.PL/SQLDeveloper.PowerDesign.Rational Rose. 在搭建Java之前,我们必须先将这些软件都安装到我们的电脑上.怎样安装我们这里就仅仅说两个,一个Java执行环境包含Jdk和Jr…

引言 Web应用server如今非常多人都在用,但是究竟什么是Web应用server呢,它与Webserver有什么关系,它与应用server又是什么关系,它是他们两种中的当中一种,还是简单的两种server的组合呢? 要搞明确这个问题,我们得先知道什么是Webserver以及什么是应用server,如今我们就来看下这两个server. Webserver Webserver(WebServer)能够解析(handles)HTTP协议.当Webserver接收到一个HTTP请求(request)…