我们可能都学过Socket通信/io/nio/aio等的编程.如果想把Socket真正的用于实际工作中去,那么还需要不断的完善.扩展和优化.比如很经典的Tcp读包写包问题,或者是数据接收的大小,实际的通信读取与应答的处理逻辑等等.当细节问题需要我们认真的去思考,而这些我们都需要大量的时间和精力,以及丰富的经验. 所以想学好socket通信不是件容易的事情.那么现在,我们就需要学习一门新的技术Netty. 我们为什么选择Netty?原因是它简单.我们再也不需要去编写复杂的代码和逻辑去实现通信:我们…

最近实验室的项目中有一个需求是这样的,需要爬取若干个(数目不小)网站发布的文章元数据(标题.时间.正文等).问题是这些网站都很老旧和小众,当然也不可能遵守 Microdata 这类标准.这时候所有网页共用一套默认规则无法保证正确抓取到信息,而每个网页写一份spider代码也不切实际. 这时候,我迫切地希望能有一个框架可以通过只写一份spider代码和维护多个网站的爬取规则,就能自动抓取这些网站的信息,很庆幸 Scrapy 可以做到这点.鉴于国内外关于这方面资料太少,所以我将这段时间来的经验和代码…

1．Netty是什么? Netty是一个基于JAVA NIO类库的异步通信框架,它的架构特点是:异步非阻塞.基于事件驱动.高性能.高可靠性和高可定制性. 2．使用Netty能够做什么? 开发异步.非阻塞的TCP网络应用程序: 开发异步.非阻塞的UDP网络应用程序: 开发异步文件传输应用程序: 开发异步HTTP服务端和客户端应用程序: 提供对多种编解码框架的集成,包括谷歌的Protobuf.Jboss marshalling.Java序列化.压缩编解码.XML解码.字符串编解码等,这些编解码框架可…

1. 背景 1.1. 话题来源 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题.问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为如下几类: Netty是否可以做推送服务器? 如果使用Netty开发推送服务,一个服务器最多可以支撑多少个客户端? 使用Netty开发推送服务遇到的各种技术问题. 由于咨询者众多,关注点也比较集中,我希望通过本文的案例分析和对推送服务设计要点的总结,帮助大家在实际工作中少走弯路. 1.2. 推送服务…

Netty是一个高性能.异步事件驱动的NIO框架,它提供了对TCP.UDP和文件传输的支持,作为一个异步NIO框架,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果. 作为当前最流行的NIO框架,Netty在互联网领域.大数据分布式计算领域.游戏行业.通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty的NIO框架构建. 为什么选择Netty Netty是业界最流行的NIO框架之一,它的健壮性.…

1.Spring是什么? Spring是一个JavaEE轻量级的一站式开发框架. JavaEE: 就是用于开发B/S的程序.(企业级) 轻量级:使用最少代码启动框架,然后根据你的需求选择,选择你喜欢的模块使用. 重量级:早期有的EJB,开发一个HelloWorld程序都需要引入EBJ的全部模块 一站式:Spring框架提供涵盖了JavaEE开发的表示层,服务层,持久层的所有组件功能.也就是说,原则上,学完一套Spring框架,不用其他框架就可以完成网站一条流程的开发.但是Spring仍然可以和其…

1.什么是Mybatis? Mybatis是一个优秀持久层框架,提供了对数据库的一系列操作(增删改查).Mybatis可以避免重复的写JDBC代码,让我们以较少的代码实现对数据库的操作,从而提高开发效率.Mybatis的特点是持久层(Dao)零实现,即只需要写接口,不需要写实现类. 2.Mybatis的配置 2.1 配置流程图 Resources:资源类,用于读取总配置文件SqlSessionFactoryBuilder:会话工厂构造类,通过读取的总配置文件构建会话工厂SqlSessionFac…

当我们搭建完环境,创建应用程序和网站集后,就已经正式开启了我们的SharePoint之旅了,进入网站以后,开始基本的使用.设置,了解SharePoint相关特性,下面,来简单了解下SharePoint吧. : (图1 SharePoint 发布站点首页) 是共享本网站,12是关注此网站,12右边的是最大化内容(也就是编号5). 看图比较乱,上面的东西几乎都是可以在SharePoint网站设置里进行设置的,比如网站图标.页面名称.导航等:而新闻源.SkyDrive.网站是需要开启我的站点功能,才可…

Unix/Linux家族人员众多,我们无法一一讲解如何配置环境. 本文选定我们在前面安装的RHEL6 RHEL7 MAC10.9.3 Solaris11如何跑起来helloworld RHEL 6 上的helloworld 1.进入RHEL6 2.鼠标点击右键 点击open in terminal 3.一个终端被打开 并在终端中输入 vi hello.c 4.如图 为vi的页面 5.按下i键 vi进入INSERT模式 6.输入一个简单的hello world程序 7.按下 ESC键 进入末行模式…

目录 Netty学习笔记 前言 什么是Netty IO基础 概念说明 IO简单介绍 用户空间与内核空间 进程(Process) 线程(thread) 程序和进程 进程切换 进程阻塞 文件描述符 文件句柄 缓存IO Linux 网络I/O模型 同步.异步.阻塞.非阻塞的概念 同步 异步 阻塞 非阻塞 总结 举个例子 I/O模型 阻塞 I/O(blocking IO) 非阻塞 I/O(nonblocking IO) 信号驱动I/O( signal driven IO ) I/O 多路复用( IO m…