There are two kinds of nodes on a Storm cluster: the master node and the worker nodes. 有两种节点,主节点和worker节点 主节点,Nimbus: Nimbus is responsible for distributing code around the cluster, assigning tasks to machines, and monitoring for failures. worker节点,S…

Storm分布式实时流计算框架相关技术总结 Storm作为一个开源的分布式实时流计算框架,其内部实现使用了一些常用的技术,这里是对这些技术及其在Storm中作用的概括介绍.以此为基础,后续再深入了解Storm的内部实现细节. 1. Zookeeper集群 Zookeeper是一个针对大型分布式系统的可靠协调服务系统,其采用类似Unix文件系统树形层次结构的数据模型(如:/zoo/a,/zoo/b),节点内可存储少量数据(<1M,当节点存储大数据量时,实际应用中可能出现同步问题). Zookeep…

一.开篇语 我的上篇文章<关于如何提供Web服务端并发效率的异步编程技术>又成为了博客园里“编辑推荐”的文章,这是对我写博客很大的鼓励,也许是被推荐的原因很多童鞋在这篇文章里发表了评论,有童鞋说我这篇文章理论化很严重,没有实际代码和具体项目做支撑,这个评论让我有种理论和实践脱节的味道,所以我想在这里谈谈我为什么要写这篇文章的原因,这篇文章是把我前不久学习多线程编程的一个总结. 当我从我书堆里找到所有与多线程开发相关的书籍简单阅读后,我发现了一个问题,在java里开发多线程最强有力的实践就是做服…

摘要:最近要做这个主题的组内分享,所以准备了一个星期,查了比较多的资料.准备的过程虽然很烦很耗时间,不过因为需要查很多的资料,因此整个过程下来,对这方面的知识影响更加深刻.来来来,接下来总结总结 一 http缓存 1.1缓存的分类: http中具有缓存功能的是:1.浏览器缓存.  2.缓存代理服务器. 1.2 什么是缓存: http缓存的是指:当Web请求抵达缓存时, 如果本地有“已缓存的”副本,就可以从本地存储设备而 不是从原始服务器中提取这个文档. 1.3 缓存的好处有: 1. 减少了冗余的…

关于全站https必要性http流量劫持.dns劫持等相关技术 微信已经要求微信支付,申请退款功能必须12月7号之前必须使用https证书了(其他目前为建议使用https),IOS也是2017年1月1号要求所有请求使用https了,国内有些https证书要1000元一年,阿里云 云盾证书 有免费型DV SSL,国外有免费的.网站迟早要全面https化的(虽然有一点技术难度和访问比较慢但趋势已经非常明显了),国内运营商域名劫持植入广告太严重了,http请求用各种技术手段都很难防住,所以不是微信.i…

原文地址:http://www.ibm.com/developerworks/cn/xml/x-svgscript/   本文主要介绍在 SVG 中通过编程实现动态操作 SVG 图像的知识. SVG 图像的结构是用 XML 文档表示的,因此可以使用 XML 编程技术如"文档对象模型(Document Object Model,DOM)"来操纵它.本文描述了如何使用 ECMAScript/JavaScript 来支持与 SVG 图像的交互.理论上说我们可以用这些知识实现类似射击游戏这样复…

这篇文章本来是我们开发组内部用的一个小文档.因为我们公司以前没有做SAAS的经验,就成立了一个小组做一做这方面的技术前探,我是成员之一.这篇文档想从宏观的层面把开发一个SAAS应用所要用到的技术点稍微梳理一下,便于指导后面的技术前探工作.之所以发在这里,是因为自己相关的研发经验太缺乏,可能有些技术盲点是自己根本没能考虑到的,希望园子里的各位大牛多多指导. 一.聚焦“三头怪” 在MS的官方文档中,把构建一个足够成熟的SAAS(MS简单列出了SAAS应用的4级成熟度)所面临的3个主要挑战:可配置性,…

server-sent events--One Way Messaging 允许网页获得来自服务器的更新,并且自动更新 Server-Sent Events: allow a web page to get updates from a server This was also possible before, but the web page would have to ask if any updates were available. With server-sent events, th…

标签页切换采用传统的TabHost: 采用TabActivty实现TabHost. 效果图-后补: 相关技术详解推荐: http://blog.csdn.net/zhouli_05/article/details/7696054 这里我解决了一个TabActivity和子Activity共享TabActivity的OptionMenu的问题:文章在:http://www.cnblogs.com/woshijishu3/p/5218558.html 搜索功能:参考google搜索栏 效果图-后补…

阅读目录 一 http缓存 二.Http缓存概念解析 三.cdn相关技术 摘要:最近要做这个主题的组内分享,所以准备了一个星期,查了比较多的资料.准备的过程虽然很烦很耗时间,不过因为需要查很多的资料,因此整个过程下来,对这方面的知识影响更加深刻.来来来,接下来总结总结 回到顶部 一 http缓存 1.1缓存的分类: http中具有缓存功能的是:1.浏览器缓存.  2.缓存代理服务器. 1.2 什么是缓存: http缓存的是指:当Web请求抵达缓存时, 如果本地有"已缓存的"副本,就可以…

第6章Controller相关技术 Controller(控制器)在ASP.NET MVC中负责控制所有客户端与服务器端的交互,并 且负责协调Model与View之间的数椐传递,是ASP.NET MVC整体运作的核心角色,非常重 6.3 Controller的运行过程 在ASP.NET MVC中并非所有动作方法都必须回传ActionResult类别或其衍生类别,也可以直接使用.NET内建的基本数据类型当作回传类型(如string 或int等),最后还是都会被ASP.NET MVC自动转换成Con…

2017值得一瞥的JavaScript相关技术趋势从属于笔者的Web 前端入门与工程实践,推荐阅读2016-我的前端之路:工具化与工程化获得更多关于2016年前端总结.本文主要内容翻译自,笔者对于每个条目进行了些许完善. 本文中提及的这些趋势可能离大部分开发者还很远,或者说离真正的大规模工程化应用还很远,不过不妨碍我们提前两三年了解下.本文仅代表原作者个人看法,不喜留言轻喷,译者也很好奇大家对这个列表的看法. 跨年前两天,Dan Abramov在Twitter上提了一个问题: JS社区毫不犹豫的…

j2e应用相关技术 轻量级j2e应用以传统的jsp作为变现层技术,以一系列开源框架作为MVC层,中间件,持久层解决方案,并将这些开源框架有机组合在一起,使得j2e具有高度的可扩展性,可维护性. servlet,jsp,javabean:现在来说纯粹的Servlet已经很少使用了,往往都是使用jsp来做表示层,也就是说我们每天说的页面.Servlet和Jsp其实是完全统一的,二者在底层的运行原理是完全一样的,在实际运行中,JSP必须被web服务器编译成servlet,真正在web服务器中运行的是S…

DB查询分析器 6.04 发布,本人为之撰写的相关技术文章达78篇 中国本土程序员马根峰(CSDN专访马根峰:海量数据处理与分析大师的中国本土程序员 http://www.csdn.net/article/2014-08-09/2821124)推出的个人作品----万能数据库查询分析器,中文版本<DB 查询分析器>.英文版本<DB QueryAnalyzer>.它具有强大的功能.友好的操作界面.良好的操作性.跨越各种数据库平台乃至于EXCEL和文本文件. 你可以通过它 ① 查询OD…

注: 以下内容引自http://www.cnblogs.com/hhudaqiang/p/6550135.html Selenium相关技术研究(从1.0-3.0) 好吧,最近看wxpython有点多.鉴于最近selenium3.0的出现,有些同事更新了selenium发现若干的坑(包括若干bug).selenium可以说是自动化测试框架的核心,不管是robotframework这样成熟的测试框架,还是自己写的架构都离不开这个包:不管你是web测试还是app的测试你也离开不了它.关于这个包太多要…

摘要 这一章将进入机器人语音交互的学习,让机器人能跟人进行语音对话交流.这是一件很酷的事情,本章将涉及到语音识别.语音合成.自然语言处理方面的知识.本章内容: 1.语音交互相关技术 2.机器人语音交互实现 3.自然语言处理云计算引擎 1.语音交互相关技术 要机器人能完成跟人对话,涉及到语音识别.语音合成.自然语言处理等技术.简单点说,语音识别就是将人的声音转换成文字便于机器人计算与理解:语音合成就是将机器人要说的文字内容转换为声音:自然语言处理相当于机器人的大脑,负责回答提问.整个语音交互的过程…

此PPT讲述了Asp.Net WebAPI及相关Web服务技术发展历史. 共80多页,Asp.Net WebAPI在讲到第36页的时候才会出现,因为这个技术不是凭空产生的,它有着自己的演变进化的历史.我们要先弄清它从哪里来的?然后再说它能做什么事. 这个PPT涉及到的技术名词有: XML-RPC,SOAP,REST, SOA Asp.Net WebForm,WebService, WCF Asp.Net WebAPI, Asp.Net MVC,JSON Asp.Net Routing, MVVM…

XML 相关技术 下面是一个 XML 技术的列表. XHTML (可扩展 HTML) 更严格更纯净的基于 XML 的 HTML 版本. XML DOM (XML 文档对象模型) 访问和操作 XML 的标准文档模型. XSL (可扩展样式表语言) XSL 包含三个部分: XSLT (XSL 转换) - 把 XML 转换为其他格式,比如 HTML XSL-FO (XSL 格式化对象)- 用于格式化 XML 文档的语言 XPath - 用于导航 XML 文档的语言 XQuery (XML 查询语言)…

Java Web相关技术(汇聚页) 初学Java Web(2)——搭建Java Web开发环境…

相关技术:为了灵活实现的不同路径(/hello)执行不同的资源( HeIIoMyServlet)我们需要使用XML进行配置;为了限定XML内容,我们需要使用xml约束(DTD或schema);为了获得xml的内容,我们需要使用dom4j进行解析. XML:XML称为Extensible Markup Language,意思是可扩展的标记语言.XML语法上和HTML比较相似,但HTML中的元素是固定的,而XML的标签是可以由用户自定义的. 应用: 1.2.1.3 XML语法 l  XML文档声明…

DBGrid相关技术整理: 注:对于DBGrid相关属性.方法的学习融入到技术整理过程中 一,多选 设置属性: Options->dgMultiSelect = True; ->dgRowSelect   = True; 应用属性: SelectedRows; 操作方法: -Ctrl + Mouse Clicks -Shift + Arrow Keys For example: 1,取得所选行某个字段的值的合计: procedure TForm1.btnDoSumClick(Sender: T…

网站相关技术探究keepalive设多少: /proc/$PID/fd/$number  0:标准输入 1:标准输出 2:标准错误   Test: [root@KTQT ~]# ll /proc/12857/fd  total 0 lrwx------ 1 root root 64 Apr  4 17:49 0 -> /dev/null lrwx------ 1 root root 64 Apr  4 17:49 1 -> /dev/null lrwx------ 1 root root 64…

1.web框架之bootstrap bootstrap来源Twitter,是一个CSS/HTML框架,它是基于HTML,CSS,JavaScript下的,使用简洁,当中提供了很多HTML和CSS 如用到自带的轮播过渡,下拉菜单,滚动监听,标签页切换,工具提示,弹框,警告框,模块的显示与隐藏等功能才需要它的js,一般静态网页不需要使用它. 2.使用方法 下载bootstrap源码 复制粘贴下面的基本模板 详细流程参考w3cschool 3.原理介绍 排版与链接: //链接 //布局容器 //栅格系…

自定义功能和相关技术 本篇按照如下结构翻译 自定义功能 自定义数据仓库 相关技术 架构和总体概念 自定义数据仓库 tusdotnet附带一个存储库TusDiskStore,它将文件保存在磁盘上的一个目录中.你可以通过实现以下一个或多个接口(在“接口”这一节中列出来的接口)来实现自己的存储.tusdotnet将自动处理请求并根据用于请求的存储所实现的接口将信息添加到Tus-Extension头部. 请注意有一些方法会在请求执行期间多次调用,这取决于仓储正确的缓存数据. 要实现的最常见接口是ITus…

我最近研究了hive的相关技术,有点心得,这里和大家分享下. https://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html 首先我们要知道hive到底是做什么的.下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是学习成本低,可以通过类SQL语句快速实…

仅凭IP是无法完成通信的,需要一些IP的辅助技术.这些技术的包格式可能不一样,但它们都是基于IP地址进行的,都是通过匹配路由表来进行的,只是功能不一样.例如DHCP分配IP地址,它只管通知这条信息,具体怎么分还要依靠上层. TCP/IP相关内容第七部分,包含: DNS ARP ICMP 一.DNS IP地址不好记,我们希望用主机名代替.DNS负责将主机名转换为具体的IP地址. 早期的方法是集中管理一个大型的数据库,所有主机都要下载这个文件,更新主机名和地址的时候要通知所有人,非常麻烦.现在用DN…

一.Apache Kafka 1.了解Kafka 1.1.Kafka是什么?有什么用? 是什么? 1) Apache Kafka 是一个消息队列(生产者消费者模式) 2) Apache Kafka 目标:构建企业中统一的.高通量.低延时的消息平台. 3) 大多的是消息队列(消息中间件)都是基于JMS标准实现的,Apache Kafka 类似于JMS的实现. 有什么用? 1) 作为缓冲,来异构.解耦系统. 1.2.kafka的特性 消息持久化(Kafka 基于文件系统来存储和缓存消息). 高吞吐量…

最近研究C#相关的OCR技术,图像识别一般C和C++这种底层语言做的比较多,C#主要是依托一些封装好的组件进行调用,这里介绍三种身份证识别的方法. 一:调用大公司API接口,百度.云脉,文通科技都有相关的API介绍. 二:调用图像处理类库,EmguCV是OpenCV的一个跨平台的.Net封装,该封装也可以被编译到Mono平台和允许在Windows.Mac OS.Android.iPhone.iPad等多个平台上运行 三:调用Office2007 组件 一.证件识别API接口 以聚合数据中的API…

Portal以用户为中心,提供统一的用户登录,实现信息的集中访问,集成了办公商务一体的工作流环境.利用Portal技术,可以方便地将员工所需要的,来源于各种渠道的信息资料集成在一个统一的桌面视窗之内.根据Portal提供的定制功能,部门主管可以为本部门人员量身定制一套特有的信息门户,将部门共同所需信息有效地组织在统一的Web浏览器之中,并可根据人员级别和职能来设定相应的访问操作权限. 一.Portal主要功能 1.单点登录(SSO—Single Sign-On):Portal提供对各种应用系统和…

一.移动视频直播发展 大家首先来看下面这张图: 可以看到,直播从 PC 到一直发展到移动端,越来越多的直播类 App 上线,同时移动直播进入了前所未有的爆发阶段,但是对于大多数移动直播来说,还是要以 Native 客户端实现为主,但是 H5 在移动直播端也承载着不可替代的作用,例如 H5 有着传播快,易发布的优势,同时最为关键的时 H5 同样可以播放直播视频. 大家可以看下面这张大概的实现图 完整的直播可以分为以下几块: 视频录制端:一般是电脑上的音视频输入设备或者手机端的摄像头或者麦克风,目前…