一.open-falcon介绍 1)中文社区介绍 http://book.open-falcon.org/zh_0_2/intro/ 参照文档: https://www.cnblogs.com/LAlexH/p/11161943.html 参照文档:https://www.cnblogs.com/straycats/p/7199209.html 视频连接:http://www.jikexueyuan.com/course/1651_3.html?ss=1 2)falcon的优点 强大灵活的数据采

100 open source Big Data architecture papers for data professionals. 读完这100篇论文 就能成大数据高手 作者 白宁超 2016年4月16日13:38:49 摘要:本文基于PayPal高级工程总监Anil Madan写的大数据文章,其中涵盖100篇大数据的论文,涵盖大数据技术栈(数据存储层.键值存储.面向列的存储.流式.交互式.实时系统.工具.库等),全部读懂你将会是大数据的顶级高手.作者通过引用Anil Madan原文和CS

原文地址 开源(Open Source)对大数据影响,有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的推动作用:另一方面,开源也给大数据技术构建了一个异常复杂的生态系统.每一天,都有一大堆"新"框架."新"类库或"新"工具涌现,乱花渐欲"迷"人眼.为了掌控住这些"新玩意",数据分析的达人们不得不"殚精竭虑"地"学而时习之

Technorati 标记: hadoop,生态圈,ecosystem,yarn,spark,入门 1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. 具有可靠.高效.可伸缩的特点. Hadoop的核心是YARN,HDFS和Mapreduce 下图是hadoop生态系统,集成spark生态圈.在未来一段时间内,hadoop将于spark共存,hadoop与

Grafan监控:http://docs.grafana.org/ Tez:http://tez.apache.org/install.html 阿里巴巴镜像:https://opsx.alibaba.com/mirror Hadoop官方文档:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 清华大学镜像:https://mirrors.tuna.tsinghua.

1 机载LIDAR的系统组成及原理 1.1 机载 LIDAR 技术的发展历程 LIDAR 技术和机载激光扫描技术的发展源自 1970 年,美国航空航天局(NASA)支持研制成功第一台对地观测 LIDAR 系统-LITE.因全球定位系统(Global PositioningSystem-GPS)及惯性导航系统(Inertial Navigation System-INS)的发展,使精确确定遥感平台的实时位置和姿态得以实现.德国 Stuttgart 大学于 1988 到 1993 年间将激光扫描技术

本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon(全球软件开发大会)上的演讲内容整理而成.本文涉及Kubernetes集群管理技术,美团相关的技术实践可参考此前发布的<美团点评Kubernetes集群管理实践>. 一.背景 HULK是美团的容器集群管理平台.在HULK之前,美团的在线服务大部分部署都是在VM上,在此期间,我们遇到了很大的挑战,主要包括以下两点: 环境配置信息不一致:部分业务线下验证正常,但线上验证却不正常. 业务扩容流程长:从申请机器.资源审核到服务部署,需要

引言 在上篇中,我已经介绍了美团点评的业务情况.大前端的技术体系,其中大前端的技术全景图如下: 上篇重点介绍了工程化和代码质量的部分,工程化涵盖了客户端持续集成平台-MCI.全端监控平台-CAT.移动端集成日志库-Logan和全栈前端框架-Era.代码质量部分重点介绍了ESLint在大规模项目中落地实践和移动端静态分析工具-Hades. 在这篇文章中,我们将继续介绍大前端技术体系中的跨平台.UI组件库和前端框架. 跨平台 跨平台动态化方案 跨平台.动态化始终是移动互联网时代永恒的话题,在性能体验

为了支持太空探索NASA开起了一系列先进太空技术演示实验. 具体的实验实验地址在:https://www.nasa.gov/mission_pages/tdm/main/overview.html 通过分析NASA的这些太空技术演示实验可以为我们自己的太空技术发展提供借鉴和经验. 一下对这些实验内容进行翻译: 为了连接科学和工程间的差异,就是NASA的技术验证任务的使命.就是要将前期的科学理论,通过工程装置进行验证其可行性,为以后的低成本,革命性的新技术走向实际的政府和商业的航天任务中来. 主要

工作后好久没上博客园了,虽然不是很忙,但也没学生时代闲了.今天上博客园,发现好多的文章都是年终总结,想想是不是自己也应该总结下,不过现在还没想好,等想好了再写吧.今天写写自己在工作后用到的技术干货,争取以后多上博客园写写总结吧,真是怀念学生时代啊!!! 背景 项目组开发的游戏客户端使用的脚本是python,服务器也是python.之所以选择python,主要还是基于开发效率的考虑,毕竟这是脚本语言天生的优势:其次就是有很多库,不用自己再造轮子了.可能使用过python的同学都会认为python比

SQL Server技术内幕笔记合集 发这一篇文章主要是方便大家找到我的笔记入口,方便大家o(∩_∩)o Microsoft SQL Server 6.5 技术内幕 笔记http://www.cnblogs.com/lyhabc/articles/3914213.html Microsoft SQL Server 2005技术内幕:T-SQL查询笔记http://www.cnblogs.com/lyhabc/articles/3912608.html Microsoft SQL Server 2

背景: 1:目前微软系.NET技术高端人才缺少. 2:企业很难直接招到高端技术人才. 3:本人提供.NET技术顾问,保障你的产品或项目在正确的技术方向. 技术顾问服务 硬服务项: 1:提供技术.决策.框架支持! 2:对产品提供系统安全.并发.性能.重构等解决问题的方法或建议! 3:协助技术人员招聘服务. 4:友情帮忙宣传公司产品. 5:本人的框架或产品可终身免费使用. 6:在线解答本人的框架问题. 软服务项: 1:对公司的技术人员,提供技术培训服务(远程或线下),提升公司整体技术水平. 3:首次

前言:       由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题.所以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结.希望这篇文章可以方便自己以后查阅,同时要是能帮助到他人那也是很好的. ===============================================================长长的分割线===================================

一.负载均衡:必不可少的基础手段 1.1 找更多的牛来拉车吧 当前大多数的互联网系统都使用了服务器集群技术,集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务,这些集群可以是Web应用服务器集群,也可以是数据库服务器集群,还可以是分布式缓存服务器集群等等. 古人有云:当一头牛拉不动车的时候,不要去寻找一头更强壮的牛,而是用两头牛来拉车. 在实际应用中,在Web服务器集群之前总会有一台负载均衡服务器,负载均衡设备的任务就是作为Web服务器流量的入口,挑选最合适的一台Web服务器,将客户

下面的图片是我使用firefox和chrome浏览百度首页时候记录的http请求 下面是firefox: 下面是chrome: 在浏览百度首页前我都将浏览器的缓存全部清理掉,让这个场景最接近第一次访问百度首页的情景. 在firefox的请求瀑布图里有个表现非常之明显:就是javascript文件下载完毕后,有一段时间是没有网络请求被处理的,这段时间过后http请求才会接着执行,这段空闲时间就是所谓的http请求被阻塞. 浏览器里的http请求被阻塞一般都是由javascript所引起,具体原因是

最近我研究技术的一个重点是java的多线程开发,在我早期学习java的时候,很多书上把java的多线程开发标榜为简单易用,这个简单易用是以C语言作为参照的,不过我也没有使用过C语言开发过多线程,我只知道我学习java多线程开发是很难的,直到现在写这篇文章的时候,虽然我对java多线程里的API比以前熟悉更多了,但是如果碰到了生产开发里如何将多线程设计更好,我心里的底气还是不足的,哎,缺乏很有意义的实践,我现在要等待让我实践这部分技术的机会了. 话外话,研究多线程是因为我在一本讲并发编程的书籍里看

一.下篇开头的废话 终于开写下篇了,这也是我写远程调用框架的第三篇文章,前两篇都被博客园作为[编辑推荐]的文章,很兴奋哦,嘿嘿~~~~,本人是个很臭美的人,一定得要截图为证: 今天是2014年的第一天,按中国辞旧迎新的传统,也作为我2014年第一篇博客,我想开篇前要总结下2013年的技术学习.今年我当爸爸了,当爸爸的人是没啥时间研究什么技术和写博客的,所以2013年上半年我的文章很少很少,直到老婆5月回家待产才有重新拿起书,提起笔写技术博客.今年老婆要回上海了,估计2014年的博客数量又会少点,

大家好,今天我们学习了Java如何连接数据库.之前学过.net语言的数据库操作,感觉就是一通百通,大同小异. JDBC是Java数据库连接技术的简称,提供连接各种常用数据库的能力. JDBC API (主要功能:与数据库建立连接.执行语句.处理结果): 提供者:Sun公司 内容:供程序员调用的接口与类,集成在java.sql和javax.sql(后面的x是extend,扩展的意思).如: DriverManager类(管理各种不同的JDBC驱动), Connection接口(连接数据.传送数据)

2016年11月,接受了一个工作,是对"悟空CRM"进行一些修补.这是一个不错的 CRM,开源,并提供一个 SaaS 的服务.正好微软的 .NET Core 和 ASP.NET Core 也发布了.于是就有了这个想法:使用 ASP.NET Core 来开发一个 CRM.当然这里面的私心是:朝后坦白讲,悟空CRM 的代码真的是不怎么样.大量的代码堆在 Controller 里,多个功能在一个 EndPoint 里混合.权限管理也有些乱来.View 里充满了"临时解决方案&quo

由于DOM技术的解析,存在很多缺陷,比如内存溢出,解析速度慢等问题,所以就出现了DOM4J解析技术,DOM4J技术的出现大大改进了DOM解析技术的缺陷. 使用DOM4J技术解析XML文件的步骤? public static void dom4jXml()throws Exception{        //第一步:获得一个解析器        SAXReader saxreader = new SAXReader();                //第二步:指定解析的XML文件      

2015年12月28日23:19:54 更新koa应用.学习型网站和开发者工具等 coding伊始 开始认认真真的学习技术还是2015.10.21日开始的,记得很清楚,那天,是我在龙湖正式学习的第一天.还记得硕哥面我的样子,高高瘦瘦的,一双白色休闲鞋加牛仔裤,典型的程序员风格. “有什么爱好吗” “自学过ps,dreamweaver,自己搞过简单的网页,很简单的那种,喜欢摄影,所以才自学的ps,现在也就会些抠图啊什么的...” ns 这段对话之所以印象深刻是因为后来硕哥给我们说,有感兴趣的事物,