使用docker 运行,文档参考的官方的5 分钟学习文档 拉取镜像 docker pull apachegeode/geode 启动 docker run -it -p 10334:10334 -p 7575:7575 -p 1099:1099 -p 40404:40404  apachegeode/geode 初始化数据 容器内 start locator start server create region --name=hello --type=REPLICATE 提示信息 create…

在一些特定场景,例如streamingRDD需要和历史数据进行join从而获得一些profile信息,此时形成较小的新数据RDD和很大的历史RDD的join. Spark中直接join实际上效率不高: RDD没有索引,join操作实际上是相互join的RDD进行hash然后shuffle到一起: 实际上,如果历史数据的RDD有索引,我们可以循环遍历streaming中的每一条数据,并向历史数据发送point query,即loop + indexed get.Streaming的数据是小数据,这…

目录 一.对缓存中间件的诉求 1.1 我们为什么需要缓存中间件 1.2 缓存的分类 1.1.1 弱势缓存 1.1.2 强势缓存 二.什么是Apache Geode 2.1 Apache Geode的架构 2.1.1 通信拓扑 2.1.2 服务发现 2.1.3 数据存储形式和区域 2.1.4 数据量的控制和热点数据 三.Apache Geode是否能满足我们的需要 3.1 性能 3.2.1 吞吐量和延迟 3.2.3 索引 3.2 CAP 一致性 可用性 分区容错性 3.3 复杂业务场景的需要 3.…

备注:   本次安装是在hbase docker 镜像的基础上配置的,主要是为了方便学习,而hbase搭建有觉得   有点费事,用镜像简单.   1. hbase 镜像 docker pull harisekhon/hbase 2. 启动hbase  docker run -d -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201…

Geode集群搭建 1.下载安装包 http://mirror.bit.edu.cn/apache/geode/1.2.0/ 2.安装解压后即可直接使用 apache-geode-1.2.0 3.进入bin目录,执行$ ./gfsh进行命令行模式 3.1.启动locator(定位器),相当于集群中的master gfsh>start locator --name=locator1 [trade@web01 bin]$ ./gfsh _________________________ __ / _…

自1999年成立至今,Apache 软件基金会已成功建立起自己强大的生态圈.其社区涌现了非常多优秀的开源项目,同时有越来越多国内外项目走向这个国际开源社区进行孵化.据悉,目前所有的 Apache 项目都需要经过孵化器孵化,满足一系列质量要求之后才可毕业.从孵化器里毕业的项目,要么独立成为顶级项目,要么成为其他顶级项目的子项目. 为便于大家了解 Apache 孵化的标准,本文盘点了 Apache 从2016年1月1日至2017年1月19日所有孵化成功并独立管理的顶级项目,共有11个.同时,欢迎大家…

Geode member发现机制 Apache Geode 为集群和客户端服务器间提供了多种member 发现机制,具体如下: Peer Member Discovery Standalone Member Client Discovery of Servers Peer Member Discovery 对等成员发现定义了一个集群. 使用相同设置进行对等发现的所有应用程序和缓存服务器都是同一集群的成员. 每个系统成员都有唯一的身份,并且知道其他成员的身份. 一个成员某一时刻只能属于一个集群.…

Java FTP客户端工具包很多,在此我选用的Apache的FTPClient.这个包的获取可以通过http://commons.apache.org/net/来获取,我使用的是最新的commons-net-1.4.1.zip.其中包含了众多的java网络编程的工具包,官方文档列举如下: 1.支持网络协议如下: FTP.NNTP. SMTP.POP3.Telnet.TFTP.Finger.Whois.rexec/rcmd/rlogin.Time (rdate) and Daytime.Echo.…

http://www.36dsj.com/archives/33650 http://flink.apache.org/news/2015/05/11/Juggling-with-Bits-and-Bytes.html http://www.bigsynapse.com/addressing-big-data-performance ,addressing-big-data-performance   第一篇描述,当前JVM存在的问题, 1. Java对象开销 Java对象的存储密度相对偏低,对…

需要在本地搭个PHP的测试环境,顺手将过程写了下来. 由于不是生产环境,我这里直接选择了最新的PHP版本用来测试. 本地坏境为:windows 10 Pro 1709 PHP版本:php-7.2.3-Win32-VC15-x64(VC15 x64 Thread Safe) PHP下载地址:http://php.net/downloads.php 1)首先在官网下载PHP的压缩包: 2)将压缩包解压至本地,我这里解压到:C:\Program Files\php 3)在PHP根目录中有php.ini…

集群现在越来越常见,当我们项目搭建了集群,就会产生session共享问题.因为session是保存在服务器上面的.那么解决这一问题,大致有三个方案,1.通过nginx的负载均衡其中一种ip绑定来实现(通过ip绑定服务器其中一台,就没有集群概念了):2.通过cookie备份session实现(因为cookie数据保存在客户端,不推荐;3.通过redis备份session实现(推荐); 学习本章节之前,建议依次阅读以下文章,更好的串联全文内容,如已掌握以下列出知识点,请跳过: SpringBoot(…

原文链接 Awesome Java A curated list of awesome Java frameworks, libraries and software. Contents Projects Bean Mapping Build Bytecode Manipulation Caching CLI Cluster Management Code Analysis Code Coverage Code Generators Compiler-compiler Configuration…

长期以来,session管理就是企业级Java中的一部分,以致于我们潜意识就认为它是已经解决的问题,在最近的记忆中,我们没有看到这个领域有很大的革新. 但是,现代的趋势是微服务以及可水平扩展的原生云应用(cloud native application),它们会挑战过去20多年来我们设计和构建session管理器时的前提假设,并且暴露了现代化session管理器的不足. 本文将会阐述最近发布的Spring Session API如何帮助我们克服眼下session管理方式中的一些不足,在企业级Ja…

官方示例:https://docs.spring.io/spring-session/docs/current/reference/html5/#samples 配置Spring Session 在Web项目中配置Spring Session分为四步: 搭建用于Spring Session的数据存储 将Spring Session的jar文件添加到web应用中 将Spring Session filter添加到web应用的配置中 配置Spring Session如何选择session数据存储的连…

一.背景 http session(企业)一直都是我们做集群时需要解决的一个难题,我们知道HttpSession是通过Servlet容器创建和管理的,像Tomcat/Jetty都是保存在内存中的.而如果我们把web服务器搭建成分布式的集群,然后利用LVS或Nginx做负载均衡,那么来自同一用户的Http请求将有可能被分发到两个不同的web站点中去.那么问题就来了,如何保证不同的web站点能够共享同一份session数据呢? 最简单的想法就是把session数据保存到内存以外的一个统一的地方,例如…

长期以来,session管理就是企业级Java中的一部分,以致于我们潜意识就认为它是已经解决的问题,在最近的记忆中,我们没有看到这个领域有很大的革新. 但是,现代的趋势是微服务以及可水平扩展的原生云应用(cloud native application),它们会挑战过去20多年来我们设计和构建session管理器时的前提假设,并且暴露了现代化session管理器的不足. 本文将会阐述最近发布的Spring Session API如何帮助我们克服眼下session管理方式中的一些不足,在企业级Ja…

Messaging Patterns for Event-Driven Microservices https://content.pivotal.io/blog/messaging-patterns-for-event-driven-microservices 3) Data Events Exchange Some microservices integration scenarios can be solved by simply handling lifecycle events fro…

前言 如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的.最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark.Apache Drill.Apache Flink.基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据(包括缓存和高效处理).合理的管理好 JVM 内存可以将 难以配置且不可预测的系统 与 少量配置且稳定运行的系统区分开来. 在这篇文章中,我们将讨论 Apache Flink 如何管…

Awesome Java 这是Github上关于Java相关的工具,框架等等资源集合. 原文参考: https://github.com/akullpp/awesome-java. @pdai 最全的Java后端知识体系 https://www.pdai.tech, 每天更新中.... Awesome Java Bean Mapping Build Bytecode Manipulation Caching CLI Cluster Management Code Analysis Code Co…

Spring Data 概览 Spring Data的使命是为数据访问提供熟悉且一致的基于Spring的编程模型,同时仍保留底层数据存储的特殊特性. 它使数据访问技术,关系数据库和非关系数据库,map-reduce框架和基于云的数据服务变得简单易用. 这是一个伞形项目,其中包含许多特定于给定数据库的子项目. 这些项目是通过与这些激动人心的技术背后的许多公司和开发人员合作开发的. ----------- 星云解读: 众所周知,数据库大体上可以分为关系型数据库和非关系型数据库. 数据库种类繁多,为了…

长期以来,session 管理就是企业级 Java 中的一部分,以致于我们潜意识就认为它是已经解决的问题,在最近的记忆中,我们没有看到这个领域有很大的革新. 但是,现代的趋势是微服务以及可水平扩展的原生云应用(cloud native application),它们会挑战过去 20 多年来我们设计和构建 session 管理器时的前提假设,并且暴露了现代化 session 管理器的不足. 本文将会阐述最近发布的 Spring Session API 如何帮助我们克服眼下 session 管理方式…

2016 年度开源中国新增开源软件排行榜 TOP 100 2016 年度开源中国新增开源软件排行榜 TOP 100 新鲜出炉!本榜单根据 2016 年开源中国新收录的 3030 款软件的关注度和活跃度排名,整理出其中最受欢迎的 100 款软件,它们在一定程度上预示着最新业界流行趋势. 1.iBase4J:Java 开源框架整合 iBase4J 是基于 Java 的开源框架搭建的分布式系统架构. 使用 Maven 对项目进行模块化管理,提高项目的易开发性.扩展性. 系统包括三个模块:公共模块.系统…

下面所有SpringBoot组件整理来自于:https://start.spring.io/,紧随Spring社区的步伐...... Developer Tools Spring Boot DevTools  Provides fast application restarts, LiveReload, and configurations for enhanced development experience. 开发时期热部署插件,实现类文件和静态资源文件的热部署 Lombok  Java a…

背景 继前天正式发布的2.15.0之后,Apache log4j 2 团队宣布 Log4j 2.16.0 发布! 由于SLF4J适配兼容性的中断,Log4j 现在发布两个版本的SLF4J to Log4j的适配器.log4j-slf4j-impl对应 SLF4J 1.7.x 及更早版本:log4j-slf4j18-impl对应SLF4J 1.8.x 及更高版本一起使用.SLF4J-2.0.0 alpha 版本目前还不完全支持. 强烈推荐升级2.16.0. 修正错误 1.LOG4J2-3208:默…

原创翻译,原始链接 本文为awesome系列中的awesome java Awesome Java Java 框架.库和软件的精选列表 项目 Bean映射 简化 bean 映射的框架 dOOv - 为类型安全的域模型验证和映射提供流畅的 API.它使用注释.代码生成和类型安全的 DSL 来使 bean 验证和映射变得快速而简单. JMapper - 使用字节码操作进行闪电般的快速映射.支持注解和 API 或 XML 配置. MapStruct - 基于约定优于配置的方法,简化不同 bean 类型…

然后假设apache服务器已经安装完成,打开httpd.conf配置文件,找到这些地方去掉#开启代理模块: LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_connect_module modules/mod_proxy_connect.so LoadModule proxy_http_module modules/mod_proxy_http.so LoadModule proxy_ftp_module modules…

airflow 是一个编排.调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化. airflow 将workflow编排为tasks组成的DAGs,调度器在一组workers上按照指定的依赖关系执行tasks.同时, airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作,并且airflow提供了监控和报警 系统 测试运行环境使用docker 基本安装 docker安装 使用别人已经构建好的 puckel/…

类似docker-compose 运行模式,使用的是deploy 的模式 deploy yaml 文件 deploy-k8s-yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: jobmanager namespace: big-data labels: app: jobmanager spec: replicas: 1 template: metadata: labels: app: jobmanager s…

apache 是一个流处理框架,官方提供了docker 镜像,同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRES…

apache pinot 是一个实时的OLAP 数据存储,同时包含了自己的查询语言,因为maven 构建花费时间较大 所以使用docker-compose 运行 docker-compose 文件   version: "3.7" services: app: image: winedepot/pinot:0.1.4-SNAPSHOT entrypoint: ./bin/quick-start-offline.sh ports: - "9000:9000" - &q…