ELK概述: ElasticSearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等 Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用 Kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总.分析和搜索重要数据日志 ElasticSearch 安装部署: 安装: tar…

Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在…

Nutch1.7学习笔记:基本环境搭建及使用 作者:雨水,时间:2013-10-31博客地址:http://blog.csdn.net/gobitan 说明:Nutch有两个主版本1.x和2.x,它们的主要区别是2.x引入了Gora作为存储抽象层,从而支持各种NoSQL数据库,如HBase,Cassandra等.本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例. 环境准备: 一台Ubuntu Linux服务器,可以装在VMware虚拟机中. 下载Nutch1.7版本的二…

目录 第一步  安装JDK 第二步 下载Eclipse 第三步 在Eclipse中安装TestNG 第四步 下载Selenium IDE.SeleniumRC.IEDriverServer 第五步 下载Firefox.安装Selenium IDE.firebug.Xpath checker.Xpath finder插件 第六步 启动SeleniumRC 第七步 Eclipse执行Selenium的Java实例 第八步 TestNG执行Selenium的Java实例 下载地址 第一步  安装JDK…

学习的开始先剧透一下,本人有点笨,本来想用oracle vbox,装个red hat+oracle,但是虚拟机一直报错,0x00000000内存不能written.所以便想到其他的办法,刚好接触了golang,然后就知道了docker这个伟大的项目,所以本环境使用docker来搭建.省去了一大部分时间可以直接开始Oracle的学习. 特此留下笔记,以供参考.... 工具:一共需要三个工具 docker-install.exe DockerToolbox-1.12.0.exe SecureCRT.…

最近因为架构中引入了kafka,一些之前在代码中通过RPC调用强耦合但是适合异步处理的内容可以用kafka重构一下. 考虑从头学一下kafka了解其特性和使用场景. 环境选择 首先是测试环境的搭建,平时使用的是win,但kafka以及zk在win上会存在一些bug(例如 https://issues.apache.org/jira/browse/KAFKA-1194),最好还是在linux平台上搭建. 虚拟机是一个不错的选择但开销比较大,日常使用的笔记本8G内存开启虚拟机不是很方便,bash o…

一.Mybatis概述 1.1 Mybatis介绍 MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并且改名为MyBatis .2013年11月迁移到Github. MyBatis是一个优秀的持久层框架,它对jdbc的操作数据库的过程进行封装,使开发者只需要关注 SQL 本身,而不需要花费精力去处理例如注册驱动.创建connection.创建statement.手动设置参数.结…

本文为<Flink大数据项目实战>学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz 1. 创建Flink项目及依赖管理 1.1创建Flink项目 官网创建Flink项目有两种方式: https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html 方式一: mvn a…

从字面上来看,ZooKeeper表示动物园管理员,这是一个十分奇妙的名字,我们又想起了Hadoop生态系统中,许多项目的Logo都采用了动物,比如Hadoop采用了大象的形象,所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作的. 一.ZooKeeper基础介绍 1.1 动物园也要保障安全 zookeeper是hadoop下面的一个子项目,用来协调跟hadoop相关的一些分布式的框架,如hadoop, hive, pig等, 其实他们都是动物,所以叫zookeeper ——“动物园…

php开发环境搭建:apache + php + mysql1.下载apache,php及mysql安装包2.安装apache:下载的apache若是.msi可直接双击,按指示一步一步安装:(若操作系统为win8则,不能通过双击安装.msi,需要以管理员身份运行cmd,在cmd中进入.msi安装包所在目录,然后运行该.msi文件方可安装)若是压缩包,则先解压然后以管理员身份运行cmd,在cmd中进入到apache解压后的目录,进入bin子目录,找到httpd.exe,在cmd中输入httpd -…

一:环境搭建 1:开发环境:JDK安装.Eclipse安装 2:数据库:Mysql.Sequel Pro(数据库可视化操作工具) 3:web服务器:Tomcat下载,并且把tomcat配置到Eclipse的Server选项中 4:其他辅助工具:jar包反编译工具JD-GUI.J2EE常用jar包下载 二:安装Spring辅助插件——Spring tool suite 分为离线安装和在线安装. 离线安装如果遇到“cannot perform opration......”报错的话,点击 Add 按…

在Java的世界里,项目的管理与构建,有两大常用工具,一个是Maven,另一个是Gradle,当然,还有一个正在淡出的Ant.Maven 和 Gradle 都是非常出色的工具,排除个人喜好,用哪个工具来构建项目,都是很不错的选择.本人从事开发工作多年了,一般不喜欢被绑定在某一个IDE上面,所以,我这里主要是总结一些使用命令行来完成项目构建的方法,当然,这也有利于后期往Jenkins 等持续集成工具迁移时作为参考. 1.Java 基础环境搭建 Oracle的官网上找到合适的JDK下载,链接http…

MyBatis-Plus是一个 MyBatis的增强工具,在 MyBatis 的基础上只做增强不做改变,使用MyBatis-Plus时,不会影响原来Mybatis方式的使用. SpringBoot+MyBatis-Plus环境搭建 SQL脚本: CREATE TABLE `tb_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `real_name` varchar(20) DEFAULT NULL, `email` varchar(50) DEFAUL…

  一,简介 ODB是应用于C++的一个开源.跨平台.跨数据库的对象关系映射(ORM)系统. 它可以让你持久化C++对象到关系数据库,而不必处理表.列或者SQL,无需手动编写任何映射代码. ODB支持MySQL,SQLite,PostgreSQL,Oracle和微软SQL Server关系数据库以及C ++98/03和C ++11语言标准. 它还配备了用于Boost和Qt可选的配置文件,让你可以无缝地使用这些库持久化C++类的值类型.容器和智能指针. 它有易用性,简洁的代码,安全,数据库可移植性…

最近在学习cocos2dx,预备将学习过程整理成笔记. 需要的工具和环境整理一下: 使用的版本 cocos2dx目前已经出到了v3.1.1,学习和项目的话还是用2.2.3为宜,毕竟不大想做小白鼠,并且学习了几天之后才发出3.X版本的,版本内容变动比较大. 开发环境 1 jdk 1.6以上 2 python 2.7为宜(创建项目要用的) 3 NDT+Android SDK 4 Cygwin或者MinGW 开发工具 1 Eclipse + CDT + ADT 2 VS2010 3 Sublime T…

DVWA(Damn Vulnerable Web Application),是一个用PHP编写的,作为Web安全测试练习平台的合法环境(毕竟咱不能为了练习就随便找个网站去攻击...),也就是俗称的靶场. DVWA提供了常见的多种练习场景,包括SQL注入,XSS,暴力破解,命令行注入,CSRF等,对刚开始学习的童鞋来说完全够用.DVWA还很贴心的提供了从易到难的四种安全级别:Low,Medium,High,Impossible. 本文主要记录DVWA的搭建过程. 安装Wampserver 运行DV…

问题出现的环境: OS版本:CentOS-7-x86_64-Minimal-1708 ES版本:elasticsearch-6.2.2 1. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 每个进程最大同时打开文件数太小,可通过下面2个命令查看当前数量 ulimit -Hn ulimit -Sn 修改/etc/security/limits.conf文件,…

0x00 什么是Elasticsearch Elasticsearch (ES)是一个基于 Lucene 的开源搜索引擎,它不但稳定.可靠.快速,而且也具有良好的水平扩展能力,是专门为分布式环境设计的,Elasticsearch是面向文档型数据库,这意味着它存储的 整个对象或者文档,它不但会存储它们,还会为他们建立索引,这样你就可以搜索他们了.你可以在 Elasticsearch 中索引.搜索.排序和过滤这些文档,不需要成行成列的数据,ElasticSearch 提供了一套基 于restful风…

elasticsearch启动时Warning解决办法: 转载:http://www.dajiangtai.com/community/18136.do?origin=csdn-geek&dt=1214 问题一:   [2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:   Java.lang.UnsupportedOperationException: seccomp unav…

elasticsearch bool组合查询: 相当于sql:where _type = 'books' and (price = 500 or title = 'bigdata') Note: must: 相当于and should:相当于or must_not:相当于not 判断属性为null: Query与Filter 转载:http://www.cnblogs.com/xing901022/p/4975931.html 查询在Query查询上下文和Filter过滤器上下文中,执行的操作是…

elasticsearch head插件安装: 准备工作: 安装nodejs和npm https://nodejs.org/en/download/ node-v6.11.2-linux-x64.tar.xz 由于是xz压缩文件,所以要先安装 yum -y install xz $xz -d ***.tar.xz $tar -xvf  ***.tar 配置环境变量 # set node environment export NODE_HOME=/usr/local/node-v6.11.2-li…

使用pycharm搭建Flask运行环境 1. 打开pycharm ,创建一个新的工程 2. 选择创建Flask项目 3. Flask项目创建成功,结构如下 4. 运行项目 5. 发送请求 over!…

1.安装 VS2015 Update3.如果已经安装了VS2015,但不是Update3版本,请在VS的工具 --> 扩展与更新 中执行update3的升级(大约需要2小时). 2..net Core的安装分为两部分:SDK和Tools,SDK是运行时,Tools是VS中的开发工具..从浏览器打开.net Core安装包地址:https://www.microsoft.com/net/download/core ,下载安装. 3.安装顺序为SDK.Tools 4.(非必须)如果服务端程序需要运行…

运行环境:phpstudy 它基本包括运行php应用需要的一切,php. apache.mysql,一键傻瓜安装 装好之后只需要配置虚拟主机和修改host文件就可以支持多站点 下载: http://www.phpstudy.net/ 开发工具:PhpStorm 比较好用的IDE,功能强大外观也不错,自带各种版本控制工具 (相对于eclipse还是IDEA更好用点) 安装好后在菜单 File > Default Settings > PHP 里配置php的解释器,这样可以直接在IDE内直接运行p…

开发环境, 1.安装Node.js®和npm, node 6.9.x 和 npm 3.x.x 以上的版本. 更老的版本可能会出现错误,更新的版本则没问题. 控制台窗口中运行命令 node -v 和 npm -v,来查看版本 更新npm到最新版本: npm i -g npm to update 2. 运行 npm config set registry https://registry.npm.taobao.org 因为国内访问http://npmjs.org(angular2.0组件库) 的站点…

0x00 ElasticSearch的索引和MySQL的索引方式对比 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤.特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询. 倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢? 笼统的来说,b-tree索引是为写入优化的索引结构.当我们不需要支持快速的更新的时候,可以用预先排序等方式换取更小的存储空间,更快的检索速度等好处,其代价就是更新…

本篇文档来源:https://blog.csdn.net/a565649077/article/details/81042742 1.1 Eclipse准备 (1)     服务器上安装JDK和Maven,安装过程该文不赘述,可在网上查找: (2)     安装Spring Tools: 打开eclipse的 Marketplace(help  --> eclipse Marketplace) 搜索Spring Tools 进行安装(STS:spring tool suite); 1.2 搭建s…

Shard和segment概念: 转载: http://blog.csdn.net/likui1314159/article/details/53217750 Shard(分片) 一个Shard就是一个Lucene实例,是一个完整的搜索引擎.一个索引可以只包含一个Shard,只是一般情况下会用多个分片,可以拆分索引到不同的节点上,分担索引压力. Segment elasticsearch中的每个分片包含多个segment,每一个segment都是一个倒排索引:在查询的时,会把所有的segment…

elasticsearch.yml配置概述: 设置集群名字 cluster.name 定义节点名称 node.name 节点作为master,但是不负责存储数据,只是协调. node.master: true node.data: false 子节点,存储数据 node.master: false node.data: true 该节点是一个负载均衡器,什么都不做 node.master: false node.data: false 分片数 index.number_of_shards 副本数…

elasticsearch 基本查询: 基本查询: term查询: terms查询: from和size查询: match查询: match_all查询: match_phrase查询: multi_match查询: 控制范围查询: 返回某些字段查询:…