目录 概述 重要 前置条件 配置环境 Win环境配置 linux环境配置 定义ORACLE_HOME环境变量 Ora2Pg使用方法 配置文件ora2pg_table.conf 配置文件解释:Oracle数据库连接配置项 ORACLE_HOME ORACLE_DSN ORACLE_USER et ORACLE_PWD USER_GRANTS TRANSACTION* 基本原理 数据类型变化(参考Ora2PG源码定义) 常见的Oracle对象到Postgresql数据库的转换 数据库链接(Datab

上一篇说到如果一个索引的mapping设置过了,想要修改type或analyzer,通常的做法是新建一个索引,重新设置mapping,再把数据同步过来. 那么如何实现零停机时间更新索引配置或迁移索引?这就需要用到索引的别名设置. 思路: 1.假设我们的索引是demo_v1,我们定义了一个别名demo,以后所有的操作都用别名demo操作. 2.现在索引demo_v1的mapping设置或者其他一些设置不满足我们的需求了,我们需要修改.新建一个索引demo_v2,同时设置好最新配置. 3.同步索引d

本文介绍Elasticsearch零宕机时间更新索引配置映射内容的方法,包括字段类型.分词器.分片数等.方法原理就是,利用别名机制,给索引配置别名,所有应用程序都通过别名访问索引.重建索引,通过索引原名将原索引导入新建索引.再为新索引配置相同的别名.确认成功导入后,则删掉老索引.实现配置参数更新. 注意: 以下所有操作都是基于一个前提:在建原始索引的时候,给原始索引创建了别名 PUT /my_index_v1         //创建索引 my_index_v1 PUT /my_index_v1

es集群迁移,大规模迁移过程中,比如我们以当天时间做索引,在新的es集群会存在和老的es集群一样的索引文件名,这个时候用snapshot恢复数据会出现冲突问题.这里我们可以用reindex api来解决: 这里有两种方式使用 1.先在原来的es集群将迁移当天的索引文件名reindex,然后做快照,然后用快照恢复重命名的快照,然后重新reindex恢复 2.先在原来的es集群做快照,然后在新es集群做当日索引文件reindex,然后删除新生成的索引文件,然后从snapshot恢复当日索引文件,然后

1.安装环境 CentOS Linux release 7.5.1804 (Core) 1 2.安装nodejs yum install -y nodejs 1 3.验证nodejs [root@localhost yum.repos.d]# node -v v8.12.0 [root@localhost yum.repos.d]# npm -v 6.4.1 1 2 3 4 4.安装elasticsearch-dump npm install elasticdump 1 5.验证安装 进入ela

简介 Nexus下载:点击进入 Nexus 是Maven仓库管理器,如果你使用Maven,你可以从Maven中央仓库 下载所需要的构件(artifact),但这通常不是一个好的做法,你应该在本地架设一个Maven仓库服务器,在代理远程仓库的同时维护本地仓库,以节省带宽和时间,Nexus就可以满足这样的需要.此外,他还提供了强大的仓库管理功能,构件搜索功能,它基于REST,友好的UI是一个extjs的REST客户端,它占用较少的内存,基于简单文件系统而非数据库.这些优点使其日趋成为最流行的Mave

背景: 通过上一篇的 MongoDB 分片的原理.搭建.应用 大致了解了MongoDB分片的安装和一些基本的使用情况,现在来说明下如何管理和优化MongoDB分片的使用. 知识点: 1) 分片的配置和查看 ① 添加分片:sh.addShard("IP:Port")  mongos> sh.addShard("192.168.200.A:40000") #添加分片 { } mongos> sh.addShard("192.168.200.B:40

sqlplus有几种登陆方式 比如:1.C: > sqlplus "/as sysdba" --以操作系统权限认证的oracle sys管理员登陆2.C: > sqlplus /nolog --不在cmd或者terminal当中暴露密码的登陆方式SQL> conn /as sysdba&SQL> conn sys/password as sysdba 3.C: > sqlplus scott/tiger --非管理员用户登陆4.C: > sq

ELK ElasticSearch LogStash Kibana Server:CentOS 7 采用RPM导入官方源方式进行安装 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 在/etc/yum.repo.d/建立文件elastic.repo,内容如下 [elastic-5.x] name=Elasticsearch repository for 5.x packages baseurl=https://art

背景:查阅了一下MongoDB的相关文档,发现中文文档还是比较少的,工作中需要用到MongoDB,而这本<MongoDB最佳实践>是很好的选择,所以就把这本手册翻译了一下,其中生涩的专业用语是参考MongoDB中文官网进行翻译,校对的时间比较少,难免会有不合理的地方,恳请大家指正. 简介 MongoDB是一款为广泛的现代应用程序设计的高性能.可扩展.分布式数据库系统.MongoDB可用于不同规模大小的组织,为那些对系统低延迟.高吞吐量以及可持续性有很高要求的应用提供稳定关键的服务. 尽管Mon

1.检测集群是否健康. curl -XGET 'localhost:9200/_cat/health?v' #后面加一个v表示让输出内容表格显示表头 绿色表示一切正常,黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 2.查看集群的的节点列表. curl -XGET 'localhost:9200/_cat/nodes?v' 3.创建索引(方法一) #创建一个名为demo_v1的索引 > curl -XPUT 'localhost:9200/demo_v1' {

ES版本:6.2.4 集群环境:7台机器,每台部署一个master节点.其中3台部署2个hot节点,另外4台部署2个warm节点.共21个节点. 1. 挂盘 按实际情况分盘,一个机子上的2个data节点均分数据磁盘. 通过UUID挂盘,以防止以后换盘,盘符移动(这里拿3个盘举例). mkdir -p /data01a/esat mkdir -p /data02b/esat mkdir -p /data03c/esat blkid vi /etc/fstab UUID="f78d2fb8-4b00

Elk使用笔记(坑)(2017-02-17更新) 作者: admin 时间: 2016-12-07 分类: 工具,数据 主要记录使用过程终于到的一些坑和需要注意的地方,有些坑想不起来了,以后再完善补上 elk版本 elasticsearch: 2.4.1 kibana: 4.6.3 logstash: 2.4.1 问题 Elasticseasrch报错,Request Timeout after 30000ms,log中无日志 一般重启elasticsearch即可,重启后节点状态状态Elast

1. 概述 logstash把格式化的数据发送到elasticsearch以后,elasticsearch负责存储搜索日志数据 elasticsearch的搜索接口还是很强大的,这边不详细展开,因为kibana会去调用el的接口: 本文将讲解elasticsearch的相关配置和遇到的问题,至于elasticsearch的相关搜索使用,后面会找个时间整理一下. 2. 配置 配置路径:docker-elk/elasticsearch/config/elasticsearch.yml 关闭安全验证,

1.ndex has exceeded [1000000] - maximum allowed to be analyzed for highlighting 详细报错内容: {"type":"illegal_argument_exception","reason":"The length of [message] field of [l60ZgW0Bv9XMTlnX27A_] doc of [syslog] index has exc

简介 MongoDB是一款为广泛的现代应用程序设计的高性能.可扩展.分布式数据库系统.MongoDB可用于不同规模大小的组织,为那些对系统低延迟.高吞吐量以及可持续性有很高要求的应用提供稳定关键的服务. 尽管MongoDB与传统的关系型数据库的有些特性不一样,但是对于之前部署和操作其他数据库系统的人员来说,MongoDB的很多概念,比如操作.策略.存储过程还是很相似的.公司的DBA和运营团队可以在保持现有系统的前提下,直接把MongoDB集成到生产环境中,并且不需要定制操作流程和工具 本文档为部

Elasticsearch使用小结之冷热分离 索引迁移 索引setting中的index.routing.allocation.exclude和index.routing.allocation.include可以用于指定索引分配与哪些节点.同时,这两个配置是可以在index存在的时候修改的,我们可以通过修改这两个配置的方式来迁移索引. 比如: ES集群存在5个节点,ip分别为: 192.168.1.101, 192.168.1.102, 192.168.1.103, 192.168.1.104,

导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析.结构化数据分析.全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与方法,希望与大家一同交流.文章作者:bellen,腾讯云大数据研发工程师. ​ 一.背景 某中型互联网公司的游戏业务,使用了腾讯云的 Elasticsearch 产品,采用 ELK 架构存储业务日志. 因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps ),在服务客户的几个月中,我们踩

[活动]Elasticsearch Service免费体验馆>> Elasticsearch Service自建迁移特惠政策>>Elasticsearch Service新用户特惠狂欢低至4折>>Elasticsearch Service企业上云特惠>> 导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析.结构化数据分析.全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与方法,

PB 级大规模 Elasticsearch 集群运维与调优实践 https://mp.weixin.qq.com/s/PDyHT9IuRij20JBgbPTjFA | 导语 腾讯云 Elasticsearch 被广泛应用于日志实时分析.结构化数据分析.全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与方法,希望与大家一同交流. 背景 某中型互联网公司的游戏业务,使用了腾讯云的 Elasticsearch 产品,采用 ELK 架构存储

MongoDB学习笔记:快速入门   一.MongoDB 简介 MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统.在高负载的情况下,添加更多的节点,可以保证服务器性能.MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成.MongoDB 文档类似于 JSON 对象.字段值可以包含其他文档,数组及文档数组. 二.MongoDB安装及配置 查看:https://www.runoob.com/mongodb/mongodb-linux-ins