Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多,比如滚动编辑,融合镜像文件,目录的空间配额等运维操作,请参考我之前的笔记:https://www.cnblogs.com/yinzhengjie/p/9074730.html   1>.基本语法 [root@node105 ~]# hadoop fs 2>.查看hdfs的某个命令的帮助信息 [ro…

KingbaseES R6集群repmgr.conf参数'recovery'测试案例(一) 案例说明: 在KingbaseES R6集群中,主库节点出现宕机(如重启或关机),会产生主备切换,但是当主库节点系统恢复正常后,如何对原主库节点进行处理,保证集群数据的一致性和安全,可以通过对repmgr.conf文件中配置recovery参数来解决.本案例记录了对'recovery'参数的三种配置的详细测试过程. 注意:对于KingbaseES R6老的版本,recovery参数只支持'manual'和…

目录 前言 一.所有节点安装docker 二.所有节点安装kubeadm 三.安装master节点 四.部署网络插件 五.安装node节点 六.运行一个demo 前言 这里使用环境:Ubuntu 18.04,以下所有操作都在root用户下进行 其实kubenetes安装非常核心的几步就是 安装docker 安装kubeadm 通过kubeadm init创建master节点 安装master的网络插件 通过kubeadm join添加node节点 一.所有节点安装docker export LC…

Kafka是目前业界使用最广泛的消息队列.数据流转常见这样的业务场景,客户端把采集到的日志推送给Kafka,业务方可以消费Kafka的数据落地HDFS,用于离线分析,也可以使用Spark或Flink消费Kafka中的数据,用于实时计算.Kafka在数据流转过程中发挥着纽带作用,可用于日志采集和数据处理系统间的解耦. 本文将介绍搭建Kafka集群的详细安装步骤,并根据日常业务遇到的问题,对Linux系统和Kafka节点的配置参数进行调优. 1. 环境说明 组件 版本 说明 Kafka 2.12-2…

在前面的Spark发展历程和基本概念中介绍了Spark的一些基本概念,熟悉了这些基本概念对于集群的搭建是很有必要的.我们可以了解到每个参数配置的作用是什么.这里将详细介绍Spark集群搭建以及xml参数配置.Spark的集群搭建分为分布式与伪分布式,分布式主要是与hadoop Yarn集群配合使用,伪分布式主要是单独使用作为测试. Spark完全分布式搭建 由于Hadoop和Spark集群占用的内存较高,这种完全分布式集群的搭建对于跑应用来说太吃力,如果有服务器可以尝试,这里采用虚拟机方式实验,…

文档安排: 前言部分会简述下galera集群,正文中会针对我们线上的环境,在不断业务的情况下,进行参数调整的话,有些参数不能够进行配置,会以#***的形式写入配置文件中,文档也会进行进一步说明. 如果有任何疑问.建议.或意见,请联系本文小工~撒花~下面正式开始.…

一:需求及基础: 场景: 1.开发人员不能登录线上服务器查看详细日志 2.各个系统都有日志,日志数据分散难以查找 3.日志数据量大,查询速度慢,或者数据不够实时 4.一个调用会涉及到多个系统,难以在这些协调中快速定位数据 Elastic Search + LogStash + Kibana = ELK Stack logstash1----|   (redis实现松耦合功能) logstash2----|----->broker redis----->indexer logstash----&…

<关系型数据库与非关系型数据库> 关系数据库:mysql.oracle.DB2.SQL Server非关系数据库:Redis(缓存数据库).MongodDB(处理海量数据).Memcached(缓存数据库)<类型:文档型.key-value型.图形> <关系型数据库与非关系型数据库主要区别>1.数据存储方式不同关系型数据库存储在硬盘中,非关系型数据库存储在缓存中,在读取数据速度方面非关系型数据库相比关系型数据库要快, 2.扩展性不同关系型数据库存储为表格式很容易横向扩展…

案例二:测试'recovery = automatic' 1.查看集群节点状态信息: [kingbase@node1 bin]$ ./repmgr cluster show ID | Name | Role | Status | Upstream | Location | Priority | Timeline | Connection string ----+---------+---------+-----------+----------+----------+----------+---…

一.pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM…