前言:       工作中需要同步日志到hdfs,以前是找运维用rsync做同步,现在一般是用flume同步数据到hdfs.以前为了工作简单看个flume的一些东西,今天下午有时间自己利用虚拟机搭建了flume环境,并简单做了几个练习.学习过程中还是比较顺利的,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线===========…

最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式处理,采用 flume 收集日志,发送到 kafka 队列做缓冲,storm 分布式实时框架进行消费处理,短期数据落地到 hbase.mongo中,长期数据进入 hadoop 中存储. 接下来打算将这其间所遇到的问题.学习到的知识记录整理下,作为备忘,作为分享,带给需要的人. 学习flume ng的…

之前用的是vagrant+VirtualBox搭建的环境,因为是windows系统动不动就报错,打不开环境,所以还是老老实实换了虚拟机哎.... 版本: VirtualBox 5.1.34   xshell 镜像centos7 配置虚拟机 1.首先在VirtualBox添加镜像 2.安装的时候注意时区选择上海,开始网络模式,设置用户 3.登录后 配置 网络配置打开命令:vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 网络配置如下:onboot=yes…

这里简单用三台虚拟机,搭建了一个两个数据节点的hadoop机群,仅供新人学习.零零碎碎,花了大概一天时间,总算完成了. 环境 Linux版本:CentOS 6.5 VMware虚拟机 jdk1.6.0_45 主要分为一下几步完成 一.安装CentOS 6.5 当然了,如果没有虚拟机,需要先安装VMware,然后新建虚拟机,选择系统镜像即可,复制几台,比如我的机器4G内存,最多复制两台,一共三台. 建议这时候把所有机器进入管理员root权限: [root@blue bin]#su 输入密码即可 二…

一.redis简介 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合)和zset(有序集合).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入…

引用http://www.cnblogs.com/xiangxiaodong/archive/2013/12/23/3487028.html,学习. 本人是在windows8系统下,Oracle VM VirtualBox虚拟机的CentOS6.2下安装的FTP服务器,虚拟机启用了网卡桥接连接方式,(如果网卡NAT方式,需要启动FTP被动模式)操作流程如下: 1,以管理员(root)身份执行以下命令,安装FTP服务器端 yum install vsftpd 2设置开机启动vsftpd ftp服务…

尽量升级Xcode到最新版,保持iPhone的版本大于9.3 1.安装webDriverAgent到ios真机 从github上下载代码:git clone https://github.com/facebook/WebDriverAgent bundle identifier:com.fdzq.ForthrightSecurities-Dev2 2.iproxy 8100 81003.wdaproxy -p 8100 -u deviceid linux查看device id命令:idevice…

系统版本: centos6.5 python版本:python3.6.8 相关包存放目录:software 注意:以下操作需要用到root权限 安装python3 root操作 cd /lzh/software tar -zxvf Python-3.6.8.tgz cd /lzh/software/Python-3.6.8 ./configure --prefix=/usr/local/ make make install make 报错: Fatal Python error: Py_Init…

搭建域环境(domain)并且配置域 什么是域 域就是将多台计算机在逻辑上组织到一起,进行集中管理,也就是创建在域控制器上的组,将组的账户信息保存在活动目录中.域组可以用来控制域内任何一台计算机资源的访问和执行系统任务的权限. 相关概念 域(Domain):将网络中的多台计算机通过逻辑的方式组织到一起,进行集中管理,这种集中管理的环境称为域. 域控制器(Domain Controller,DC):每个域中至少有一台域控制器.集中存放整个域的用户账号和安全数据库,安装了活动目录(AD)的主机称为域…

TensorFlow笔记-02-Windows下搭建TensorFlow环境(win版非虚拟机) 本篇介绍的是在windows系统下,使用 Anaconda+PyCharm,不使用虚拟机,也不使用 Linux 安装 Anaconda 这个相信有很多人都在用,所以简单说一下 如果没有安装可以直接去Anaconda官网下载:https://www.anaconda.com/download/ 提示:安装时记住安装目录 默认安装就可以 如果安装 Anaconda 有问题请参照: windows下Ana…