1.安装参考网址: https://blog.csdn.net/IronWring_Fly/article/details/103637801   设置新秘密: mysqladmin -u root password '密码'   再次登录 mysql -u密码 -p密码   2.中文配置  …

一.IP原理 关于IP我的理解, (1)主要去理解IP地址的作用,IP地址包括网络相关部分和主机的相关部分.即:用一段特殊的数据,来标识网络特征和主机的特征. 至于具体的技术实现,日后可以慢慢体会和了解. IP的基本原理可以参考:https://www.cnblogs.com/yinzhengjie/p/6649245.html (2)静态IP与动态IP的区别 这两者的理解可以参考下面这句话,我觉得说的比较清楚. 动态获取,优点是上级下发,IP地址.子网掩码.网关.dns服务器都是上级认为的正确…

1,下载maven 首先进入maven下载目录:http://maven.apache.org/download.cgi 2,上传maven到linux系统 以下操作路径都是本人习惯,目录可以随意更改 cd /usr/local mkdir java cd java rz + 选择本地maven路径上传 tar -zxvf apache-maven-3.6.3-bin.tar.gz 得到解压完的文件夹apache-maven-3.6.3 创建一个链接方便操作:ln -s /usr/local/j…

1.从官网http://ant.apache.org/bindownload.cgi下载tar.gz版ant到本地电脑上 2.通过WinSCP工具将本地电脑上的ant压缩包上传至Linux服务器的/usr目录下 3.解压ant压缩包 tar -vxzf apahce-ant-1.10.6-bin.tar.gz 4.修改权限 chmod apache-ant- 5.修改系统环境变量 vi /etc/profile 在文件最后添加ant环境变量,输入:wq! 保存修改 6.使环境变量生效 sourc…

Oracle 11g客户端在Linux系统上的配置步骤详解 2011-07-26 10:47 newhappy2008 CSDN博客 字号:T | T 本文我们主要介绍了Oracle 11g客户端在Linux系统上的配置过程,希望能对您有所帮助. AD:51CTO 网+ 第十二期沙龙:大话数据之美_如何用数据驱动用户体验 Oracle 11g客户端在Linux系统上的配置过程有一点点的难度,但是只要我们按照步骤一步步地来配置,也就没有什么了.本文我们就介绍Oracle 11g客户端在Linux系…

系统:Ubuntu 12.04 64位 lnmp环境 集成软件:PHP5.4.27.Nginx1.6.0.MySQL5.5.37 阿里云server svnserver有2种执行方式:独立server和借助apache执行. 两种方式各有利弊. 我这里是独立的server,svnserver.第一次接触感觉非常麻烦,网上搜了非常多.最后摸索出了一个适合阿里云server的环境配置方案.当然也适合普通server,linux系统. ---------------------------------…

今天将阿里云服务器重windows系统重置成了linux系统, 点击上面的实例名称,进入到 点击  更换系统盘   选择linux 的centos版本(操作前需要  停止实例) 弄好后,启动实例 下面说说,如何在linux系统上安装node环境 我们可以通过阿里云上的远程连接到  远程桌面,也可以通过xshell 连接到远程桌面 1.使用wget命令从nodejs官网拉取要安装的版本:wget  https://npm.taobao.org/mirrors/node/v10.16.2/node-…

写这篇文章的目的是总结自己学习大数据的经验,以为自己走了很多弯路,从迷茫到清晰,真的花费了很多时间,希望这篇文章能帮助到后面学习的人. 一.配置思路 安装linux虚拟机--->创建三台虚拟机--->配置Hadoop环境--->配置zookeeper--->配置HBase--->配置mysql--->配置hive--->配置sqoop 上面的过程只是简要的,中间还有一些小的配置过程,我没有写出,后面详细的配置过程中会提到. 二.详细配置过程 1.安装linux虚拟…

Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN. Hadoop1.x的生态系统: Hadoop2.x引入YARN: HDFS(Hadoop分布式文件系统)源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版. 是Hadoop体系中数据存储管理的基础.它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行.HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序…

Hadoop介绍 一.简介 Hadoop是一个开源的分布式计算平台,用于存储大数据,并使用MapReduce来处理.Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理.两个核心: HDFS:Hadoop分布式文件系统(Hadoop Distributed File System),具有高容错性和伸缩性,使用java开发 MapReduce:Google MapReduce的开源实现,分布式编程模型使用户更方便的开发并行应用 使用Hadoop可以轻松的组织计算机资源,从而搭建…

1.什么是hadoop hadoop中有3个核心组件: 分布式文件系统:HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架:MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台:YARN —— 帮用户调度大量的mapreduce程序,并合理分配运算资源 2.hdfs整体运行机制 hdfs:分布式文件系统 hdfs有着文件系统共同的特征: 1.有目录结构,顶层目录是:  / 2.系统中存放的就是文件 3.系统可以提供对文件的:创建.删除.修改.查看.移…

一.Hadoop的优势 1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理. 2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点. 3) 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度. 4)高容错性:自动保存多份副本数据,并且能够自动将失败的任务重新分配. 二.Hadoop组成 1)Hadoop HDFS:一个高可靠.高吞吐量的分布式文件系统. 2)Hadoop Map…

一开始... 一开始知道大数据这个概念的时候,只是感觉很高大上,引起了我的兴趣.当时也不知道,这个东西是做什么的,有什么用,当然现在看来也是很模糊的样子,但是的确比一开始强了不少. 所以学习的过程可能会很艰辛甚至有时候会很缓慢,但是感觉这东西未来会很有用途,最初了解大数据是从<大数据时代>这本书开始的,里面的很多概念和预测让我觉得很神奇. 但是渐渐生活中的一些事物被印证,我渐渐接受了这本书的内容,我觉得这本书还是值得一看的. 在国内这个技术似乎是比较新颖的,做的人似乎不是很多,正因为如此,资料…

Hadoop之HBASE 一.HBASE简介 HBase是一个开源的.分布式的,多版本的,面向列的,半结构化的NoSql数据库,提供高性能的随机读写结构化数据的能力.它可以直接使用本地文件系统,也可以使用Hadoop的HDFS文件存储系统.不过,为了提高数据的可靠性和系统的健壮性,并且发挥HBase处理大数据的能力,使用HDFS作为文件存储系统才更为稳妥. HBase存储的数据从逻辑上来看就像一张很大的表,并且它的数据列可以根据需要动态地增加.除此之外,每个单元(cell,由行和列所确定的位置)…

Centos 6.8安装python3.5.2 因为学习所需,需要用到python3.x的环境,目前Linux系统默认的版本都是python2.x的,还有一些自带的工具需要用到python2.6版本,所以要求的是python3 和 python2 共存,pip2 和** pip3共存,如何安装python3.x的环境?本文是以Python3.5.2**的版本为例.   python3.5.2 系统环境:CentOS 6.8-Minimal 1. 安装依赖包: [root@linuxprobe ~…

安装相关依赖包. 在终端下输入命令:sudo yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel 使用wget从官网下载安装包.在终端下输入命令: wget https://www.python.org/ftp/python/3.6.5/Python-3.6…

实验环境: 操作系统:Centos 7.6 服务器ip:192.168.10.100 运行用户:root 网络环境:Internet Zabbix是一个基于web界面的提供分布式系统监控及网络功能的企业级的开源监控工具,做为一个企业运维人员来说,zabbix可以给企业和运维人员带来很大的帮助,zabbix是一个功能非常强大.跨平台.开源的企业级运维管理系统,由2部分构成:zabbix服务端和客户端(agentd),也可以通过系统自带的SNMP来采集数据. Zabbix可以部署在Windows.L…

转载来源:https://www.cnblogs.com/PatrickLiu/p/8630151.html 一.NoSQL数据简介 1.NoSQL概念 NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨.NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入. NoSQL,泛指非关系型的数据库.随着互联网web2.0网站的兴起,…

以前都是在Windows环境进行开发的,最近因工作需要:学习在Linux系统下搭建开发环境,自此记录搭建过程,以方便查阅. 本文借鉴了 Angel挤一挤 .小五 两位的博客. 准备材料: JDK下载链接:官网下载链接(需要登录) 个人提供-版本8u271(坚果云) 终端模拟器:MobaXterm (开源免费:此项可不安装,可直接在Linux系统中操作) Linux系统版本:CentOS7 用户:root用户(普通用户下操作可能存在问题,请百度) 搭建流程: 查看并删除系统自带的openjdk 通…

一.解压文件到当前目录 命令:tar -zxvf mysql....tar.gz 二.移动解压完成的文件夹到目标目录并更名mysql 命令:mv mysql-版本号 /usr/local/mysql 添加系统mysql组和mysql用户  添加系统mysql组   sudo groupadd mysql   添加mysql用户   sudo useradd -r -g mysql mysql   添加完成后可用id mysql查看     然后进入/usr/local/mysql目录      …

按照网上的教程配置,发现配置到hadoop虚拟机内存就开始不够了,心累…

试了很多遍,内存还是不够,电脑不太行的,不建议用ambari!!! 放弃了…

添加了虚拟机内存空间 重装ambari…

一.存储引擎 1.含义 存储引擎是数据库底层软件组织,数据库管理系统(DBMS)使用数据引擎进行创建.查询.更新和删除数据.不同的存储引擎提供不同的存储机制.索引技巧.锁定水平等功能,使用不同的存储引擎,还可以 获得特定的功能.现在许多不同的数据库管理系统都支持多种不同的数据引擎.MySQL的核心就是存储引擎. 2.常用存储引擎 (1)InnoDB(MySQL5.1版本之后的版本默认的是InnoDB):优势在于提供了良好的事务处理,崩溃修复能力和并发控制,缺点是读写效率较差,占用数据空间较大.…

根据前几天的测试,简单的做个总结 csv文件的字段说明: 1.将csv文件上传到虚拟机中 在SecureCRT中点击,创建目录,直接把文件从本地拖拽进去 我放在了/linmob/data的路径下,所以文件的位置是/linmob/data/sales_sample_20170310.csv 2.在hive命令行中建表,表名要与csv文件中的一一对应,人生建议字段类型都选择varchar hive create table sales_sample_20170310(day_id varchar(3…

1.phoenix安装 ------------------ 1.安装phoenix a)下载apache-phoenix-4.10.0-HBase-1.2-bin.tar.gz   下载网址:https://phoenix.apache.org/download.html b)tar 解压压缩包 c)复制xxx-server.jar到hbase的lib目录,并且分发 ,删除以前的phoenixjar包. d)重启hbase 2.使用phoenix的命令行程序 $>/apps/phoenix-4…

之前按照正常方式安装的hbase不能插入数据 所以今天来尝试下ambari能不能行 已经打了快照 如果不能还能恢复之前的样子…

按照网上的代码导入 hadoop(十九)-Sqoop数据清洗 - 简书 (jianshu.com) ./sqoop import --connect "jdbc:mysql://192.168.111.100:3306/tab?characterEncoding=UTF-8" --username root --password root --table Student -m 1 出错…

1.首先准备java环境,安装JDK 2.下载jenkins至Linux服务器 下载地址:https://wiki.jenkins-ci.org/display/JENKINS/Installing+Jenkins+on+Red+Hat+distributions#InstallingJenkinsonRedHatdistributions-ImportantNoteonCentOSJava 按需选择:最新版 or 稳定版 这里选择最新版 ,使用yum方式下载安装 sudo wget -O /e…

上图来自Unix编程圣经<APUE>英文第二版.如图,处于最中心的是系统内核,负责机器硬件资源管理,进程管理等:shell,函数库(值得记住的是C标准函数库)和某些应用程序均直接构建于内核之上,属于同一层.内核与这层的交互是通过以C风格定义的系统函数进行的,即图中灰色部分.系统函数完全屏蔽了内核的实现细节.Shell是一类程序,专门用来读取用户输入的命令,解析并执行命令.函数库是通过调用系统函数来实现的,了解这一点很重要,在以后用C编程时面对多个功能相似的函数时就知道如何区分选择了.应用程序是…