从这周开始Linux的学习,老师是一位女老师,这到给了更多的信心,老师讲得很快,如果说只谈记命令的话是不多,但是要真正去理解,其实内容还是挺多的,我都是以老师讲的内容为主线,然后自己再看鸟哥的书做加深理解和拓展.由于鸟哥的书是2009年写成的,所以一些命令已经进化了,或者用法不一样了,但是基本的linux知识还是一样的,所以我还是挺感谢鸟哥的,他的书真的太适合零基础的了. 班上五六十个人,有五十个是从学校招的,还没毕业,所以相比一下,自己似乎老了很多哈,一开始的时候,挺害怕自己跟不上,更比不过他…

LNMP/LEMP项目搭建 { 项目框架 # Linux_____WEB_____PHP_____DB # rhel7_____apache__-(libphp5.so)-__php__-(php-mysql)-__mariadb-server # rhel7_____nginx___-(spawn-fcgi)-__php__-(php-mysql)-__mariadb-server 安装软件包 # WEB 程序 # CGI 管理器 @作用 ()监听9000端口 ()调用Php命令 @软件 sp…

/Mon *************摘要************** 计划任务 )一次性计划任务 服务:atd 命令:at 服务存放文件:/etc/init.d/atd 系统配置文件:/etc/at.deny 程序缓存文件:/var/spool/at )周期性计划任务 服务:cron/crond 命令:crontab 服务存放文件:/etc/init.d/crond 系统配置文件:/etc/cron.deny /etc/crontab 程序缓存文件:/var/spool/cron/* /var/…

lvy老师教项目课程,以及代课了shell部分课程,大家都觉得这位老师不行,上课时做的操作很多都是错误的,觉得她基础不好.而且,她不能解释原因,学生问为什么,她不知道.崩溃啊.向xx培训机构反应后,说这位老师项目经验多,可是如果一个人基础都不行,做再多项目也没有用啊,全是错误.这部分都有pdf,自学.说真的,我都比她讲的好.哈哈. 今天考试,90分,错误的地方粗心了,以后再工作中千万不能这样哦. 下面是考题:…

1.第一天比较轻松,上午填表格,录指纹,拍照片,做自我介绍. 2.下午老师简单介绍了一下PC\交换机\路由器\塔式服务器\机架式服务器(1U\2U)\刀片服务器\磁带机 3.班主任陈老师朱老师,预科秦老师Teacher ChenTeacher Zhu 15000592742Teacher Qing long 4.打开电脑,安装redhat7Terminal biger/smaller/new oneCtrl+Shift+[+] 放大 Ctrl+[-] 缩小ctrl+Shift+T 新建 下午5点…

考试考一天,得分94,最后一题防火墙当时还没搞明白 考题如下: 注意事项: .确保在重启主机后所有配置仍然生效. .selinux 必须为Enforing 模式,防火墙必须开始.默认策略必须清空. .设置主机名为stuXXX.com(“X”为你的foundation 机器ip 地址最后一位.例如:你的ip 地址为172.25.254.30,则你的主机名为stu30.com) .不允许ssh 登录到其他主机,已经发现按0 分计算考试得分. .考试满分为100 分制, 分为及格,所有考题需要按照要求…

大数据Hadoop-Spark集群部署知识总结 一.启动/关闭 hadoop myhadoop.sh start/stop 分步启动: 第一步:在hadoop102主机上 sbin/start-dfs.sh 第二步:在hadoop103主机上 sbin/start-yarn.sh 分步关闭: 第一步:在hadoop103主机上 sbin/stop-yarn.sh 第二步:在hadoop102主机上 sbin/stop-dfs.sh myhadoop.sh脚本文件内容 #!/bin/bash if…

Redis是什么? 官方介绍: Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库.缓存和消息中间件. 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询. Redis 内置了 复制(replication),LUA脚本(Lua scripting)…

前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke…

前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题. 技术准备 VMware虚拟机.CentOS 6.8 64 bit 安装流程 因为我的笔记本是Window7操作系统,然后内存配置,只有8G,内存配置太低了,当然为了演示,我会将Hadoop集群中的主节点分配2GB内存,然后剩余的三个节点都是1GB配置. 所有的节点存储我都设置为50GB. 在安装操作系统之前,我们需要…

  问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件. 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件规格列表那么简单. 选择硬件,为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性.(比如,IO密集型工作负载的用户将会为每个核心主轴…

转载请注明出处 :http://www.cnblogs.com/xiaodf/ 本文档主要用于说明,如何在集群外节点上,部署大数据平台的客户端,此大数据平台已经开启了Kerberos身份验证.通过客户端用户在集群外就可以使用集群内的服务了,如查询集群内的hdfs数据,提交spark任务到集群内执行等操作. 具体部署步骤如下所示: 1.拷贝集群内hadoop相关组件包到客户端 本地创建目录/opt/cloudera/parcels mkdir –R /opt/cloudera/parcels 拷贝…

首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默认为三个),以此来实现多机器上的多用户分享文件和存储空间. Hadoop主要包含三个模块: HDFS模块:HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单…

1.HDFS简单版集群搭建相关配置文件 1.core-site.xml文件 <property> <name>fs.defaultFS</name> <value>hdfs://hadoop2:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop-/data</value…

上一篇Lightning内容描述的是LDS,通过LDS可以很方便的实例化一个对象的数据信息.当我们通过列表展示数据需要编辑时,我们常使用两种方式去处理编辑页面:Pop Up Window弹出修改详情以及在本页面隐藏详情页面显示编辑页面. 实现这个功能以前主要需要先了解几个标签: lightning:recordForm: 此标签允许用户快速的创建一个form去查看,添加以及修改一条记录.集合了 lightning:recordEditForm 以及 lightning:recordViewFor…

一. 网络日志数据session案例 部分数据 数据中的字段分别为: 访客ip地址,访客访问时间,访客请求的url及协议,网站响应码,网站返回数据量,访客的referral url,访客的客户端操作系统及浏览器信息 需求: (1) 需要为从访问日志中梳理出每一个session(如果一个用户两次相邻请求之间的时间差<30分钟,则该两次请求都属于同一个session(不考虑不同的URL),否则分属不同的session),并为session中的历次请求打上序号,示意如下: (2) 将每次session…

MySQL的安装部署…

Spark集群安装部署…

Kafka集群搭建 下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可) 1.下载kafka http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台服务器,并解压文件 2. 修改配置文件 server.properties: 183服务器: broker.id= host.name=132.228.28.183 advertised.host.name=132.228.28.183 zookeeper.connect=,, 184服务器: br…

Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2.配置ssh,实现无密码登录 四台虚拟机上,使用: ssh-keygen -t rsa  一路回车就行了 master上将公钥放到authorized_keys里.命令:: sudo cat id_rsa.pub >> authorized_keys 将master上的authorized_keys…

一.安装前发现的问题: 1.安装前期发现jps权限不够 [root@master1 ~]# jps -bash: /opt/workspace/jdk1./bin/jps: Permission denied 解决: 这时只需要添加一个权限即可 chmod +x /usr/local/jdk8/bin/jps x是执行权限 2.中文乱码问题 解决:编辑服务器文件 vim etc/locale.conf 3.journalnode启动java权限问题 chmod +x /opt/workspace…

一,问题描述 :::: gpinitstandby:greenplum01:gpadmin-[ERROR]:-Cannot use -n option when standby master has not yet been configured :::: gpinitstandby:greenplum01:gpadmin-[ERROR]:-Error initializing standby master: Standby master not configured 节点很久没有管了,然后服务…

 环境系统配置  JAVA虚拟机的安装…

9月21日 周四 今天是个特殊的日子吗,总感觉9月21这个日子听着怪怪的. 今天早晨看<Head First HTML and CSS>第13章节“表格和更多列表”,内容不多,看完并做了详细的笔记和练习.明天看第14章“HTML表单”,实际上这本书总共15章,第15章是“附录以及其他”.明天后天这本书就看完啦.也算是打下了个基础,继续学习更高深的东西去了. 今天下午看<Think Python>第10章节“列表”,内容是看完了,课后练习没做完.这章的课后练习有12个,还真能出,做了…

开发者认证.云学院.技术社群,更多精彩,尽在开发者会场 近年来,新技术发展迅速.互联网行业持续高速增长,平均薪资水平持续提升,互联网技术学习已俨然成为学生.在职人员都感兴趣的“业余项目”. 阿里云大学作为阿里云泛云生态人才培养的平台,精选100余门囊括云计算.大数据.编程语言和物联网(IoT)的行业热点技术课程,打造此套入门学习指南,免费放送给广大技术爱好者. 全套课程入口及指南下载直接戳此进入 > PART1:云计算技术集锦指南 由此下载全套学习指南(含全部免费课程入口)> 对于大多数人来说…

about云课程最新课程Cloudera课程   零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易.在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结.所以索性就自己学习了.整个过程整理一下,给大家参考,欢迎讨论,共同学习. 从一开始什么都不懂,到能够搭建集群,开发.整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难. 首先整体说一下学习过程给大家借鉴: 首先查阅了资料,什么是hadoop,至于这方面,你可以参考这个帖子hadoop…

1.你是如何学习openstack的?2.你对openstack的组件了解多少?3.你认为openstack该如何学习? 一直想写关于openstack的方面的内容,今天终于整理完成.算是完成一桩心事,内容整合来自: 零基础学习openstack(上)[中级篇] 零基础学习openstack(下)[中级篇] 是在 零基础学习openstack[初级篇]基础上的一个继续: 初级篇,我们主要是有这么一个概念,openstack的组成openstack由哪些部分来组成: Identity(代号为“Ke…

1 大数据概述 大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的时间非常少:1秒定律,这和传统的数据挖掘技术有着本质区别(谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据) 价值密度低,商业价值高 大数据影响: 对科学研究影响:出现科学研究第四方式数据(前三个分别是实验.理论.计算) 对思维方式影响:全样而非抽样.效率而非准确.相关而非…

原文地址:http://www.cnblogs.com/mjios/archive/2013/04/24/3039357.html 本文目录 一.什么是iOS 二.主流手机操作系统 三.什么是iOS开发 四.学习iOS开发的目的 五.学习iOS开发的前提 从今天开始,我就开始更新[零基础学习iOS开发]这个专题.不管你是否涉足过IT领域,也不管你是理科生还是文科生,只要你对iOS开发感兴趣,都可以来阅读此专题.我尽量以通俗易懂的语言,让每个人都能够看懂.若遇到不明白的地方或者对此文有异议,望及时…

很荣幸受邀参加Top100Summit全球软件案例研究峰会,这次的大会主题是<技术推动商业变革>,组委会从全国投稿的460多件案例中甄选出100件具有代表价值的案例,进行为期4天的分享,第一天是开幕式,有业界的诸多牛人进行演讲,演讲分享的内容如下:-----------------------------------------------------------1.被颠覆的决策模式——大数据大价值   演讲者:张亚勤 微软全球资深副总裁.微软亚太研发集团主席2.软件定义IT时代   演讲者:…