Docker 下安装 Spark】的更多相关文章

1. 安装Docker, 见上篇. 2. 安装ubuntu:    docker run --name dcSpark ubuntu 3. 运行 Bash:     docker exec -ti dcSpark /bin/bash 4. apt-get update 5. apt-get install software-properties-common 6. 添加PPA软件源:  add-apt-repository ppa:webupd8team/java 7. 然后更新系统,刷新软件源…
Spark- Linux下安装Spark 前期部署 1.JDK安装,配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 [root@srv01 ~]# tar -xvzf spark--hadoop2..tgz /usr/spark--hadoop2. 3.在 /usr 下创建软链接到目标文件夹 [root@srv01 usr]# ln -s spark--bin-hadoop2. spark 4.修改配置文件…
CentOS双机中Docker下安装Mysql并配置互为主从模式 目录 1.搜索镜像... 1 2.拉取镜像... 1 3.绑定端口: 1 4.配置文件(修改/etc/mysql/my.cnf文件):... 2 5.重启mysql:... 2 6.进入mysql 2 7.创建同步用户... 2 8.在mysql中查看主服务状态:... 2 9.链接master:... 3 10.启动从服务:... 3 11.查看slave状态... 3 12.B服务器如上配置... 3 附录:... 3 解决方…
后面的关卡涉及到转码问题,比如空格,在Windows中会受到限制,比如24关的文件重命名问题,所以在这记录下在docker下安装sqli-labs,在linux下运行就不会受到限制. 参考链接:https://www.jianshu.com/p/2ad3edf3c61f等等 开始,先安装完kail,第一件要做的事就是更新源,这里推荐阿里的源 网上有太多这方面的教程,更新源就不多说了. 然后安装docker:aqt-get install docker.io docker命令就能用了 之后:在这个…
根据博客总结 https://blog.csdn.net/nxw_tsp/article/details/78281533 需要的安装软件可以在网盘下载: 链接:https://pan.baidu.com/s/1BgtNERopcxUf7DwiultMnw 提取码:nvnv 一.安装Scala 下载地址:http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载,我选择的是Scala2.12.0版本.特别注意的是看帖子又的说S…
一,查看tomcat镜像 [root@icompany ~]# docker search tomcat INDEX NAME DESCRIPTION STARS OFFICIAL AUTOMATED docker.io docker.io/tomcat Apache Tomcat is an open source implementa... [OK] docker.io docker.io/dordoka/tomcat Ubuntu and Tomcat ba... [OK] docker.…
这是第二次安装,在第一次安装过程部分内容参考自如下: http://blog.sina.com.cn/s/blog_d840ff330102v4j0.html docker下oracle11g安装 http://blog.csdn.net/yangyinbo/article/details/6221220 HP-UX静默安装oracle11g过程 http://www.linuxidc.com/Linux/2012-03/56606p4.htm  CentOS 6.2 X64上64位Oracle…
1.安装jdk 2.安装scala 3.下载spark spark下载地址 3.1安装spark 将下载的文件解压到一个目录,注意目录不能有空格,比如说不能解压到C:\Program Files 作者解压到了这里, 将spark的bin路径添加到path中 cmd输入spark-shell,成功安装啦,有个报错是因为还没安装Hadoop, 4.安装hadoop 由于spark版本为spark-2.3.3-bin-hadoop2.7,我们选择下2.8.5版本的Hadoop hadoop下载地址 解…
因为用了.net core 所以想学习下使用docker: 项目中刚好要用到mysql数据库,所用用docker来安装一次,我使用的是5.6版本: 1.拉取官方镜像 docker pull mysql:5.6 2.在当前用户目录下新建一个目录 mkdir mysql 3.进入目录并且新建一个目录conf mkdir conf 4.创建一个临时的mysql容器并将目录映射到conf ; 在mysql目录下执行 docker run --rm --name mysqlTemp -it -v $PWD…
第一步.安装Influxdb 首先启动docker systemctl start docker 然后安装Influxdb(这里解释一下为啥用docker,因为官网下载的话需要FQ[fan-qiang],真悲催)注意切换root用户 [root@localhost admin]# docker pull influxdb Using default tag: latest Trying to pull repository docker.io/library/influxdb ... lates…
Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤. 1 安装scala 1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/ 1.2 解压到文件夹 tar -xzvf scala-.tgz 1.3 设置环境变量 sudo nano /etc/profile export SCALA_HOME=/home/liucc/software/spark/scala- export PATH=$PATH:…
(注:由于第一次安装操作失误,所以重新安装了,因此截图为第一次的截图,命令为第二次安装的命令) (注:图是本人安装所截图,本人安装参考网址:https://www.cnblogs.com/shaosks/p/9242536.html) 1.下载压缩包 命令:wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2.解压压缩包 命令:tar -xzvf scala-2.11.8.tgz 3.文件配置 环境配置如下:复制…
1.需要先安装Docker和Docker Compose,参考:https://www.cnblogs.com/hackyo/p/9280042.html 2.配置GitLab SSL(可跳过): mkdir -p /srv/gitlab/config/ssl && cd /srv/gitlab/config/ssl 然后将crt文件和key文件放入该目录下即可. 需要注意的是,这两个文件的文件名需要与下文中的docker-compose.yml文件中的hostname值一致,并且不能包含…
1.找到docker镜像 docker search gitlab 2.下载gitlab镜像 docker pull  gitlab/gitlab-ce/ 3.通常会将 GitLab 的配置 (etc) . 日志 (log) .数据 (data) 放到容器之外, 便于日后升级, 因此请先准备这三个目录. mkdir /usr/local/docker/gitlab/data mkdir /usr/local/docker/gitlab/detc mkdir /usr/local/docker/g…
1.Scala 官网下载scala安装包后解压,路径随意. 编辑/etc/bash_profile添加$SCALA_HOME并修改相应PATH 2.SSH无密码登陆 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-keygen表示生成秘钥:-t表示秘钥类型:-P用于提供密语:-f指定生成的秘钥文件.这个命令在”~/.ssh/“文件 结果显示: Generating public/private rsa key pair. Created director…
一 环境 VMware® Workstation 15 Pro centos7 (1810) docker19.03.1 二 进入centos7启动dcoker systemctl start docker 三 打开docker官方仓库,搜索elasticsearch以查看需要下载的版本,拉取镜像的时候,官方推荐要指定版本号,目前最新7.3.0 https://hub.docker.com 搜索elasticsearch后,点击tags查看版本更新列表,目前我下载7.3.0的,格式 :镜像名称:…
1.基础知识: docker pull centos   //从云上下载centos系统到本地服务器 docker images   //查看镜像docker rmi 镜像id   //删除镜像 docker ps -a   //查看容器docker inspect 容器id   //查看容器的详细信息docker rm 容器id   //删除容器 由镜像  生成   容器:docker run -it 镜像名 /bin/bashdocker run -it -v /data/software/…
Docker介绍 1.节约时间.快速部署和启动 2.节约成本 3.标准化应用发布 4.方便做持续继承 5作为集群中的轻量主机或节点 6.方便构建基于SOA或者微服务架构的系统 Docker中文文档 https://yeasy.gitbooks.io/docker_practice/content/ 官方中文文档 https://docs.docker-cn.com/ docker commands 命令说明 docker --version查看当前的版本 docker ps查看当前正在运行的容器…
启动Docker后,先看一下我们有哪些选择. 有官方的当然选择官方啦~ 下载: [root@localhost admin]# docker pull zookeeper Using default tag: latest Trying to pull repository docker.io/library/zookeeper ... latest: Pulling from docker.io/library/zookeeper 1ab2bdfe9778: Already exists 7a…
方法一: jps 查看Java 包 sudo apt-get install openjdk** sudo apt-get install scala 选择安装源然后 sudo wget 下载链接 sudo tar xf sprak*** cd sprk** sudo ./bin/pyspark  (不打sudo 会有error) 最终报错(重启后不再报错) 方法二: 解压 java jdk-8u**: sudo tar xf *** -C /opt/ 解压Scala :sudo tar xf…
一.安装CentOs容器 1.进入docker下载CentOs,这里我使用的CentOs6.8 docker pull centos:6.8 2.创建容器 sudo docker run --privileged --cap-add SYS_ADMIN -e container=docker -it --name lnmp -p 80:80 -p 3306:3306  -d -v /Users/qiao/www:/home/www  --restart=always centos:6.8 --p…
单节点安装 一. 环境说明 docker: 18.09.9-ce zookeeper: 3.5.6 二. 拉取 zookeeper 镜像 拉取镜像 docker pull zookeeper 默认是摘取最新版本 zookeeper:latest. 查看当前镜像 三. 准备工作 将它部署在 /usr/local/zookeeper 目录下: cd /usr/local && mkdir zookeeper && cd zookeeper 创建data目录,用于挂载容器中的数据…
1.获取nginx版本 docker中nginx版本信息:https://hub.docker.com/_/nginx?tab=tags&page=1&ordering=last_updated 2.拉取nginx docker pull nginx:1.16.1 nginx后面的:1.16.1表示具体版本,如果不指定,则默认拉取最新的latest 显示如下图,则表示安装成功 3.启动nginx 3.1查看nginx信息 3.2 错误启动示范:docker run --name nginx…
sudo yum update 更新系统环境 curl -sSL https://get.docker.com/ | sh 安装最新docker版本 systemctl start docker.service 启动DOCKERsystemctl enable docker.service 开机自启动DOCKERdocker version 查看docker版本docker info 查看DOCKER信息sudo service docker status 查看DOCKER状态 docker e…
docker run -d -p 3306:3306 -v /root/docker/mysql/conf/mysql.cnf:/etc/mysql/conf.d/mysql.cnf -v /root/docker/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=xE84Yy3dx77Q --restart unless-stopped --name mysql mysql:8.0.13 mysql.cnf: [client] port= def…
Docker安装参见:https://www.cnblogs.com/hackyo/p/9280042.html 安装Jenkins: docker run \ -u root \ --rm \ -d \ -p : \ -v jenkins-data:/var/jenkins_home \ -v /var/run/docker.sock:/var/run/docker.sock \ jenkinsci/blueocean 由于这里映射了8081端口,所以安装完成后访问:http://localh…
进入docker内部后,发现之前的vim命令用不了了,这个时候就需要重新安装vim,具体步骤如下: 更新源 apt-get update 安装vim apt-get install vim…
1 拉取mysql镜像,采用网易加速地址docker pull hub.c.163.com/library/mysql:5.7 2 重命名镜像名docker tag hub.c.163.com/library/mysql:5.7 mysql:5.7 3 创建容器且安装镜像 docker run --name mysql-main -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 4 通过命令进入mysql-main容器 docker exec -it mysq…
拉取mysql的镜像docker search mysqldocker pull mysql 通过镜像创建容器,这里先创建第一个容器作为master mysql-v /etc/mysql:/etc/mysql/conf.d 表示目录共享,目录提前创建好,第二个容器要目录不一样 docker run -d --name one_mysql -v /etc/mysql:/etc/mysql/conf.d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql…
一.查找mysql资源 docker search mysql 其实这步顶多是看看有哪些mysql资源,除非你自己commit过一个特定的版本,否则直接执行下一步 二.安装mysql docker pull mysql如果执行这一条命令,则默认下载docker资源库中最新版本 docker pull mysql::latest 如果这一下载很有目的性,比如我就下载mysql5.7 docker pull mysql:5.7 三.启动 其实熟悉mysql数据库的朋友都知道,mysql登录密码很蛋疼…