前言 在安装后hadoop之后,接下来需要安装的就是Spark. scala-2.11.7下载与安装 具体步骤参见上一篇博文 Spark下载 为了方便,我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0 wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz Spark安装之前的准备 文件的解压与改名 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

1.解压安装spark tar zxf spark-2.1.O-bin-2.6.0-CDH5.10.0.tgz 2.修改配置文件 vim /etc/profile export SPARK_HOME=/opt/spark/spark-2.1.O export PATH=$PATH:$SPARK_HOME/bin source /etc/profile 3.spark配置 cd /opt/spark/spark-2.1.O/conf mv spark-env.sh.template spark-e

1.ES是如何实现分布式高并发全文检索 2.简单介绍ES分片Shards分片技术 3.为什么ES主分片对应的备分片不在同一台节点存放 4.索引的主分片定义好后为什么不能做修改 5.ES如何实现高可用容错方案 6.搭建Linux上环境三台ES高可用集群环境 7.基于ES网盘搜索引擎实现 网盘搜索引擎,写个Job 去网上爬虫 存储起来  以JSON的格式 存放在 ES服务器 网盘搜索引擎的原理: 采用ES存储抓取的数据 抓取服务器 测试数据: ##先创建索引 PUT /clouddisk ##测试数

安装 dpkg -i netease-cloud-music_1.0.0_amd64.kali2.0(yagami).deb apt-get -f install dpkg -i netease-cloud-music_1.0.0_amd64.kali2.0(yagami).deb root 运行 网易云音乐 vim /usr/share/applications/netease-cloud-music.desktop 修改Exec=netease-cloud-music %U 为Exec=ne

1.安装网盘 选择一个国内有名的网盘存储,例如金山网盘.360云盘等,注册账户会默认赠送几G的使用空间,然后下载其对应的网盘客户端管理软件(也可以使用浏览器方式),使用账号登录,就可以上传.管理文件等.如下图所示: 2.建立SVN Reporsitory 基于网盘创建svn reporsitory ,在网盘中创建目录,例如“svn”目录,进入该目录后使用TortoiseSVN工具创建仓库(reporsitory) 创建成功后,会在”svn”目录中生成有关的SVN仓库的管理文件,此时SVN服务已经

0. 安装网易云音乐 yay -S netease-cloud-music 1.先安装qcef这个软件包. sudo yay -S qcef 2.编辑/opt/netease/netease-cloud-music/netease-cloud-music.bash,把它改成这样: #!/bin/sh HERE="$(dirname "$(readlink -f "${0}")")" #export LD_LIBRARY_PATH="${

Syncthing – 数据同步利器---自己的网盘,详细安装配置指南,内网使用,发现服务器配置 原贴:https://www.cnblogs.com/jackadam/p/8568833.html 目录 简介: 一:官网及下载 二:在linux下进行安装 1.下载 2.配置 3.运行 4.测试 二:在Docker中安装 1.下载 2.运行 3.测试 三:在windows中安装 1.下载 2.运行 3.配置 四:基本配置 1.配置简介 2.配置中文. 3.配置WEB安全 4.配置设备名称 五:添

软件需要.net2.0支持 win7及以上版本用户无需安装 xp用户需要安装 支持网盘:好盘 坚果云 百度云 乐视云 华为网盘 微云 新浪网盘 126disk 速度盘 乐齐盘 天空网盘 千脑网盘 可乐网盘 360云 金蝶网盘 千军万马 齐骤网盘 酷盘 可乐云ColeFile网盘 下载地址:http://files.cnblogs.com/files/stulzq/%E7%BD%91%E7%9B%98%E7%9B%B4%E9%93%BE%E5%B7%A5%E5%85%B7.zip

目录 ubuntu服务器 安装 seafile 个人网盘 一.实验环境: 二.实验流程介绍 三.网盘搭建 1.安装依赖环境 2.安装seafile 三.配置QQ域名邮箱 四.配置seafile邮件服务 QQ授权码设置 配置发送邮件提醒 五.总结 ubuntu服务器 安装 seafile 个人网盘 主要参考教程: 腾讯云基于 Ubuntu 搭建个人网盘 seafile用户论坛 Seafile服务器手册中文版 google搜索 一.实验环境: 腾讯云学生机64位ubuntu16.04 腾讯云已备案解

Seafile是一个开源.专业.可靠的云存储平台:解决文件集中存储.共享和跨平台访问等问题,由北京海文互知网络有限公司开发,发布于2012年10月:除了一般网盘所提供的云存储以及共享功能外,Seafile还提供消息通信.群组讨论等辅助功能,帮助更好的围绕文件展开协同工作 ###本文所需所有包均可到百度网盘下载, 链接:https://pan.baidu.com/s/1KW82e_jtVaOgqQtzA5hjXw 提取码:3v8b 官方文档连接 #安装mysql 具体查看本人另一篇博文  Cent

编译安装Nginx和php搭建KodExplorer网盘 环境说明: 系统版本    CentOS 6.9 x86_64         软件版本    nginx-1.12.2        php-5.5.38        kodexplorer4.25 1.nginx的编译安装可以参照前面的博文,这里不再赘述 2.编译安装php 2.1 下载并安装相关编译器 mkdir -p /service/tools     #创建目录   cd /service/tools/   wget htt

编译安装Apache httpd和php搭建KodExplorer网盘 环境说明: 系统版本    CentOS 6.9 x86_64 软件版本    httpd-2.2.31        php-5.5.26        kodexplorer4.25 1.创建规范目录 [root@Web01 ~]# mkdir -p /service/tools     #放软件包   [root@Web01 ~]# mkdir /application      #软件安装目录   2.编译安装htt

现在个人资料越来越重要,网络速度也已经满足日常需要,网盘已经是生活着存取个人数据不可缺少的工具. 下面在linxu centos7下面安装owncloud搭建自己私人网盘: 1.新建一个账号用来安装个人网盘, useradd owncloud passwd owncloud 设置好密码,切换到owncloud账号 2.下载yum配置,参考注意1 wget http://mirror.centos.org/centos/7/os/x86_64/Packages/centos-release-7-6

在Ubuntu18.04.2LTS上使用wine安装qq,微信,迅雷,百度网盘,网易云音乐等软件 一.前言 在Linux上办公有一点一直是大家的痛,那就是这些系统上没有我们常用的一些软件,比如QQ,微信,百度网盘等等,这些不方便导致我们往往要打开两台电脑来进行办公,好在总有一些人意识到了这些问题,在Linux上使用一种虚拟的环境wine来虚拟出我们想使用的常用软件,下面我们来看看这些软件怎么安装和使用. 二.环境布置 2.1 安装git sudo apt-get install git 2.2

尽力2~3周发布一个版本,我这次也没有失言.这段时间内,我仿照QQ的微云功能,在GG中增加了网盘的功能,而且,我还自创了一个QQ没有的新的功能:远程磁盘.正如远程桌面一样,远程磁盘允许我们像访问本地磁盘一样来访问在线的其它用户的磁盘. 一.GG V2.0 新增功能展现 (1)网盘:在服务端为每个用户分配一个网盘,用户通过客户端可以访问自己的网盘.就像QQ的微云一样. (2)远程磁盘:任何一个在线用户,都可以访问其它在线用户的磁盘(先要经过对方的同意). (3)无论是网盘.还是远程磁盘,都支持:上

一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文:http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 2.1 文件名称 spark-2.1.0-bin-hadoop2.7.tgz 2.2 下载地址 http://spa

网盘系统2.0   上周,我做了第一版的“私人网盘系统”,http://www.cnblogs.com/sunlizheng/p/7822036.html 没看过的朋友可以去看一下,这周在家升级做了第二版,算是升级版,相比较第一版增加了图片上传功能,以及美观度的改变,和一些小bug的修复,也感谢上次有几个朋友在评论里留言提的意见,也欢迎朋友们,对这次的更新提出宝贵的意见,下次继续更新~~~废话不多说来吧~~~ 末尾附仓库地址~     登录页面   上周因为第一版偷懒直接用以前用bootstra

一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 2.1 文件名称 spark-2.2.0-bin-hadoop2.7.tgz 2.2 下载地址 http://spark.apache.org/downloads.html 三.工具准备 3.1 Xshell 一个强大的安全终端模拟软件

hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装 一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文:http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 spark-2.

原文地址:https://blog.csdn.net/wudi1107/article/details/80728891 安装使用aria2下载百度网盘内容 目前在Linux中没有好用的百度网盘客户端,使用aira2下载十分方便,直接可以通过插件在浏览器中下载,免去了单独安装客户端的麻烦. 1.aria2简介  aria2 本是命令行下的一个多线程下载工具,属于后端,通过在浏览器中安装插件,将百度网盘中的下载地址导出到aria2中下载,具体有以下优点: • 多线程下载.aria2可以从通过多种协