Spark2 文件处理和jar包执行
上传数据文件
mkdir -p data/ml/
hadoop fs -mkdir -p /datafile/wangxiao/
hadoop fs -ls /
hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/
hadoop fs -ls -R /datafile
hdfs://ns1/datafile/wangxiao/Affairs.txt
执行jar包
mkdir -p jar/
$SPARK_HOME/bin/spark-submit \
--class "ML2" \
--master local[2] \
/home/wangxiao/jar/test.jar
下载数据文件到本地
hadoop fs -get /datafile/wangxiao/Affairs.txt /home/wangxiao/data/ml/
删除HDFS上的文件
hadoop fs -rm -r -f /datafile/wangxiao/data*
hadoop fs -cat /user/wangxiao/bfeed.txt 输出文本内容
hadoop fs –mkdir //user/wangxiao/dir/ 在指定位置创建目录。
hadoop fs -du -h /user/wangxiao/ 统计目录下文件大小
hadoop fs -count -q /user/wangxiao/ 统计文件(夹)数量
命名空间的quota(限制文件数) | 剩余的命名空间quota | 物理空间的quota (限制空间占用大小) | 剩余的物理空间 | 目录数统计 | 文件数统计 | 目录逻辑空间总大小 | 路径 |
逻辑空间,即分布式文件系统上真正的文件大小
物理空间,即存在分布式文件系统上该文件实际占用的空间
分布式文件系统为了保证文件的可靠性,往往会保存多个备份(一般是3份),
只要备份数不为1的情况下,一般物理空间会是逻辑空间的几倍。
HDFS物理空间=逻辑空间*block备份数
Spark2 文件处理和jar包执行的更多相关文章
- Java通过class文件得到所在jar包
今天遇到一个问题,需要通过知道的class文件得到该文件所在的jar包,试过很多办法都不行,最后在网上找到了一个解决办法,如下: demo.java 1 2 String path = XXX.cla ...
- Dubbo_创建Dubbo服务并在ZooKeeper注册,然后通过Jar包执行
一.安装ZooKeeper(略) 二.创建Dubbo服务 1.DemoService 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 ...
- 将项目打成jar包执行 在liunx上执行 java -xx.jar
一:普通maven java项目 项目目录 pom.xml <?xml version="1.0" encoding="UTF-8"?> <p ...
- idea的maven项目不知道为啥下载不下来jar包,看本地仓库只是下载了一下xml文件,没有jar包问题
确认了私服上的jar包能直接下载下来,而且jar包是正常的:但是就是不能通过idea下载,通过idea下载到本地仓库的只生成了.lastUpdated文件,检查了setting.xml文件.网络,私服 ...
- 【jar】JDK将单个的java文件打包为jar包,并引用到项目中使用【MD5加密】
==================================================================================================== ...
- 如何在maven项目的pom.xml文件中添加jar包
在使用maven进行项目开发时,我们需要在pom.xml文件中添加自己所需要的jar包.这就要求我们获取jar包的groupId和artifactId. 我们可以在一些maven仓库上搜索我们所需要的 ...
- NetBeans IDE 7.4 Beta版本build JavaFX时生成的可执行jar包执行时找不到依赖的jar包
现象,执行时抛出java.lang.ClassNotFoundException异常: Executing E:\secondegg\secondegg-reversi\dist\run8022211 ...
- jar包执行报ClassNotFoundException
使用Eclipse打包jar包,指定了main class. java -jar mongoCluster.jar 但是运行的时候报ClassNotFoundException NoClassDefF ...
- mk文件配置第三方jar包,so文件
#-------------------------配置jar包--------------------- LOCAL_STATIC_JAVA_LIBRARIES := \ libphonenumbe ...
随机推荐
- windows下redis启动失败提示maxheap flag
windows下redis启动失败 D:\redis>redis-server.exe redis.conf [] Oct ::39.789 # The Windows version of R ...
- BarTender软件中GS1-128条码如何制作?
GS1-128条码是UCC/EAN-128条码的新名字,它只是Code 128的一个特殊子集.GS1-128条码是EAN·UCC系统中唯一可用于表示附加信息的条码,可广泛用于非零售贸易项目.物流单元. ...
- BarTender出现3702错误怎么办
很多时候,在我们不经意间,BarTender条码打印软件就会弹出各种错误消息,其实都是一些常见的小问题,是我们操作不当引起的,本文,小编就给大家来讲解BarTender错误消息3702的解决办法. 错 ...
- 【转】Redis集群搭建与简单使用
介绍安装环境与版本 用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master.3 salve 环境. redis 采用 redis-3.2.4 版本. 两台虚拟机都是 CentOS ,一台 ...
- Spring父容器与子容器
在使用spring+springMVC的web工程中,我们一般会在web.xml中做如下配置: <context-param> <param-name>contextConfi ...
- 如何在O(n)的时间复杂度内找出数组中出现次数超过了一半的数
方法一:每次取出两个不同的数,剩下的数字中重复出现次数超过一半的数字肯定,将规模缩小化.如果每次删除两个不同的数,这里当然不是真的把它们踢出数组,而是对于候选数来说,出现次数减一,对于其他数来说,循环 ...
- spray json, jackson 转到type时多key和少key的比较
有组合关系的三个class定义 A { B { C {...} ... } ... } 每个class都有loadFromJson和writeAsJson方法.过去几年,三个class里的成员变量一直 ...
- JavaScript之with语句
with 语句的作用是将代码的作用域设置到一个特定的对象中. with可以简化多次写同一个对象的工作, 示例: var o={name:'a',age:25,sex:'male'} var na=o. ...
- TCP三次握手和四次挥手原理
- Linux设备驱动剖析之SPI(一)
写在前面 初次接触SPI是因为几年前玩单片机的时候,由于普通的51单片机没有SPI控制器,所以只好用IO口去模拟.最近一次接触SPI是大三时参加的校内选拔赛,当时需要用2440去控制nrf24L01, ...