Spark2 SQL configuration参数配置
查看当前环境SQL参数的配置
spark.sql("SET -v")
| key | value |
| spark.sql.hive.version | 1.2.1 |
| spark.sql.sources.parallelPartitionDiscovery.threshold | 32 |
| spark.sql.hive.metastore.barrierPrefixes | |
| spark.sql.shuffle.partitions | 200 |
| spark.sql.hive.metastorePartitionPruning | FALSE |
| spark.sql.broadcastTimeout | 300 |
| spark.sql.sources.bucketing.enabled | TRUE |
| spark.sql.parquet.filterPushdown | TRUE |
| spark.sql.statistics.fallBackToHdfs | FALSE |
| spark.sql.adaptive.enabled | FALSE |
| spark.sql.parquet.cacheMetadata | TRUE |
| spark.sql.hive.metastore.sharedPrefixes | com.mysql.jdbc |
| spark.sql.parquet.respectSummaryFiles | FALSE |
| spark.sql.warehouse.dir | hdfs:///user/spark/warehouse |
| spark.sql.orderByOrdinal | TRUE |
| spark.sql.hive.convertMetastoreParquet | TRUE |
| spark.sql.groupByOrdinal | TRUE |
| spark.sql.hive.thriftServer.async | TRUE |
| spark.sql.thriftserver.scheduler.pool | <undefined> |
| spark.sql.orc.filterPushdown | FALSE |
| spark.sql.adaptive.shuffle.targetPostShuffleInputSize | 67108864b |
| spark.sql.sources.default | parquet |
| spark.sql.parquet.compression.codec | snappy |
| spark.sql.hive.metastore.version | 1.2.1 |
| spark.sql.sources.partitionDiscovery.enabled | TRUE |
| spark.sql.crossJoin.enabled | FALSE |
| spark.sql.parquet.writeLegacyFormat | FALSE |
| spark.sql.hive.verifyPartitionPath | FALSE |
| spark.sql.variable.substitute | TRUE |
| spark.sql.thriftserver.ui.retainedStatements | 200 |
| spark.sql.hive.convertMetastoreParquet.mergeSchema | FALSE |
| spark.sql.parquet.enableVectorizedReader | TRUE |
| spark.sql.parquet.mergeSchema | FALSE |
| spark.sql.parquet.binaryAsString | FALSE |
| spark.sql.columnNameOfCorruptRecord | _corrupt_record |
| spark.sql.files.maxPartitionBytes | 134217728 |
| spark.sql.streaming.checkpointLocation | <undefined> |
| spark.sql.variable.substitute.depth | 40 |
| spark.sql.parquet.int96AsTimestamp | TRUE |
| spark.sql.autoBroadcastJoinThreshold | 10485760 |
| spark.sql.pivotMaxValues | 10000 |
| spark.sql.sources.partitionColumnTypeInference.enabled | TRUE |
| spark.sql.hive.metastore.jars | builtin |
| spark.sql.thriftserver.ui.retainedSessions | 200 |
| spark.sql.sources.maxConcurrentWrites | 1 |
| spark.sql.parquet.output.committer.class | org.apache.parquet.hadoop.ParquetOutputCommitter |
Spark2 SQL configuration参数配置的更多相关文章
- [sql]mysql参数(配置)手册
my-innodb-heavy-4G.cnf配置文件注解 [client] #客户端 port = 3306 #mysql客户端连接时的默认端口号 socket = /application/mysq ...
- 自制xml实现SQL动态参数配置
此文章是基于 搭建SpringMVC+Spring+Hibernate平台 一. 准备工作 1. 点击此找到并下载 commons-digester3-3.2.jar 2. 点击此找到并下载 comm ...
- Hive命令行及参数配置
1 . Hive 命令行 输入$HIVE_HOME/bin/hive –H 或者 –help 可以显示帮助选项: 说明: 1. -i 初始化 HQL 文件. 2. -e 从命令行执行指定的 HQL ...
- 教你如何利用分布式的思想处理集群的参数配置信息——spring的configurer妙用
引言 最近LZ的技术博文数量直线下降,实在是非常抱歉,之前LZ曾信誓旦旦的说一定要把<深入理解计算机系统>写完,现在看来,LZ似乎是在打自己脸了.尽管LZ内心一直没放弃,但从现状来看,需要 ...
- IIS 7.5 高并发参数配置
IIS 7.5 高并发参数配置 由于之前使用的是默认配置,服务器最多只能处理5000个同时请求,对于高并发请求,参照文档设置10万并发 1. 调整IIS 7应用程序池队列长度 由原来的默认1000改为 ...
- SQL SERVER 2008配置Database Mail –用SQL 数据库发邮件
SQL SERVER 2008配置Database Mail –用SQL 数据库发邮件 https://blogs.msdn.microsoft.com/apgcdsd/2011/06/28/sql ...
- Sqlserver推荐参数配置及日志收缩问题
最近不定期有项目反馈周期性的系统整体性能下降情况,经分析存在因数据库环境.参数配置不佳造成的.比如,sqlserver日志文件缺省按百分比增长,当日志文件已经比较大时,每次扩展时耗时较长,系统整体卡顿 ...
- Liferay中SQL打印参数
XX\tomcat-7.0.42\webapps\ROOT\WEB-INF\classes\log4j.properties log4j.rootLogger=INFO, CONSOLE log4 ...
- 14.6.1 InnoDB Startup Configuration 启动配置
14.6.1 InnoDB Startup Configuration 启动配置 首先描述关于InnoDB 配置设计数据库文件,日志文件,page size 和内存buffer 的配置. 推荐你定义数 ...
随机推荐
- jsch下载文件的两个注意点
1.关于sftp文件上传和下载的网上很多code,此处就不多写了.主要记录下工作中遇到的两个问题需要多注意. 1.判断sftp远程文件是否存在,通过异常捕获来判断该文件是否存在,存在返回SftpATT ...
- python中如何将字符串连接在一起,多倍的字符串如何输出
说明: 在python中,如果有多个字符串,想要连接在一起,或者说想要拼接在一起该如何操作,在此记录下. 操作过程: 1.通过 + 这个加号操作符,将字符串拼接在一起 >>> &qu ...
- golang 内存分析/动态追踪
如果你的go程序是用http包启动的web服务器,你想查看自己的web服务器的状态.这个时候就可以选择net/http/pprof.你只需要引入包_"net/http/pprof" ...
- 使用editorconfig配置你的编辑器
摘要: 在团队开发中,统一的代码格式是必要的.但是不同开发人员使用的编辑工具可能不同,这样就造成代码的differ.今天给大家分享一个很好的方法来使不同的编辑器保持一样的风格. 不同的编辑器也有设置代 ...
- Gulp--Less
摘要: 前面分享了一些less的是用方法,包括在grunt中,今天在分享下使用gulp来编译less文件.首先需要安装gulp,如何安装请看文章. 安装插件: gulp编译less使用了gulp-le ...
- Java查看内部类信息
Java中支持在类的内部定义类,这种类成为内部类.内部类有些像Java中的方法,可以使用访问权限限定符修饰,可以使用static修饰等.编写程序,利用Java的反射机制来查看内部类的信息. 思路分析: ...
- 在Linux上安装jdk,mysql,tomcat的准备工作
准备工作: 因为JDK,TOMCAT,MYSQL的安装过程中需要从网上下载部分支持包才可以继续,所以要提前安装下载好下面四个依赖 yum install glibc.i686 yum -y insta ...
- ios开发之--NSDictionary和NSData之间的互转/NSString和NSData之间的互转
NSDictionary转NSData,代码如下: +(NSData*)returnDataWith:(NSDictionary*)dict { NSData *data = [NSJSONSeria ...
- PowerDesigner导出word,PowerDesigner把表导出到word,PDM导出word文档
PowerDesigner导出word,PowerDesigner把表导出到word,PDM导出word文档 >>>>>>>>>>>& ...
- DokuWiki 开源wiki引擎程序
DokuWiki是一个开源wiki引擎程序,运行于PHP环境下.DokuWiki程序小巧而功能强大.灵活,适合中小团队和个人网站知识库的管理. 官网:https://www.dokuwiki.org/ ...