查看当前环境SQL参数的配置

spark.sql("SET -v")

key value
spark.sql.hive.version 1.2.1
spark.sql.sources.parallelPartitionDiscovery.threshold 32
spark.sql.hive.metastore.barrierPrefixes  
spark.sql.shuffle.partitions 200
spark.sql.hive.metastorePartitionPruning FALSE
spark.sql.broadcastTimeout 300
spark.sql.sources.bucketing.enabled TRUE
spark.sql.parquet.filterPushdown TRUE
spark.sql.statistics.fallBackToHdfs FALSE
spark.sql.adaptive.enabled FALSE
spark.sql.parquet.cacheMetadata TRUE
spark.sql.hive.metastore.sharedPrefixes com.mysql.jdbc
spark.sql.parquet.respectSummaryFiles FALSE
spark.sql.warehouse.dir hdfs:///user/spark/warehouse
spark.sql.orderByOrdinal TRUE
spark.sql.hive.convertMetastoreParquet TRUE
spark.sql.groupByOrdinal TRUE
spark.sql.hive.thriftServer.async TRUE
spark.sql.thriftserver.scheduler.pool <undefined>
spark.sql.orc.filterPushdown FALSE
spark.sql.adaptive.shuffle.targetPostShuffleInputSize 67108864b
spark.sql.sources.default parquet
spark.sql.parquet.compression.codec snappy
spark.sql.hive.metastore.version 1.2.1
spark.sql.sources.partitionDiscovery.enabled TRUE
spark.sql.crossJoin.enabled FALSE
spark.sql.parquet.writeLegacyFormat FALSE
spark.sql.hive.verifyPartitionPath FALSE
spark.sql.variable.substitute TRUE
spark.sql.thriftserver.ui.retainedStatements 200
spark.sql.hive.convertMetastoreParquet.mergeSchema FALSE
spark.sql.parquet.enableVectorizedReader TRUE
spark.sql.parquet.mergeSchema FALSE
spark.sql.parquet.binaryAsString FALSE
spark.sql.columnNameOfCorruptRecord _corrupt_record
spark.sql.files.maxPartitionBytes 134217728
spark.sql.streaming.checkpointLocation <undefined>
spark.sql.variable.substitute.depth 40
spark.sql.parquet.int96AsTimestamp TRUE
spark.sql.autoBroadcastJoinThreshold 10485760
spark.sql.pivotMaxValues 10000
spark.sql.sources.partitionColumnTypeInference.enabled TRUE
spark.sql.hive.metastore.jars builtin
spark.sql.thriftserver.ui.retainedSessions 200
spark.sql.sources.maxConcurrentWrites 1
spark.sql.parquet.output.committer.class org.apache.parquet.hadoop.ParquetOutputCommitter
												

Spark2 SQL configuration参数配置的更多相关文章

  1. [sql]mysql参数(配置)手册

    my-innodb-heavy-4G.cnf配置文件注解 [client] #客户端 port = 3306 #mysql客户端连接时的默认端口号 socket = /application/mysq ...

  2. 自制xml实现SQL动态参数配置

    此文章是基于 搭建SpringMVC+Spring+Hibernate平台 一. 准备工作 1. 点击此找到并下载 commons-digester3-3.2.jar 2. 点击此找到并下载 comm ...

  3. Hive命令行及参数配置

    1 . Hive  命令行 输入$HIVE_HOME/bin/hive –H 或者 –help 可以显示帮助选项: 说明: 1. -i 初始化 HQL 文件. 2. -e 从命令行执行指定的 HQL ...

  4. 教你如何利用分布式的思想处理集群的参数配置信息——spring的configurer妙用

    引言 最近LZ的技术博文数量直线下降,实在是非常抱歉,之前LZ曾信誓旦旦的说一定要把<深入理解计算机系统>写完,现在看来,LZ似乎是在打自己脸了.尽管LZ内心一直没放弃,但从现状来看,需要 ...

  5. IIS 7.5 高并发参数配置

    IIS 7.5 高并发参数配置 由于之前使用的是默认配置,服务器最多只能处理5000个同时请求,对于高并发请求,参照文档设置10万并发 1. 调整IIS 7应用程序池队列长度 由原来的默认1000改为 ...

  6. SQL SERVER 2008配置Database Mail –用SQL 数据库发邮件

    SQL SERVER 2008配置Database Mail –用SQL  数据库发邮件 https://blogs.msdn.microsoft.com/apgcdsd/2011/06/28/sql ...

  7. Sqlserver推荐参数配置及日志收缩问题

    最近不定期有项目反馈周期性的系统整体性能下降情况,经分析存在因数据库环境.参数配置不佳造成的.比如,sqlserver日志文件缺省按百分比增长,当日志文件已经比较大时,每次扩展时耗时较长,系统整体卡顿 ...

  8. Liferay中SQL打印参数

      XX\tomcat-7.0.42\webapps\ROOT\WEB-INF\classes\log4j.properties log4j.rootLogger=INFO, CONSOLE log4 ...

  9. 14.6.1 InnoDB Startup Configuration 启动配置

    14.6.1 InnoDB Startup Configuration 启动配置 首先描述关于InnoDB 配置设计数据库文件,日志文件,page size 和内存buffer 的配置. 推荐你定义数 ...

随机推荐

  1. win8.1的ie11无法打开127.0.0.1和本机IP访问

    解决方法:把ie11安全选项里的启动保护模式对勾去掉!

  2. perforce使用技巧

    如果用其他编辑器打开一个在perforce上的文件, 只需要在notepad++ (或者其他)上右键选择 然后到perforce的workspace里Ctrl + V 即可定位到该文件. 再使用Ctr ...

  3. 【matlab】命令行窗口一直不停的输出ans=1?

    ans= 1 matlab里面的ans是一个系统量,当m文件中出现非赋值性的计算时,matlab会把结果自动存入ans. 如果m文件中每一个计算都是赋值的,即所计算的结果都是保存在自己设定的变量中的, ...

  4. Python 面向对象详解

    Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的.本章节我们将详细介绍Python的面向对象编程. 如果你以前没有接触过面向对象的编程语言,那你 ...

  5. 利用opencv从USB摄像头获取图片

    由于opencv自带的VideoCapture函数直接从usb摄像头获取视频数据,所以用这个来作为实时的图像来源用于实体检测识别是很方便的. 1. 安装opencv 安装的步骤可以按照之前这个文章操作 ...

  6. 单例模式__new__

    单例模式,使用__new__ __new__是构造函数, __init__是初始化方法,先调用了__new__返回了实例,__init__给这个实例初始化绑定一些属性. class Singleton ...

  7. [Algorithm] Deferred Acceptance Algorithm

    约会配对问题 一.立即接受算法: 对于约会的配对,大家都去追自己最心仪的女生.而这个女生面对几位追求者,要立刻做个决定. 被拒绝的男生们调整一下心情,再去追求心中的 No. 2.以此类推. 这样做法有 ...

  8. 为什么React事件处理函数必须使用Function.bind()绑定this?

    最近在React官网学习Handling Events这一章时,有一处不是很明白.代码如下: class Toggle extends React.Component { constructor(pr ...

  9. Java单例模式的应用

    单例模式用于保证在程序的运行期间某个类有且仅有一个实例.其优势在于尽可能解决系统资源.通过修改构造方法的访问权限就可以实现单例模式. 代码如下: public class Emperor { priv ...

  10. Java -- 异常的捕获及处理 -- 范例 -- throw与throws的应用

    7.2.3 范例 -- throw与throws的应用 例:综合应用 Class : Math package limeThrowable._7_2_3; public class Math { pu ...