Linux下不同组件运行命令

Spark优化配置

1. 添加外包路径
   
   1.1 vim $SPARK_HOME/conf/spark-defaults.conf

   spark.executor.extraClassPath    file:///opt/bigdata/spark/jars/*
   spark.driver.extraClassPath      file:///opt/bigdata/spark/jars/*
   

   1.2 spark-submit时配置参数

    spark-submit \
     --conf spark.executor.extraClassPath=/opt/bigdata/spark/jars/* \
     --conf spark.driver.extraClassPath=/opt/bigdata/spark/jars/* \
   

2. spark-submit时的参数配置

   spark-submit \
   --master spark://120.77.95.81:7077 \
   --driver-memory 1g \
   --executor-memory 800M \
   --num-executors 1 \
   --executor-cores 1 \
   --total-executor-cores 1 \
   --class com.xx.test
   

Kafka+Scala的参数配置

1. auto.offset.reset值含义解释
   
   earliest
   
   当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
   
   latest
   
   当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
   
   none
   
   topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常

2. spark.streaming.kafka.maxRatePerPartition

每分区每秒拉取数据量

val sparkConf = new SparkConf().setAppName("TIA_ACCESS_LOG_KAFKA")
   .set("spark.streaming.kafka.maxRatePerPartition", cntPut)
   .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

Java脚本配置

1. 内存配置
   
   -Xms800m -Xmx800m -XX:PermSize=256m -XX:MaxPermSize=512m -XX:MaxNewSize=512m

2. 外部包配置
   
   -Djava.ext.dirs=/opt/bigdata/spark/jars/

3. 指定main类
   
   -cp QunkePro.jar com.xng.qunkepro.mongotohbase.userinfo.UserInfo

4. 将脚本绑定在某一个CPU上
   
   taskset -c 0 java -Xms1024m -Xmx1024m -XX:MaxNewSize=512m -cp Test.jar com.xx.test

Mongo命令

1. 使用config文件启动
   
   mongod --port 27010 --config /etc/mongodb_xng.conf --replSet rs 1>/dev/null 2>&1 &

Kafka命令

1. 后台启动kafka-server
   
   nohup kafka-server-start.sh /opt/bigdata/kafka/config/server.properties 1>/dev/null 2>&1 &
2. 查看kafka的所有topic
   
   kafka-topics.sh --list --zookeeper dev01:2181,dev02:2181,dev03:2181
3. 删除kafka的topic
   
   kafka-topics.sh --delete --zookeeper dev01:2181,dev02:2181,dev03:2181 --topic test
4. 创建topic
   
   kafka-topics.sh --create --zookeeper dev01:2181,dev02:2181,dev03:2181 --replication-factor 2 --partitions 3 --topic testjmx
5. 开启console-producer
   
   kafka-console-producer.sh --broker-list dev01:9092,dev02:9092,dev03:9092 --topic testjmx
6. 开启console-consumer
   
   kafka-console-consumer.sh --bootstrap-server dev01:9092,dev02:9092,dev03:9092 --from-beginning --topic testjmx