昨晚和同事一起看一个scala写的程序,程序都写完了,且在idea上debug运行是ok的.但我们不能调试的方式部署在客户机器上,于是打包吧.打包时,我们是采用把外部引入的五个包(spark-assembly-1.5.1-hadoop2.6.0.jar.commons-logging.jar.fastjson-1.2.10.jar.sqljdbc4.jar.log4j.jar)打包到我们的jar包中.好了,一切都好了...在java -jar demo.jar方式运行,以及把它拷贝到spark集…

使用Scala编写Spark程序求基站下移动用户停留时长TopN 1. 需求:根据手机基站日志计算停留时长的TopN 我们的手机之所以能够实现移动通信,是因为在全国各地有许许多多的基站,只要手机一开机,就会和附近的基站尝试建立连接,而每一次建立连接和断开连接都会被记录到移动运营商的基站服务器的日志中. 虽然我们不知道手机用户所在的具体位置,但是根据基站的位置就可以大致判断手机用户的所处的地理范围,然后商家就可以根据用户的位置信息来做一些推荐广告. 为了便于理解,我们简单模拟了基站上的一些移动用户…

import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import org.apache.spark.sql.DataFrame import org.apache.spark.sql.DataFrameReader import org.apache.spark.rdd.RDD object SparkStop { def main…

这篇分享一点个人AS开发java工程经验,虽然有时候还是得打开eclipse来运行java项目,但能用AS的时候还是尽量用AS,毕竟一个字,爽~ 废话不多说,进入正题. 一.开发Java工程 你有两种选择,新建一个Android项目或在一个原有Android项目上选择File-->New-->New Module,我个人喜欢第一种,先创建一个单独的Android项目,就叫JavaDemo吧(个人觉得之后再用到这个项目比较好找,编写java相关的测试代码都直接在该项目中),项目新建ok后,继续第…

方案一 在jar包同级,写个bat文件,如下 java -jar Xxx.jar pause 方案二 右击jar文件 ->打开方式->选择安装的jre/bin/javaw.exe. 双击依然不行,因为双击相当于执行cmd命令 javaw Xxx.jar. 修改注册表HKEY_CLASSES_ROOT\Applications\javaw.exe\shell\open\command,添加参数 -jar如下. 补充:关于javaw的介绍,官网给出的是: The javaw command is…

写了一个java Project,在eclipse里运行的时候不会出现乱码,但是用jar包运行的时候,出现了中文乱码. 我将它包装成了一个文件,这样就在没有jre的机器上也可以运行了.start.bat里面是.\jre\bin\java -jar .\WriteToExcel5.jar.但输出中文乱码. 将start.bat改为.\jre\bin\java -Dfile.encoding=utf-8 -jar .\WriteToExcel5.jar,问题就可以轻松解决. 初步判断,应该是jar包…

springboot项目jar包运行 参考 Linux后台运行java的jar包 步骤 进入maven项目中,打包项目. mvn package -Dmaven.test.skip=true 运行jar.java -jar upload-01-0.0.1-SNAPSHOT.jar 停止jar. windows中运行springboot的项目jar包 运行 方法一:java -jar upload-01-0.0.1-SNAPSHOT.jar 前台运行,关闭命令行窗口,进程终止. 方法二:双击jar…

上篇阐述了Spring Boot war部署项目,本篇阐述另一种运行方式:jar包运行. 一.打jar包 1.修改pom.xml配置 2.执行package(对于module执行package之前需要执行root项目的install,否则package执行失败) 3.执行完成之后,在默认的target目录或者指定目录会生成一个rpc_provider的jar 二.执行jar java -jar rpc_provider.jar 具体可参考https://www.cnblogs.com/ilove…

1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚拟机的网络设置为NAT模式,这样安装好后的3台虚拟机的IP是挨着的,不然还要修改IP,以达到便于配置集群的目的! NAT模式可以在断网的情况下连接上虚拟机而桥架模式不行! 2.安装JDK 参考我的博客:https://www.cnblogs.com/yszd/p/10140327.html 3.运行…

1.创建scala maven项目 选择骨架的时候为org.scala-tools.archetypes:scala-aechetype-simple 1.2 2.导入包,进入spark官网Documentation选择第二个-选择自己的spark版本-选择programming guides-选择第二个-查看spark版本对应的依赖的版本 将pom中的内容为: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs…