运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决 在Idea中,直接运行ComprehensiveExample.scala,报需要指定master异常. 修改源码:指定master为local模式, val spark = SparkSession .builder .appName(s"${this.getClass.getSimpleName}").master("local[2]") .getOrCreat…
一.情况描述 使用idea +scala+spark,运行程序代码如下: package cn.idcast.hello import org.apache.spark.rdd.RDD import org.apache.spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext /** * Author itcast * Desc 演示Spark入门案例-WordCount */ object Wor…
现象如下图, 代码里有汉字,执行代码报错,说编码格式不对, 修改方式如上面,将右下角的编码格式修改成 u8即可.…
Mysql workbench 导入csv can't analyze file 原因: workbench 识别csv第一行作为column名,column名不能为中文,所以报错.解决方法:csv第一行改为英文列名,再进行导入.  …
描述: 这几天在windows环境上,部署了vagrant,在启动虚拟机的时候报错: [c:\~]$ vagrant upBringing machine 'default' up with 'virtualbox' provider...==> default: Importing base box 'centos'...==> default: Matching MAC address for NAT networking...==> default: Setting the nam…
MySQL报错:The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement等问题 1.登录的mysql:mysql –u root –p mysql> set global read_only=0;(关掉新主库的只读属性) flush privileges; 2.修改mysql配置文件my.cnf,该文件在/etc目录下 重启mysql服务:service…
文件语言编码和系统冲突导致的错误,设置svn目录下hooks/post-commit加上: export LANG=zh_CN.GB2312 或者: export LANG=zh_CN.UTF-8…
FROM: http://j-q-j.org/scala/scala-2-11-application-error.html 这两天学习scala,官网下载的最新版本2.11,书用的是<Programming in scala>,看到类和对象,这一章最后一段代码 1 2 3 4 5 import ChecksumAccumulator.calculate object FallWinterSpringSummer extends Application {   for (season <…
scala 1.   scala的由来 scala是一门多范式的编程语言,一种类似java的编程语言[2] ,设计初衷是要集成面向对象编程和函数式编程的各种特性. java和c++的进化速度已经大不如从前,那么乐于使用更现代的语言特性的程序员们正在将眼光移向他处.scala是一个很有吸引力的选择:事实上,在我看来,对于想要突破和超越java或者c++的程序员而言,scala是最具吸引力的一个.scala的语法十分简洁,相比java的样板代码,scala让人耳目一新.scala运行于java虚拟机…
主要内容 Intellij IDEA开发环境简介 Intellij IDEA Scala开发环境搭建 Intellij IDEA常见问题及解决方案 Intellij IDEA常用快捷键 1. Intellij IDEA开发环境简介 具体介绍请参见:http://baike.baidu.com/link?url=SBY93H3SPkmcmIOmZ8H60O1k4iVLgOmdqoKdGp9xHtU-Pbdsq2cpn75ZPZPWAJxeUlwr0ravraQzOckh777beq Intelli…
idea编译scala报错 解决办法: File->setting->scala compile server  (找到jdk填上 ok)…
刚接触Scala时就很奇怪, 为什么Java已经有null了,却偏偏还要弄出个None 后来依然我行我素在Scala里使用null, 结果就是经常被NullPointerException折磨得阴魂不散...于是终于领悟. WHY? 举个例子: 假设有一个简单的对象A, A类里有2个Int属性, a和b case class A(val a : Int, val b : Int) 然后有这么一个map val map1 = Map(1 -> A(111, 1111), 2 -> A(222,…
前情提要: scala函数式编程(二) scala基础语法介绍 scala函数式编程(二) scala基础语法介绍 前面已经稍微介绍了scala的常用语法以及面向对象的一些简要知识,这次是补充上一章的,主要会介绍集合和函数. 注意噢,函数和方法是不一样的,方法是在类里面定义的,函数是可以单独存在的(严格来说,在scala内部,每个函数都是一个类) 一.scala集合介绍 还记得上一章介绍的object的apply方法吗,很多数据结构其实都用到了它,从而让我们可以直接用List(...)这样来新建…
报错背景: CDH集成kafka插件之后,启动kafka时就报出此错误. 报错现象: -- ::, ERROR state.change.logger: [Controller epoch=] Initiated state change from OfflinePartition to OnlinePartition failed kafka.common.NoReplicaOnlineException: No replica in ISR for partition __consumer_…
报错背景: CDH中集成kafka的服务,解决完kafka的jar包报错之后重启,发现这个报错. 报错现象: java.lang.VerifyError: Instruction type does not match stack map Exception Details: Location: org/eclipse/jetty/servlet/ServletHandler.doStart()V @: putfield Reason: Type ]) is not assignable to…
报错背景: CDH启动kafka的时候出现报错情况,并且报错的节点挂掉. 报错现象: Exiting Kafka due to fatal exception java.lang.AbstractMethodError: nl.techop.kafka.KafkaHttpMetricsReporter.logger()Lcom/typesafe/scalalogging/Logger; at kafka.utils.Logging$class.) at ) at ) at kafka.metri…
报错背景: CDH中安装完成kafka的组件后不能成功启动,发现UI界面中的broker.id和服务器中的broker.id不一致, 因此更改了服务器中broker.id 但是更改完成之后还是报错. 报错现象: Fatal error during KafkaServer startup. Prepare to shutdown kafka.common.InconsistentBrokerIdException: Configured broker. doesn't match stored…
===================== Scala语言的高级特性 ========================一.Scala的集合 1.可变集合mutable 不可变集合immutable //不可变集合 val math = scala.collection.immutable.Map("Alice"->80,"Bob"->90) //可变集合 val chinese = scala.collection.mutable.Map("A…
tomcat7 jdk7myeclipse2014 部署完成后,访问页面报错struts.xml文件内容: <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.1.7//EN" "http://struts.apache.org…
最近突然对spark的spark-shell发生了兴趣 它是如何启动scala的REPL的,并且在此前写入了常用的环境变量的呢? 通过查看spark的源码,找到了SparkILoop.scala import scala.tools.nsc.interpreter.{JPrintWriter, ILoop} /** * A Spark-specific interactive shell. */ class SparkILoop(in0: Option[BufferedReader], out:…
项目当中用到cookie保存中文,但是会报如下错误: Control character in cookie value, consider BASE64 encoding your value 大概意思是保存到cookie当中的值存在控制字符,无法保存.但实际上数据是不存在这种问题的.再看后面的那句话,好像是将要保存的值进行了base64编码,可能是因为中文在编码时出现乱码导致一些控制字符的出现.看来setCookie方法不支持保存中文(GBK)编码的样子. 解决方案:将要保存的值进行URLE…
尽管Scala还有一些基于语言特性的设计模式,单本文还是着重于介绍大家所周知的经典设计模式,因为这些设计模式被认为是开发者之间交流的工具. 创建型设计模式 1.工厂方法模式 2.延迟加载模式 3.单例模式 结构型模式 1.适配器模式 2.装饰模式 行为型 1.值对象模式 2.空值模式 3.策略模式 4.命令模式 5.责任链模式 6.依赖注入模式 一.工厂方法模式 工厂方法模式将对实际类的初始化封装在一个方法中,让子类来决定初始化哪个类. 工厂方法允许: 1.组合复杂的对象创建代码 2.选择需要初…
报错现象: Exception in thread "main" java.lang.NoClassDefFoundError: Lorg/apache/hadoop/fs/FileSystem; at java.lang.Class.getDeclaredFields0(Native Method) at java.lang.Class.privateGetDeclaredFields(Class.java:2583) at java.lang.Class.getDeclaredFi…
1.创建多行字符串,只要把多行字符串放在3个双引号间("""...""")即可.这是Scala对于here document,或者叫heredoc的支持.这里我们创建一个三行长的字符串: MultiLine.scala val str = """Hello world! How are you! Good morning!""" println(str) 输出如下: Hello worl…
前言 Scala是以JVM为运行环境的面向对象的函数式编程语言,它可以直接访问Java类库并且与Java框架进行交互操作.正如之前所介绍,Spark是用Scala语言编写的,Kafka server端也是,那么深入学习Scala对掌握Spark.Kafka是必备掌握技能. 本篇文章主要介绍,在学习.编写Spark程序时,至少要掌握的Scala语法,多以示例说明.建议在用Scala编写相关功能实现时,边学习.边应用.边摸索以加深对Scala的理解和应用. 1. 变量.表达式.循环.Option.方…
原文网址:http://www.crifan.com/python_head_meaning_for_usr_bin_python_coding_utf-8/ #!/usr/bin/python 是用来说明脚本语言是python的 是要用/usr/bin下面的程序(工具)python,这个解释器,来解释python脚本,来运行python脚本的. # -*- coding: utf-8 -*- 是用来指定文件编码为utf-8的 详情可以参考: PEP 0263 — Defining Python…
基本使用参考 https://www.yiibai.com/postgresql/postgresql-insert.html 关于编码问题: 这是一个很复杂,但弄懂之后还是很迷的问题. postgresql数据库编码问题主要体现在三个方面: 一.数据库服务器字符集编码 数据库服务器支持某种编码,是指数据库服务器能够从客户端接收.存储以及向客户端提供该种编码的字符,并能将该种编码的字符转换到其它编码.查看PostgreSQL数据库服务器端编码:postgres=# show server_enc…
Spark将DataFrame进行一些列处理后,需要将之写入mysql,下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件,这样方便后续的配置添加. //配置文件示例: [hdfs@iptve2e03 tmp_lillcol]$ cat job.properties #mysql数据库配置 mysql.driver=com.mysql.jdbc.Driver mysql.url=jdbc:mysql://127.0.0.1:3306/database1?useSSL=…
数据库编程的编码问题数据库编程设计的编码问题包括三个方面:    数据库服务器编码:    数据库客户端编码:    本地环境编码.(1)数据库服务器字符编码:数据库服务器支持某种编码,是指数据库服务器能够从客户端接收.存储以及向客户端提供该种编码的字符,并能将该种编码的字符转换到其它编码.查看PostgreSQL数据库服务器端编码:postgres=# show server_encoding; server_encoding ----------------- UTF8postgres=#…
转载自:https://yq.aliyun.com/articles/60194 摘要: 这篇文章的主旨在于让你了解Spark UI体系,并且能够让你有能力对UI进行一些定制化增强.在分析过程中,你也会深深的感受到Scala语言的魅力. 前言 有时候我们希望能对Spark UI进行一些定制化增强.并且我们希望尽可能不更改Spark的源码.为了达到此目标,我们会从如下三个方面进行阐述: 理解Spark UI的处理流程 现有Executors页面分析 自己编写一个HelloWord页面 Spark…