spark_rdd 一波怼完面试官系列】的更多相关文章

Resilient Distributed dataset , 弹性分布式数据集. 分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现. RDD是Spark最核心的东西,它表示已被分区,不可变的并能够被并行操作的数据集合,不同的数据集格式对应不同的RDD实现. RDD必须是可序列化的.RDD可以cache到内存中,每次对RDD数据集的操作之后的结果,都可以存放到内存中, 下一个操作可以直接从内存中输入,省去了MapReduce大量的磁盘IO操作. 这对于迭代运算比较常见…
前言 想必各位程序员已经开始准备金九银十的秋招了,创建这个这个系列文章的目的就是为了帮助大家解决面试的问题,系列文章将会一直更新,大家如果觉得不错可以关注我并转发,让更多程序兄弟看到~接下来我们进入正文环节 基础篇 Spring 概 述 什 么 是 spring? 使 用 Spring 框 架 的 好 处 是 什 么 ? Spring 由 哪 些 模 块 组 成? 核 心 容 器 ( 应 用 上 下 文) 模 块 . BeanFactory – BeanFactory 实 现 举 例 . XML…
并发面试专题 (面试题+答案领取方式见侧边栏) 现在有 T1.T2.T3 三个线程,你怎样保证 T2 在 T1 执行完后执行,T3 在 T2 执行完后执行? 在 Java 中 Lock 接口比 synchronized 块的优势是什么?你需要实现一个高效的缓存,它允许多个用户读,但只允许一个用户写,以此来保持它的完整性,你会怎样去实现它? 在 java 中 wait 和 sleep 方法的不同? 用 Java 实现阻塞队列. 用 Java 写代码来解决生产者——消费者问题. 用 Java 编程一…
1.缩短键值对的存储长度 键值对的长度是和性能成反比的,比如我们来做一组写入数据的性能测试,执行结果如下: 从以上数据可以看出,在 key 不变的情况下,value 值越大操作效率越慢,因为 Redis 对于同一种数据类型会使用不同的内部编码进行存储,比如字符串的内部编码就有三种:int(整数编码)raw(优化内存分配的字符串编码)embstr(动态字符串编码),这是因为 Redis 的作者是想通过不同编码实现效率和空间的平衡,然而数据量越大使用的内部编码就越复杂,而越是复杂的内部编码存储的性能…
文章首发于今日头条:https://www.toutiao.com/i6712324863006081549/ 前言 跳槽时时刻刻都在发生,但是我建议大家跳槽之前,先想清楚为什么要跳槽.切不可跟风,看到同事一个个都走了,自己也盲目的开始面试起来(期间也没有准备充分),到底是因为技术原因(影响自己的发展,偏移自己规划的轨迹),还是钱给少了,不受重视. 闲话不多说开始主题(面试题+答案领取方式见侧边栏) 常见spring面试题: 1 .什么是 Spring 框架?Spring 框架有哪些主要模块?…
十种常见排序算法可以分为两大类: 非线性时间比较类排序:通过比较来决定元素间的相对次序,由于其时间复杂度不能突破O(nlogn),因此称为非线性时间比较类排序. 线性时间非比较类排序:不通过比较来决定元素间的相对次序,它可以突破基于比较排序的时间下界,以线性时间运行,因此称为线性时间非比较类排序. 0.2 算法复杂度 0.3 相关概念 稳定:如果a原本在b前面,而a=b,排序之后a仍然在b的前面. 不稳定:如果a原本在b的前面,而a=b,排序之后 a 可能会出现在 b 的后面. 时间复杂度:对排…
JVM专题 (面试题+答案领取方式见侧边栏)  Java 类加载过程? 描述一下 JVM 加载 Class 文件的原理机制? Java 内存分配. GC 是什么? 为什么要有 GC? 简述 Java 垃圾回收机制. 如何判断一个对象是否存活?(或者 GC 对象的判定方法) 垃圾回收的优点和原理.并考虑 2 种回收机制. 垃圾回收器的基本原理是什么?垃圾回收器可以马上回收内存吗?有什么办法主动通知虚拟机进行垃圾回收? Java 中会存在内存泄漏吗,请简单描述. 深拷贝和浅拷贝. System.gc…
Dubbo专题 (面试题+答案领取方式见侧边栏) 1.Dubbo 支持哪些协议,每种协议的应用场景,优缺点?2.Dubbo 超时时间怎样设置?3.Dubbo 有些哪些注册中心?4.Dubbo 集群的负载均衡有哪些策略5.Dubbo 是什么?6.Dubbo 的主要应用场景?7.Dubbo 的核心功能?8.Dubbo 的核心组件?9.Dubbo 服务注册与发现的流程?10.Dubbo 的架构设计?11.Dubbo 的服务调用流程?12.Dubbo 支持哪些协议,每种协议的应用场景,优缺点?13.du…
Nginx专题 (面试题+答案领取方式见侧边栏) 1.请解释一下什么是 Nginx?2.请列举 Nginx 的一些特性.3.请列举 Nginx 和 Apache 之间的不同点4.请解释 Nginx 如何处理 HTTP 请求.5.在 Nginx 中,如何使用未定义的服务器名称来阻止处理请求?6. 使用“反向代理服务器”的优点是什么?7.请列举 Nginx 服务器的最佳用途.8.请解释 Nginx 服务器上的 Master 和 Worker 进程分别是什么?9.请解释你如何通过不同于 80 的端口开…
ActiveMQ专题 (面试题+答案领取方式见主页) 什么是 ActiveMQ? ActiveMQ 服务器宕机怎么办? 丢消息怎么办? 持久化消息非常慢. 消息的不均匀消费. 死信队列. ActiveMQ 中的消息重发时间间隔和重发次数吗? RabbitMQ专题 RabbitMQ 中的 broker 是指什么?cluster 又是指什么? 什么是元数据?元数据分为哪些类型?包括哪些内容?与 cluster 相关的元数据有哪些?元数据是如何保存的?元数据在 cluster 中是如何分布的? RAM…