Spark Streaming揭秘 Day33 checkpoint的使用 今天谈下sparkstreaming中,另外一个至关重要的内容Checkpoint. 首先,我们会看下checkpoint的使用.另外,会看下在应用程序重新启动时,是如何处理checkpoint的. Checkpoint保存什么 checkpoint作为容错的设计,基本思路是把当前运行的状态,保存在容错的存储系统中(一般是hdfs).对于容错的处理,肯定是围绕作业紧密相关的,保存内容包括元数据和数据两部分. 从元数据角度…

day33 进程创建的两种方式 在windows环境下,开启进程必须在______name______ == "______main______"下面 p.start(): 只是向操作系统发出一个开辟子进程的信号,然后就执行下一行了. 这个信号操作系统接收到之后,会从内存中开辟一个子进程空间,然后再将主进程所有数据copy加载到子进程,然后再调用cpu去执行 开辟子进程开销是狠大的,所以永远会先执行主进程的代码 开启进程的第一种方式 from multiprocessing impor…

day33 前端之css css简介 CSS(Cascading Style Sheet,层叠样式表)定义如何显示HTML元素. # 语法结构 选择器 { 属性名1,属性值 属性名2,属性值 } # css注释 /*单行注释*/ /* 多行注释 多行注释 */ /*功能注释注释*/ # css的三种引入方式 1.<style> h1 { color:red; } 2.<link rel="stylesheet" href="mycss.css"&g…

1 time模块 #!/usr/bin/env python # __Author__: "wanyongzhen" # Date: 2017/4/7 import time # print(help(time)) # 打印time模块的帮助 # print(time.time()) # 返回当前时间戳 # time.sleep(3) # sleep 3秒 # print(time.clock()) # 计算CPU执行时间 # # print(time.gmtime()) # 返回结构…

一.一个服务端连多个客户端的方法 1.服务端 import socketserver class MyServer(socketserver.BaseRequestHandler): def handle(self): while True: msg=self.request.recv(1024).decode('utf-8') info=input('>>>') self.request.send(1024)(info.encode('utf-8')) if __name__ == '…

队列 #put 和  get #__author : 'liuyang' #date : 2019/4/16 0016 上午 11:32 # 多进程之间的数据是隔离的 # 进程之间的数据交互 # 是可以通过网络/文件来实现的 # socket 来实现 # IPC inter process communication # 多个进程之间的通信 #通过python的模块实现的 # 基于原生socket # 基于进程队列的 ***** #第三方的软件/工具来实现: # 不需要写socket(写好了)…

io多路复用 selectors模块 概要: 并发编程需要掌握的知识点: 开启进程/线程 生产者消费者模型!!! GIL全局解释器锁(进程与线程的区别和应用场景) 进程池线程池 IO模型(理论) 1 多线程 线程的概念? 一个进程内默认就会有一个控制线程,该控制线程可以执行代码从而创建新的线程 该控制线程的执行周期就代表改进程的执行周期 线程VS进程 1.线程的创建开销小于进程,创建速度快 2.同一进程下的多个线程共享该进程的地址空间 GIL全局解释器锁 线程池 开启线程的两种方式: from…

今天要介绍的是基础容器类(为了与并发容器类区分开来而命名的名字)中的另一个成员——PriorityQueue,它的大名叫做优先级队列,想必即使没有用过也该有所耳闻吧,什么?没..没听过?emmm...那就更该认真看看了. 通过本篇你将了解到: 1.PriorityQueue是什么? 2.PriorityQueue的内部结构是什么? 3.二叉堆.大顶堆.小顶堆分别是什么?有什么特性? 4.小顶堆是如何实现的,如何用数组表示? 5.小顶堆的删除.插入操作是如何进行的? 6.PriorityQueue…

先来回顾一下昨天的内容 网络编程开发架构 B/S C/S架构网卡 mac地址网段 ip地址 : 表示了一台电脑在网络中的位置 子网掩码 : ip和子网掩码按位与得到网段 网关ip : 内置在路由器中的交换机 :能够保证在一个局域网内的机器之间通信路由器 :跨局域网之间的通信 - 路由表 arp协议 ——查询IP地址和MAC地址的对应关系 地址解析协议,即ARP(Address Resolution Protocol),是根据IP地址获取物理地址的一个TCP/IP协议. 主机发送信息时将包含目标I…

今日内容: 1.线程理论 2.锁: 牺牲了效率,保证了数据的安全(重点) 3.守护线程 4.GIL锁:(重点) 5.计算密集型和IO密集型 6.信号量,事件(了解) 7.补充. 子进程中不能input 1.线程理论 什么是线程:cpu的执行单位(实体) 进程: 资源分配单位线程的创建和销毁的开销特别小 线程之间的资源共享,共享的是同一个进程中的资源 资源的共享涉及的最主要的问题就是数据的安全问题,这里我们就要用到加锁来实现. 线程的2种创建方式方法1:from threading import…