YARN分布式资源管理系统 组成: ResourceManager:YARN的资源管理器,主节点,通过NodeManager管理集群中所有的资源 NodeManager:YARN的节点管理器,从节点,通过container管理资源,一个dataNode对应一个NodeManager Container:包装资源,CPU/内存/IO 容器:最小的资源单位,1GB内存,一个虚拟核心 Master:协调MapReduce作业中任务的运行 Application Master和MapReduce任务运行…

#coding:utf-8'''默写: 循环嵌套 必做: 1. 求1-100的所有数的和 2. 输出 1-100 内的所有奇数 3. 输出 1-100 内的所有偶数 5. 求1-2+3-4+5 ... 99的所有数的和 1.打印出所有的1-1000中的 "水仙花数 ",所谓 "水仙花数 "是指一个三位数, 其各位数字立方和等于该数本身.例如153 2.每月存款500元 连续存款10年 年利率为 百分之5 请算出十年后本金和利息共多少 需要考虑复利就是第二年的本金是第…

作业内容:计算器 #!/usr/bin/env python # -*- coding:utf-8 -*- import re,time #加减字符处理函数 def handle_symbol(cal_str): # if cal_str.__contains__("+-") or cal_str.__contains__("--") or cal_str.__contains__("-+") or cal_str.__contains__(&q…

一.if判断 1.语法一: if 条件: 条件成立时执行的子代码块 代码1 代码2 代码3 示例: sex='female' age= is_beautiful=True and age < and is_beautiful: print('开始表白...') print('other code1...') print('other code2...') print('other code3...') 2.语法二: if 条件: 条件成立时执行的子代码块 代码1 代码2 代码3 else: 条件…

宏观流程如下图: client端 生成StreamGraph env.addSource(new SocketTextStreamFunction(...)) .flatMap(new FlatMapFunction()) .keyBy("word") .timeWindow(Time.seconds(5)) .reduce(new ReduceFunction()) .print() StreamExecutionEnvironment上的一系列api调用会在env->tran…

作业需求: 模拟实现一个ATM + 购物商城程序 1.额度 15000或自定义: 2.实现购物商城,买东西加入 购物车,调用信用卡接口结账: 3.可以提现,手续费5%: 4.每月22号出账单,每月10号为还款日,过期未还,按欠款总额 万分之5 每日计息: 5.支持多账户登录: 6.支持账户间转账: 7.记录每月日常消费流水: 8.提供还款接口: 9.ATM记录操作日志 : 10.提供管理接口,包括添加账户.用户额度,冻结账户等... 11.用户认证用装饰器 示例代码 https://github…

作业:计算器开发 (1)实现加减乘除及拓号优先级解析: (2)用户输入 1 - 2 * ( (60-30 +(-40/5) * (-9-2*5/-3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等类似公式后,必须自己解析里面的(),+,-,*,/符号和公式,运算后得出结果,结果必须与真实的计算器所得出的结果一致. 思路: (1)首先我们要找到内存括号中的内容,使用正则表达式,在这里,内存括号中我们选取比较复杂的(-9-2*5/-3 +…

YARN(MapReduce2) Yet Another Resource Negotiator / YARN Application Resource Negotiator对于节点数超出4000的大型集群,MapReduce1系统开始面临着扩展性瓶颈.所以有了YARN的出现.YARN将jobtracker的职能划分为多个独立的实体,从而改善了MR1面临的扩展瓶颈问题.Jobtracker负责作业调度和任务进度监视,跟踪任务.重启失败或过慢的任务和进行任务登记,例如维护计数器总数.YARN将这两…

1.作业需求: (1).工信息表程序,实现增删改查操作: (2).可进行模糊查询,语法至少支持下面3种:          select name,age from staff_table where age > 22        select * from staff_table where dept = "IT"        select * from staff_table where enroll_date like "2013" (3).查到的信…

作业:计算器开发 实现加减乘除及拓号优先级解析 用户输入 1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等类似公式后,必须自己解析里面的(),+,-,*,/符号和公式,运算后得出结果,结果必须与真实的计算器所得出的结果一致 一.说明: 有一点bug就是不能计算幂次方,如:'6**6'会报错 该计算器思路:1.没用使用递归,先找出并计算所有括号里的公式,再计算乘除和…