CS100.1x简介 这门课主要讲数据科学,也就是data science以及怎么用Apache Spark去分析大数据. Course Software Setup 这门课主要介绍如何编写和调试PySpark.本节主要介绍环境搭配.为了让所有人环境一致,本课程的编程环境是用Virtual Machine.你需要安装VirtualBox和Vagrant来搭环境. 硬件和软件要求 这门课需要的最小硬件配置如下: 硬盘空间: 3.5 GB 内存: 2.5 GB (4+ GB 更好) 处理器: 任何I…

这门课是CS100.1x的后续课,看课程名字就知道这门课主要讲机器学习.难度也会比上一门课大一点.如果你对这门课感兴趣,可以看看我这篇博客,如果对PySpark感兴趣,可以看我分析作业的博客. Course Software Setup 这门课的环境配置和上一门一模一样,参考我的这篇博客CS100.1x Introduction to Big Data with Apache Spark. Lecture 1 Course Overview and Introduction to Machine…

这是CS100.1x第一个提交的有意义的作业,自己一遍做下来对PySpark的基本应用应该是可以掌握的.相关ipynb文件见我github. 这次作业的目的如题目一样--word count,作业分成4个部分,遇到不懂的地方,时刻记得查API. Part 1 Creating a base RDD and pair RDDs Create a base RDD wordsList = ['cat', 'elephant', 'rat', 'rat', 'cat'] wordsRDD = sc.p…

这是CS100.1x第一个提交的作业,是给我们测试用的.相关ipynb文件见我github.本来没什么好说的.我在这里简单讲一下,后面会更详细的讲解.主要分成5个部分. Part 1: Test Spark functionality Parallelize, filter, and reduce # Check that Spark is working largeRange = sc.parallelize(xrange(100000)) reduceTest = largeRange.re…

起因 大数据时代 大数据最近太热了,其主要有数据量大(Volume),数据类别复杂(Variety),数据处理速度快(Velocity)和数据真实性高(Veracity)4个特点,合起来被称为4V. 大数据中的数据量非常巨大,传统的关系型数据库已经无法满足对大数据的处理要求.此时,分布式计算应运而生.分布式计算就是把一组计算机通过网络相互连接组成分散系统,然后将需要处理的大量数据分散成多个部分,交由分散系统内的计算机组同时计算,最后将这些计算结果合并得到最终的结果. 过去,分布式计算理论比较复杂…

ubuntu16.04,在网络配置下找到802.1x安全性,输入账号密码,为什么连接不上?   这是系统的一个bug解决办法:假设你有一定的ubuntu基础,首先你先建立好一个不能用的协议,就是按照之前的方法建立就好,要记住它的名字,它会一直提示你输入密码,不过不影响,关掉就行,但必须建立好.     1. Ctrl+Alt+t 打开终端2. cd /etc/NetworkManager/system-connections3. ls 一下,你可以看到之前创建的配置文件(按上面的步骤,这里应该能…

解压版MySQL5.7.1x的安装与配置 MySQL安装文件分为两种,一种是msi格式的,一种是zip格式的.如果是msi格式的可以直接点击安装,按照它给出的安装提示进行安装(相信大家的英文可以看懂英文提示),软件一般安装在D盘D:\mysql\mysql-5.7.11-winx64:zip格式是自己解压,解压缩之后其实MySQL就可以使用了,但是要进行配置. 完成上述步骤之后,还不能直接使用,因为是免安装的,所以很多配置还要自己做.下面是配置MySQL的环境变量,配置环境变量很简单: 我的电脑…

下载地址:https://github.com/rickytan/RTImageAssets 此插件用来生成 @3x 的图片资源对应的 @2x 和 @1x 版本,只要拖拽高清图到 @3x 的位置上,然后按 Ctrl+Shift+A 即可自动生成两张低清的补全空位.当然你也可以从 @2x 的图生成 @3x 版本,如果你对图片质量要求不高的话. 特性 只会填补空位,如果你已经设置好了自己的 @2x 图,则不会生成: 自动重命名,保持项目干净(把 N.imageset 下的图片名字改为 N.png N…

EAP: 0,扩展认证协议 1,一个灵活的传输协议,用来承载任意的认证信息(不包括认证方式) 2,直接运行在数据链路层,如ppp或以太网 3,支持多种类型认证 注:EAP 客户端---服务器之间一个协议 802.1x协议:客户端---NAD,承载电脑到交换机之间一段的一个二层的封装协议. radius:NAD—服务器,承载交换机到radius服务器之间的一个三层的radius的封装协议.如下图. 交换机的作用:转来转去做封装;交换机收到电脑的包,把外层的802.1x的包去掉,封装成3层的radi…

脱壳ASProtect 2.1x SKE -> Alexey Solodovnikov 用脚本.截图 1:查壳 2:od载入 3:用脚本然后打开脚本文件Aspr2.XX_unpacker_v1.osc,运行,很快的,不管. http://download.csdn.net/detail/kfyzk/1461400 4:提示点确定 5:打开运行记录 6:找到最下面 7:修复刚脱壳的文件 8:对脱壳后的文件查壳运行无异常 09:脱壳完成. ==============================…

   关键字:Xcode插件,生成图片资源 代码类库:其他(Others) GitHub链接:https://github.com/rickytan/RTImageAssets   本项目是一个 Xcode 插件,用来生成 @3x 的图片资源对应的 @2x 和 @1x 版本,只要拖拽高清图到 @3x 的位置上,然后按 Ctrl+Shift+A 即可自动生成两张低清的补全空位.当然你也可以从 @2x 的图生成 @3x 版本,如果你对图片质量要求不高的话. 特性只会填补空位,如果你已经设置好了自己的…

问题描述 Keil V4.72升级到V5.1x之后,原来编译通过的工程,出现了如下错误: .\Libraries\CMSIS\CM3\DeviceSupport\ST\STM32F10x\STM32f10x.h(298): error:  #67: expected a "} 原因分析 Keil V4.72版本的情况:在使用STM32的库文件的时候,我们在Device一栏中选择了器件,比如说STM32F103VET6,但是我们还需要在C/C++一栏的Preprocessor Symbols中添加…

实验描述 公司内部有多个部门,创建了域的架构,并搭建了DHCP服务器和Radius服务器,要求每个部门都独享一个网段,实现每位用户插上网线后,跳出窗体进行身份验证,如果用户通过验证,根据用户所在的部门分配IP地址.例如销售部地址段为192.168.1.0/24则销售部员工Alice 获取的地址应该为192.168.1.1,市场部地址段为192.168.2.0/24则市场部员工Bob获取的地址应该为192.168.2.1.未经过身份验证的,无法获取的IP地址,并提示身份验证失败. 实验主要分解为三…

一.说明 事情的起因是我们部门有个华为的S5700交换机,想配置端口镜像抓包但让助理买的串口线很久都还没到:而昨天测试部的同事说他们那有台华三的S5120想要配802.1X认证,但只有华为交换机的文档换到华三交换机上命令不一样不懂怎么配,问我们能不能帮看一下. 一是领导觉得他们的任务可以搞得定,二是我们这边需要串口线,所以这笔买卖就做了. 所以也就有了这里“华为S5700配置端口镜像和华三S5120配置802.1X认证”两个不相关的东西在一篇文章里,主要是做个记录用. 二.华为S5700配置端口…

CentOS7用hostapd做radius服务器为WiFi提供802.1X企业认证 来源: https://www.cnblogs.com/osnosn/p/10593297.html 来自osnosn的博客 写于: 2019-03-27. 支持 EAP-PEAP(msCHAPv2) 用户账号认证.用户账号存于文本文件中. EAP-TLS证书认证,证书自行生成,可以吊销单个证书而阻止再次连接. 本文参考了几位大神的文章: 拒绝万能钥匙!教您用hostapd搭建一个企业级的Wi-Fi, 搭建一个…

#预测一条y = 0.1x + 0.3的直线 import tensorflow as tf import numpy as np #科学计算模块 ''' tf.random_normal([784, 200]):指生成一个784*200的矩阵 tf.zeros([2,3],int32)==>[[0,0,0],[0,0,0]]两行三列 同理tf.ones,tf.fill(产生一个全部为给定数字的数组),tf.constants(产生一个给定值的常量) ''' #create data 自己编造的…

点击返回:自学Aruba之路 06 自学Aruba之win7系统802.1x认证网卡设置指导 步骤1.在桌面任务栏找到“打开网络和共享中心”,点击进入: 步骤2.点击“管理无线网络”,进入无线网络配置 步骤3.点击“添加”增加无线网络配置,并在弹出的对话框选择“手动创建网络配置文件”. 步骤4. 对应下图,在对话框中输入和选择相应的选项. 网络名(E):test_staff(连接的SSID名字) 安全类型(S)选择“WPA2-企业”,加密类型(R)选择“AES” 不要勾选“自动启动此连接(T)”…

点击返回:自学Aruba之路 自学Aruba5.3.4-Aruba安全认证-有PEFNG 许可证环境的认证配置802.1x 1. 采用InterDB认证服务器完成802.1X认证 (Aruba650) #configure terminal (Aruba650) (config) #aaa server-group dot1x-server (Aruba650) (Server Group "dot1x-server") #auth-server Internal (Aruba650)…

点击返回:自学Aruba之路 自学Aruba7.3-Aruba安全认证-802.1x认证(web页面配置) 步骤1 建立AP Group,命名为test802-group 步骤2   将AP加入到AP Group中 步骤3 新建一个Virtual AP 步骤4 将Virtual AP加入到Vlan 中 步骤5 新建一个L2 AuthenticationAAA Profile 步骤6 在Internal DB中新建一个用户 步骤7 新建一个SSID Profile 802.11 Security选…

1.介绍 802.1X是一个IEEE标准,通过对用户进行基于端口的安全认证和对密钥的动态管理,从而实现保护用户用户的位置隐私和身份隐私以及有效保护通信过程中信息安全的目的. 在802.1X协议中,只有具备了以下三个元素才能够完成基于端口的访问控制的用户认证和授权. 1.客户端 一般安装在用户的工作站上,当用户有上网需求时,激活客户端程序,输入必要的用户名和口令,客户端程序将会送出连接请求. 2.认证系统 在以太网系统中认证交换机,其主要作用是完成用户认证信息的上传.下达工作,并根据认证的结果打开…

由于企业安全管理要求,需要验证上网.验证方式是账号密码+802.1x 目前先调研了一下方案,还没有实施,大概调研结果如下: 先参考:https://jlk.fjfi.cvut.cz/arch/manpages/man/netctl.profile.5 以及:https://wiki.archlinux.org/index.php/WPA_supplicant#Advanced_usage https://jlk.fjfi.cvut.cz/arch/manpages/man/wpa_supplic…

1.802.1X IEEE802 LAN/WAN委员会为解决无线局域网网络安全问题,提出了802.1X协议.后来,802.1X协议作为局域网端口的一个普通接入控制机制在以太网中被广泛应用,主要解决以太网内认证和安全方面的问题. 802.1X协议是一种基于端口的网络接入控制协议(port based network access control protocol).“基于端口的网络接入控制”是指在局域网接入设备的端口这一级对所接入的用户设备进行认证和控制. 连接在端口上的用户设备如果能通过认证,就…

这是这门课第一次接触机器学习,主题是Predicting Movie Ratings.难度比上一次作业要简单点..上一次作业真的挺难...相关ipynb文件见我github. 这里我们会用到Spark MLlib的Alternating Least Squares方法去做一些比之前复杂的事情.这次lab的数据集是500000次电影打分,环境默认配置好了.数据集可以从这里下载. Part 0 Preliminaries 这部分主要是读取数据,转换为RDD,解析每行的数据.打分的数据格式为: Use…

这次作业叫Text Analysis and Entity Resolution,比前几次作业难度要大很多.相关ipynb文件见我github. 实体解析在数据清洗和数据整合中是一个很重要,且有难度的问题.这次作业将用Apache Spark和文本分析的方法应用到实体解析.实体解析是指,从不同的数据源的记录里找到相同的实体,当进行数据融合时,这个步骤是必须的. 这次作业的数据来源于metric-learning project,主要目录包括: Google.csv, the Google Pro…

最近搭了企业级加密的server 2003服务器,教程完全google,无任何自主创新.折腾了一周,总算搞定了,同时也验证了server 2003下的TLS和PEAP0加密算法是正常的. 至于搭建server 2003无线认证服务器,可以参考这篇教程,WLAN无线基站使用802.1x+RADIUS服务器认证配置超详细文档,很详细,一步一步操作毫无压力. 虽然按时完成了领导交代的任务,但是回顾一下,整个过程学到的东西好少,对802.1X,对加密算法,对radiator服务器,这些知识点还是似懂非懂…

这次的作业主要用PySpark来分析Web Server Log.主要分成4个部分.相关ipynb文件见我github. Part 1 Apache Web Server Log file format 这部分主要是了解log file的格式,然后处理它.我们处理的日志格式符合Common Log Format(CLF)标准.其一行记录长这样: 127.0.0.1 - - [01/Aug/1995:00:00:01 -0400] "GET /images/launch-logo.gif HTTP…

以前搞无线时候,会涉及到无线client接入方式的认证协议. 认证方式+加密方式+有线的dot1x. 注:以前都是doc粘贴到博客的,加上没写博客的习惯,因此会比较乱. EAP(扩展认证协议)是什么? 0,扩展认证协议 1,一个灵活的传输协议,用来承载任意的认证信息(不包括认证方式) 2,直接运行在数据链路层,如ppp或以太网 3,支持多种类型认证 注:EAP 客户端---服务器之间一个协议 802.1x协议:客户端---NAD,承载电脑到交换机之间一段的一个二层的封装协议. radius:NA…

1,vi  /etc/my.cnf [mysqld]下加入参数skip-grant-tables   保存退出. 2,重启mysql [root@21yunwei src]# /etc/init.d/mysqld restart Shutting down MySQL.. [ OK ] Starting MySQL. [ OK ] 3,登录mysql修改密码.通过mysql -uroot -p 直接回车空密码登录mysql后,采用update 修改mysq.user表: mysql> use m…

前言:在很多运维项目交流中,我们发现有一些运维团队还是在尝试使用网管或桌面管理来进行网络准入管理,但这两个技术有一定的缺点,所以本文分享一下802.1X+开源软件整合的网络准入管理的实践. 网络准入业界常用方案 为了保证网络资源的安全,拒绝非法入侵,现代IT网络总需要一定的网络准入方案,而目前业界常用的网络准入方案有: 方案 说明 优点 缺点 桌面管理软件 以一机两用等产品为代表,需要安装agent并经过审批才能进入网络,否则通过ARP攻击等手段阻止非法终端接入. 控制能力强 安装维护成本高:…

version 1.2 1.修改不用输入扩展名 2.输出路径可选.默认会在输入路径下建文件夹 前沿: 现在开发中ios,android会使用一套图,但是ui设计师给的图命名是以@1x,@2x,@3x这样命名的,android 客户端使用起来就略嫌麻烦了,这个小工具可以实现简单的分包. 原理: I/o流读取 testPicture中的@1x,@2x,@3x 文件进行整理,按序输出旧文件文字同时,需要输入一个新文件名 + 后缀名,然后动态进行分组到desPicture中的文件夹1,文件夹2,文件夹3…