在MATLAB中有blkproc (blockproc)对数据处理, 在python下没找到对应的Function, 这里利用numpy 的split(hsplit和vsplit) 对数据分块处理成8x8的小块, 然后在利用OpenCV的dct函数做变换, 同时利用idct 验证数据变换是否正确. import numpy as np import cv2 a = np.arange(256).reshape((16,16)) print("ori data: \n{}".format…

对图像处理经常用到DCT, Python下有很多带有DCT算法包, 这里使用OpenCV的DCT做变换, 并简单置0部分数据, 再查看反变换图像的效果. import numpy as np import cv2 # from matplotlib import pyplot as plt y = cv2.imread('window.bmp', 0) # print(y.shape) cv2.imshow("gray",y) y1 = y.astype(np.float32) # p…

背景 看到这个标题你可能想一个分块能有什么难度?还值得细说吗,最近确实遇到一个有意思的分块函数,写法比较巧妙优雅,所以写一个分享. 日前在做需求过程中有一个对大量数据分块处理的场景,具体来说就是几十万量级的数据,分批处理,每次处理100个.这时就需要一个分块功能的代码,刚好项目的工具库中就有一个分块的函数.拿过函数来用,发现还挺好用的,传入列表和分块大小,然后就能遍历取出分好的数据.调用方式如下: from xxx import chunk_fun chunk_list = chunk_fun(…

MTU最大传输单元,这个最大传输单元实际上和链路层协议有着密切的关系,EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制,每个以太网帧都有最小的大小64bytes最大不能超过1518bytes,对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧,一般的以太网转发设备会丢弃这些数据帧. 由于以太网EthernetII最大的数据帧是1518Bytes这样,刨去以太网帧的帧头(DMAC目的MAC地址48bit=6Bytes+SMAC源MA…

半夜收到报警短信,服务器磁盘空间不足,爬起来检查一番,发现由于索引重建导致,而且该磁盘下仍有自动增长的数据文件,由于该服务器上其他盘符有剩余空间,于是打算将该磁盘下的数据文件限制增长,并新增几个数据文件在其他有空闲空间的磁盘下,于是操作步骤如下: 第一步:检查Alwayson各辅助节点的相同盘符是否同样有磁盘空间(可以使用EXEC master..xp_fixeddrives来查看) 第二步:检查各辅助节点下是否存在对应文件夹,没有的手工创建 第三步:在主节点对数据库上新增数据文件. 三步打完手…

此教程适用系统:Linux(CentOS,Debian,Ubuntu,Fedora) 通常新开通的Linux云服务器数据盘都未做分区和格式化.在进行数据盘挂载之前我们要先进行分区以及格式化操作.注意,挂载操作会清空数据,请确认挂载盘内无重要数据! 以下是分区.数据盘挂载详细步骤: 一.查看数据盘. [root@win23 /]# fdisk  -l 首先,远程SSH登录CentOS服务器,查看磁盘.通常我们是用"df –h"命令查看服务器磁盘,但是在没有分区和格式化数据盘之前,使用 &…

Python3:pyecharts数据可视化插件 一.简介 pyecharts 是一个用于生成 Echarts 图表的类库. Echarts 是百度开源的一个数据可视化 JS 库.主要用于数据可视化. 二.安装 pip install pyecharts 在线安装不成功,采用离线插件whl安装: (1)下载:pyecharts-0.1.9.4-py2.py3-none-any.whl (2)然后进入到所咋的文件夹,执行安装命令: D:\whl>pip install pyecharts-0.1.…

python3下安装aiohttp遇到过的那些坑 最近需要用到aiohttp这个库,在安装过程中遇到很多坑.google.baidu后,依然没有找到合适的解决方案. 后来通过去python官方的PyPI查看aiohttp库,才发现一些问题,几经折腾,最后终于成功的在python3下安装’aiohttp’. 在这里跟大家分享一下被坑的过程. 先说一下环境.win7,64位.电脑里安装的python有3.5和3.6两个版本. 1. python3.6下安装aiohttp python3.6环境下,已…

在进行UDP编程的时候,我们最容易想到的问题就是,一次发送多少bytes好? 当然,这个没有唯一答案,相对于不同的系统,不同的要求,其得到的答案是不一样的,这里仅对像ICQ一类的发送聊天消息的情况作分析,对于其他情况,或许也能得到一点帮助: 首先,我们知道,TCP/IP通常被认为是一个四层协议系统,包括链路层,网络层,传输层,应用层.UDP属于运输层,下面我们由下至上一步一步来看: 以太网(Ethernet)数据帧的长度必须在46-1500字节之间,这是由以太网的物理特性决定的.这个1500字节…

如果想查看 Mysql 数据库的总的数据量或者某个表的数据或者索引大小,可以使用系统库 information_schema 来查询,这个系统库中有一个 TABLES 表,这个表是用来记录数据库中表的大小.行数.索引大小等信息 mysql > use information_schema; Database changed mysql > show create table TABLES; mysql > desc TABLES; 表结构如下: sql: CREATE TEMPORARY…

Python Imaging Library (PIL)是python下的图像处理模块,支持多种格式,并提供强大的图形与图像处理功能. 目前PIL的官方最新版本为1.1.7,支持的版本为python 2.5, 2.6, 2.7,并不支持python3,但有高手把它重新编译生成python3下可安装的exe了.这一非官方下载地址 http://www.lfd.uci.edu/~gohlke/pythonlibs/#pil 或者直接点下面: PIL-1.1.7.win32-py3.2.‌exe  […

1.概述 首先要看TCP/IP协议,涉及到四层:链路层,网络层,传输层,应用层. 其中以太网(Ethernet)的数据帧在链路层 IP包在网络层 TCP或UDP包在传输层 TCP或UDP中的数据(Data)在应用层 它们的关系是 数据帧{IP包{TCP或UDP包{Data}}}     不同的协议层对数据包有不同的称谓,在传输层叫做段(segment),在网络层叫做数据报(datagram),在链路层叫做帧(frame).数据封装成帧后发到传输介质上,到达目的主机后每层协议再剥掉相应的首部,最后…

linux下的数据备份工具 rsync(remote sync 远程同步)   名词解释: sync(Synchronize,即“同步”)为UNIX操作系统的标准系统调用,功能为将内核文件系统缓冲区的所有数据(也即预定将通过低级I/O系统调用写入存储介质的数据)写入存储介质(如硬盘). sync是一个linux同步命令,含义为迫使缓冲块数据立即写盘并更新超级块.在linux系统中,为了加快数据的读取速度,默认情况下,某些数据将不会直接写入硬盘,而是先暂存内存中,如果一个数据被重复写,这样速度一定…

map函数是Python里面比较重要的函数,设计灵感来自于函数式编程.Python官方文档中是这样解释map函数的: map(function, iterable, ...) Return an iterator that applies function to every item of iterable, yielding the results. If additional iterable arguments are passed, function must take that man…

http://blog.csdn.net/macliukaijie/article/details/8308643 1.创建两个表空间 SQL> create tablespace test1 datafile '/opt/test1.dbf' size 10m; Tablespace created SQL> create tablespace test2 datafile '/opt/test2.dbf' size 10m; Tablespace created 2.创建两个用户 SQL&…

标准数据块用于临时表空间和系统表空间,同时也是一个表空间数据块的默认值.标准数据块的大小是在创建数据库时由参数DB_BLOCK_SIZE确定的.若要改变这一设置必须重建数据库. DB_CACHE_SIZE设置数据库高速缓存的大小.其最小尺寸为一个granule,高速缓存的数据块的大小必须等于标准数据块的大小,因为标准数据块是数据库输入输出的基本单位和最小单位,数据由数据文件加载进入内存的最小数据容量必须是一个标准块. 如果要在数据库中使用非标准数据块就必须定义DB_CACHE_SIZE 和DB_…

之前没有仔细想过这个问题,因为总是不会用到,也没有犯过类似错误. 顺便提一下学习方法吧. 卤肉的学习方法是:常用知识点,熟悉理论并反复做实验,深入理解:不常用的知识点,相关内容都了解大概,遇到问题时想得起来能知道去哪里查就可以:所有知识点都必须要用实验验证,否则学习效果会大打折扣,光看书或看视频是没有用的,我保证一个月之后,你忘记的干干净净的,哈哈. 比如今天这个问题,卤肉看到报错就会想到可能是数据文件大小和限制规则冲突了,因为以前了解过相关的知识点,有点印象,于是上网去google一下,果然如…

1.背景: 近日切换到python3后,发现python3在多态处理上,有一些比较有意思的情况,特别记载,供大家参考... 以廖老师的python3教程中的animal 和dog的继承一节的代码做例子,上代码先: #!/usr/bin/env python3 # -*- coding: utf-8 -*- class Animal(object): def run1(self): print('Animal is running 1...') def run2(self): self.run1(…

redis入门(10)redis集群下的数据分区存储…

#python3下调用系统massagebox对话框#先安装pwin32插件https://github.com/mhammond/pywin32/releases import win32apiimport win32con IDYES=6 #<是>按钮IDNO=7 #<否>按钮 ICONERROR=16 #错误图标ICONQUESTION=32 #警告图标ICONWARNING=64 #问号图标 if win32api.MessageBox(0,"你想点击哪个按钮?&…

#coding=utf-8#python3下获取主流浏览器和python的安装路径#by dengpeiyou date:2018-07-09import winreg,os #取得浏览器的安装路径def get_path(mainkey,subkey): try: key = winreg.OpenKey(mainkey,subkey) except FileNotFoundError: return '未安装' value ,type= winreg.QueryValueEx(key, "&…

PS:第一个版本号里未做输入的schema_name和table_name推断,改动了一下!再次share! #统计指定架构的全部表的数据和索引大小情况 #tablesize.sh #!/bin/sh #ocpyang@126.com if [ "$#" -gt 2 -o "$#" -lt 1 ];then echo "**********************************" echo "too many input pa…

CentOS下挂载数据盘 1.显示磁盘使用情况:#df 2.显示磁盘:#fdisk -l 3.格式化分区:#mkfs.ext4 /dev/vdb1           //注:将/dev/vdb1格式化为ext4类型 4.创建/data目录:#mkdir /data 5.开始挂载分区:#mount /dev/vdb1 /data 6.配置开机自动挂载:#vim /etc/fstab 7.加入:/dev/vdb1(磁盘分区)  /data(挂载目录) ext4(文件格式)defaults  0  …

jQuery EasyUI 表单 - 过滤下拉数据网格 下拉数据网格(Combogrid)组件和下拉框(Combobox)组件的共同点是,除了都具有下拉面板以外,它们都是基于数据网格(Datagrid)的. 下拉数据网格(Combogrid)组件可以过滤.分页,并具有其他一些数据网格(Datagrid)的功能. 本教程向您展示如何在一个下拉数据网格(Combogrid)组件中过滤数据记录. 创建下拉数据网格(Combogrid) $('#cg').combogrid({ panelWidth:5…

正常情况下,要想对数据文件脱机,必须在归档模式下,这是ORACLE自动保护的一种措施,防止在非归档模式下对数据文件脱机,造成数据丢失.如果想在非归档模式下执行数据文件脱机操作,则需要加上“for drop”选项,例如 alter database datafile 7 offline for drop:这样的话,7号数据文件已脱机且并没有被删除.但是,想要恢复该数据文件联机时,就存在一个问题,如果此时相对应的重做日志文件没有被清空,则可以使用recover datafile 7:来恢复该文件,一…

在Python3下用使用OpenCV比在C,C++里开发不止快捷一点点, 原型开发的时候蛮有用. 这里用的OpenCV 加载图片, 用的imshow画图 # -*- coding: utf-8 -*-  import cv2 # from matplotlib import pyplot as plt from pylab import * # 添加中文字体支持 from matplotlib.font_manager import FontProperties font = FontPrope…

1.安装pymysql pip install pymysql 有一点需要注意,有的系统(比如ubuntu16.04)同时安装了python2和python3,而比较新的django需要在python3下运行,所以在安装pymysql时可能要使用命令 pip3 install pymysql 进行安装. 2.修改项目settings.py 找到并修改DATABASES为如下形式: DATABASES = { 'default': { 'ENGINE': 'django.db.backends.m…

如何让ActiveXObject( "Microsoft.XmlDom ")对象在非IE浏览器下显示数据?firefox(火狐) 2013-09-10 16:01 2152人阅读 评论(0) 收藏 举报 在IE浏览器下,xmlDom对象一般这样被定义: var xmlDom= new ActiveXObject("Microsoft.XMLDOM"); 为了兼容Firefox,需要修改为: if (window.ActiveXObject){ var xmlDom=…

通过Hadoop安全部署经验总结,开发出以下十大建议,以确保大型和复杂多样环境下的数据信息安全. 1.先下手为强!在规划部署阶段就确定数据的隐私保护策略,最好是在将数据放入到Hadoop之前就确定好保护策略. 2.确定哪些数据属于企业的敏感数据.根据公司的隐私保护政策,以及相关的行业法规和政府规章来综合确定. 3.及时发现敏感数据是否暴露在外,或者是否导入到Hadoop中. 4.搜集信息并决定是否暴露出安全风险. 5.确定商业分析是否需要访问真实数据,或者确定是否可以使用这些敏感数据.然后,选择…

Android下的数据存储与訪问 --- 以文件的形式 1.1 储存文件存放在手机内存中: // *** 储存数据到 /data/data/包名/files/jxn.txt文件里 String data = "test"; // /data/data/包名/files File filesDir = context.getFilesDir(); File file = new File(filesDir, "jxn.txt"); FileOutputStream f…