由于需要对h5(hdf5)格式的dem数据进行拼接,但是arcgis不能识别h5的地理参考信息,所以先将h5文件转为带地理参考的tif文件,然后再进行拼接. 工具:arcgis+envi 1.用arcgis add data添加数据,然后右击数据,export data ,输出类型选择tiff,假设输出文件名为data1.tif: 2.用envi打开data1.tif,然后打开与dem对应的影像,根据影像的Map Info去编辑data1.tif的地理参考信息: 3.使用ENVI File==>

最近一直没更新python&量化的博客,是因为忙于看HDF5的书,写VNPY框架,学scrapy爬虫. 本来写博客的目的就是为了当作一种教材,当遇到不会的问题过来找答案. 对于HDF5下面这本书写的很详细了,国内针对HDF5的教材少之又少,python这块应该只有这一本. 大概说下,为什么用HDF5吧.一般股票或期货的历史K线数据都会使用MySql或MongoDB(VNPY用的它),但是有下面两个缺点: 1.速度:不管是mysql还是Mongodb的读写都存在进程间通信的问题,不同进程间无法直接

#coding=utf-8 #Python 3.4 https://docs.python.org/3.4/library/ #IDE:Eclipse +PyDev Window10 import atexit import os import sys import time import winsound import code import codecs import math import csv import base64 import re import smtplib from em

闲言碎语不讲,直接进入正题.Python在科学计算的应用越来越丰度,而hdf(5)数据的应用也非常广泛.python提供了h5py包供开发者处理数据(http://www.h5py.org/).在windows下配置h5py,可以通过安装Anaconda以及pythonxy来做相对方便,现在主要说在linux下该环境的配置. (1)使用: sudo apt-get install python-pip安装pip工具,然后使用pip install numpy和pip install numpy安

Python write and read hdf5 file http://stackoverflow.com/questions/20928136/input-and-output-numpy-arrays-to-h5py http://docs.h5py.org/en/latest/quick.html 具体实例请查看preprocessvideo.py里面的实现 h5.keys() #list dataset in h5 file python read cdf file 安装参考 主要

import random from PIL import Image import numpy as np import os import h5py from PIL import Image LIST_FILE = ['list_train.txt', 'list_test.txt']###################### HDF5_LIST = 'HDF5/list_hdf5.txt'############## print '\nplease wait...' #write Ph

1.安装pyhdf包 (1)通过此链接查找并下载pyhdf包:https://www.lfd.uci.edu/~gohlke/pythonlibs/#pygame(根据自己的系统及python版本选择对应的pyhdf包) (2)在dos命令行下切换到包所在的文件夹,并运行pip install 包名进行安装. 2.读hdf4文件 #导入包 from pyhdf.SD import * from osgeo import osr import numpy as np (1)#读取文件 file="

HDF Hierarchical Data Format,又称HDF5 在深度学习中,通常会使用巨量的数据或图片来训练网络.对于如此大的数据集,如果对于每张图片都单独从硬盘读取.预处理.之后再送入网络进行训练.验证或是测试,这样效率太低.如果将这些图片都放入一个文件中再进行处理效率会更高.有多种数据模型和库可完成这种操作,如HDF5和TFRecord. 一个HDF5文件是一种存放两类对象的容器:dataset和group. Dataset是类似于数组的数据集,而group是类似文件夹一样的容器,

一个HDF5文件是一种存放两类对象的容器:dataset和group. Dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group.在使用h5py的时候需要牢记一句话:groups类比词典,dataset类比Numpy中的数组. HDF5的dataset虽然与Numpy的数组在接口上很相近,但是支持更多对外透明的存储特征,如数据压缩,误差检测,分块传输. 深度学习中也常用HDF5存储模型文件或数据集 import h5py  #导入工具包   im

from libtiff import * imgdir = TIFF3D.open("train-labels.tif") imgarr = imgdir.read_image() for i in range(imgarr.shape[0]): savepath = "./train-labels/"+ str(i) + '.tif' img = TIFF.open(savepath, 'w') img.write_image(imgarr[i])

在同级目录完成tif和jpg的批量转换 import os import cv2 import numpy as np from osgeo import gdal #数据格式转化 def normalization(data): _range = np.max(data) - np.min(data) return (data - np.min(data)) / _range def imgto8bit(img): img_nrm = normalization(img) img_8 = np

info:更多Django信息url:https://www.oschina.net/p/djangodetail: Django 是 Python 编程语言驱动的一个开源模型-视图-控制器(MVC)风格的 Web 应用程序框架.使用 Django,我们在几分钟之内就可以创建高品质.易维护.数据库驱动的应用程序. Django 框架的核心组件有: 用于创建模型的对象关系映射 为最终用户设计的完美... info:更多OpenERP信息url:https://www.oschina.net/p/o

GDAL是一个操作各种栅格地理数据格式的库.包括读取.写入.转换.处理各种栅格数据格式(有些特定的格式对一些操作如写入等不支持).它使用了一个单一的抽象数据模型就支持了大多数的栅格数据(GIS对栅格,矢量,3D数据模型的抽象能力实在令人叹服).当然除了栅格操作,这个库还同时包括了操作矢量数据的另一个有名的库ogr(ogr这个库另外介绍),这样这个库就同时具备了操作栅格和矢量数据的能力,买一送一,这么合算的买卖为什么不做.最最最重要的是这个库是跨平台的,开源的!如今这个库对各种数据格式的支持强大到

1.下载 2.安装,假定路径为D:/Anaconda 3.在命令行中查看已安装的包及其版本 D: cd Anaconda conda list 结果: # packages in environment at D:\Anaconda: # _license 1.1 py35_1 _nb_ext_conf 0.3.0 py35_0 alabaster 0.7.9 py35_0 anaconda 4.2.0 np111py35_0 anaconda-clean 1.0.0 py35_0 anacon

多种格式数据加载.处理与存储 实际的场景中,我们会在不同的地方遇到各种不同的数据格式(比如大家熟悉的csv与txt,比如网页HTML格式,比如XML格式),我们来一起看看python如何和这些格式的数据打交道. 2016-08 from __future__ import division from numpy.random import randn import numpy as np import os import sys import matplotlib.pyplot as plt n

上一节中我们学习了selenium,用python来操作浏览器,在做网页自动化测试的时候最好不过了 .如果我们来做爬虫用一个带界面的浏览器似乎不太好吧,那可咋办呢?别着急,下来我们要介绍的就是一款不带界面的浏览器--PhantomJS.其是一个无界面的,可脚本编程的WebKit浏览器引擎,支持多种web 标准:DOM 操作,CSS选择器,JSON,Canvas 以及SVG. 这里可能会有人问:为什么要用浏览器来抓取页面数据,不用之前我们之前直接通过Urllib获取网页然后分析呢? 这是因为我们通

近来公司的测试部门要我们开发,按他们给我测试案例,写vba脚本,方便他们做自动化测试,老大把这事交给了我做.之前没写过vba,很多API都不会用,边写边谷歌,写得很慢. 我记得测试第一次做的是打开关闭文档的案例,总共15个案例,我之前纯在vba环境里写,大概用了我四个多小时,整个的案例的过程都是: sub case__xx() ...... end sub 每个案例的代码都不多,大概是十行左右,外边案例流程的注释, 总共也就150行代码,共花四个小时.周末加个班,也就写完了.交差! 过不了几天,

NoteBook of <Data Analysis with Python> 3.IPython基础 Tab自动补齐 变量名 变量方法 路径 解释 ?解释, ??显示函数源码 ?搜索命名空间 %run命令 %run 执行所有文件 %run -i 访问变量 Ctrl-C中断执行 %paste可以粘贴剪切板的一切文本 一般使用%cpaste因为可以改 键盘快捷键 魔术命令 %timeit 检测任意语句的执行时间 %magic显示魔术命令的详细文档 %xdel v 删除变量,并清除其一切引用 注册

http://www.cnblogs.com/batteryhp/p/5021858.html 输入输出一般分为下面几类:读取文本文件和其他更高效的磁盘存储格式,加载数据库中的数据.利用Web API操作网络资源. 1.读写文本格式的数据 自己感觉读写文件有时候"需要运气",经常需要手工调整.因为其简单的文件交互语法.直观的数据结构,以及诸如元组打包解包之类的便利功能,Python在文本和文件处理方面已经成为一门招人喜欢的语言.pandas提供了一些用于将表格型数据读取为DataFra

数据加载.存储与文件格式 读写文本格式的数据 逐块读取文本文件 read_xsv参数nrows=x 要逐块读取文件,需要设置chunksize(行数),返回一个TextParser对象. 还有一个get_chunk方法,它使你可以读取任意大小的块. 将数据写出到文本格式 DataFrame的to_csv() Series的to_csv()和from_csv()和read_csv() 手工处理分隔符格式 JSON数据 python标准库中有专门操作模块 json.loads() json.dump