这篇文章用pandas对全球的人口数据做个简单分析.我收集全球各国1960-2019年人口数据,包含男女和不同年龄段,共6个文件. pop_total.csv: 各国每年总人口 pop_female.csv:各国每年女性人口 pop_male.csv: 各国每年男性人口 pop_0_14.csv: 各国每年0-14岁人口 pop_15_64.csv: 各国每年15-64岁人口 pop_65up.csv:各国每年65岁以上人口 先用pandas读取文件数据 import pandas as pd

如何抓取电商的数据 & Python https://www.zhihu.com/question/40720286 https://www.zhihu.com/question/38245582

问题:公司在印度开设生产工厂并在当地销售手机,生产.销售系统均由印度开发维护.对总部需要的售后数据,采用每日在ftp上提供一个.xlsx文件,给总部使用.总部需要将此数据导入到总部的销量统计系统中,以便制作售后相关报表. 原因:独立系统间的数据同步与交互下,没有WebService接口. 解决方法:编写程序实现将ftp上的文件数据转化为系统数据库数据. 业务逻辑: 一.下载ftp中.xlsx文件数据 二.读取.xlsx文件,并将数据插入到SQL Server中 具体方案:.NET平台有类似功能的

一个获取上海地区AQI质量的Python脚本 https://github.com/yanyueoo7/Raspberrypi/blob/master/GetPmData_Shanghai.py #!/usr/bin/env python # -*- coding: utf-8 -*- #Author:Tea import time import sys import json import random import requests reload(sys) sys.setdefaultenc

最近公司在写一个课程<大数据运维实训课>,分为4个部分,linux实训课.Python开发.hadoop基础知识和项目实战.这门课程主要针对刚从学校毕业的学生去应聘时不会像一个小白菜一样被刷掉.老大让我负责编写Python开发这块,让一个运维同学去写书???心中一万只草泥马奔腾而过,吐槽过后工作还是要继续,想起自己学习Python时候,一整套课程或者是人家的博客学下来,到最后总是会忘掉以前的一些东西,无非是自己没有实操,习题量不够.所谓天道酬勤,用大量的题海战术来巩固知识点,到最后闭着眼睛也能

项目现状:已经部署在服务器上并正常运行了. 1.服务器上的部署 2.下载到服务器的文件列表 3.转存在到数据库SQL Server中的数据 项目总结:这次项目采用python来实现,刚开始还是有点担忧的.不过,人活着得勇于革新,乐于进取.从0到1是一个挑战自我的过程.只要走出了第1步,剩下的99步就有了方向,那么离目标的实现就为期不远了.尝试是一种挑战,是一种进步,更是一件富含乐趣的事情. 人活到老,学到老.困难总是暂时的,目标总是会实现的.“猴子”们加油!!!

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇开始进入正题了.为实现我们整个项目功能而开始实现各个子模块功能.首先实现第一篇列出的分步功能模块的第五步: 5.python连接SQL Server,读写数据 解决方案:查找python与SQL Server交互的相关资料,编写涉及的功能函数,并将其封装在一个通用的SQLHelper类中.这样方便使用和维护. 具体实践: 1.新建了一个类: SQLHelper.py.首行添加代码:import pymssql,引用 pymssql包.

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇开始进入正题了.为实现我们整个项目功能而开始实现各个子模块功能.首先实现第一篇列出的分步功能模块的第四步: 4.python读取excel文件 解决方案:查找python读取.xlsx文件的相关资料,编写涉及的功能函数,并将其封装在一个通用的ExcelHelper类中.这样方便使用和维护. 具体实践: 1.新建了一个类: ExcelHelper.py.首行添加代码:import xlrd,引用 xlrd包. 2.创建获取sheet表数

本篇文章转自简书:http://www.jianshu.com/p/85d563d326a9 这段时间在看量化策略,找到了一个比较不错的开源项目,但是yahoo金融的数据源一直没有找到,在网上找到了这篇文章,分享一下.文章最下方是原作者的微信号,有想打赏的自便~~ Yahoo! Finance提供国内外财经数据,PYTHON通常借助于pandas或者matplotlib进行数据读取. 由于2017年5月16日Yahoo!单方面进行了API升级,原数据接口已下线. 原URL格式:https://c

前言 由于AI的发展,包括Python集成了很多计算库,所以淡入了人们的视野,成为一个极力追捧的语言. 首先概括下Python中文含义是蟒蛇,它是一个胶水语言和一个脚本语言,胶水的意思是能和多种语言集成,脚本的意思是没有强制类型,直接解释执行,和PHP类似. 下面是对Python的一些基础语法介绍. 安装教程这里就不说了,大家自行百度,小编这里用的是PyCharm开发. 现在主流的就是Python3.X,所以下面讲解的3.X.2.X不建议学了,因为慢慢就被取代了. 下面直接贴代码和运行结果: 第

根据mysql内数据,python建倒排索引,再导回mysql内. 先把mysql内的数据导出,先导出为csv文件,因为有中文,直接打开csv文件会乱码,再直接改文件的后缀为txt,这样打开时不会是乱码,在第一行输入列名 保存时选另存为,将编码格式改为utf-8 这是建倒排索引时的代码(sort列没有空格和逗号) 运行是会报一个warning,但是结果没问题,代码结合了网络搜索结果,和我自己的修改,引用自: https://blog.csdn.net/luoganttcc/article/det

-cacheArchive也是从hdfs上进分发,但是分发文件是一个压缩包,压缩包内可能会包含多层目录多个文件 1.The_Man_of_Property.txt文件如下(将其上传至hdfs上) hadoop fs -put The_Man_of_Property.txt /mapreduce Preface “The Forsyte Saga” was the title originally destined for that part of it which is called “The

-cacheFile 分发,文件事先上传至Hdfs上,分发的是一个文件 1.找一篇文章The_Man_of_Property.txt: He was proud of him! He could not but feel that in similar circumstances he himself would have been tempted to enlarge his replies, but his instinct told him that this taciturnity wa

统计某几个词在文章出现的次数 -file参数分发,是从客户端分发到各个执行mapreduce端的机器上 1.找一篇文章The_Man_of_Property.txt如下: He was proud of him! He could not but feel that in similar circumstances he himself would have been tempted to enlarge his replies, but his instinct told him that t

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇我们试着把python程序打包成.exe程序.这样就可以在服务器上运行了.实现首篇计划列表功能模块的第三步: 3..exe文件能在服务器上运行 解决方案:在需要部署.exe文件的服务器上试运行 具体实践:将python程序打包好的.exe文件拷贝到服务器,双击运行.弹出错误提示“无法启动此程序...”,如下图所示. 解决办法:安装VC redit.exe程序即可解决.链接:https://www.microsoft.com/zh-cn

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇我们试着把python程序打包成.exe程序.这样就可以在服务器上运行了.实现首篇计划列表功能模块的第二步: 2.将python程序转为 .exe 文件 解决方案:查找python转化.exe文件的相关资料,将python程序打包. 具体实践: 1.安装pyinstaller.python程序打包需要通过pyinstaller来完成.将pyinstaller的路径添加到环境变量中. 2.打包python程序.在CMD中进入到需要打包的

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇开始进入正题了.为实现我们整个项目功能而开始实现各个子模块功能.首先实现第一篇列出的分步功能模块的第一步: 1.python访问ftp,下载所有文件到本地文件夹DownloadData 解决方案:查找python访问ftp并下载文件的相关资料,编写涉及的功能函数,并将其封装在一个通用的FTPHelper类中.这样方便使用和维护. 具体相关项分析: 1.ftp对象信息:ftp主机名称或者ip地址,端口(默认是21),登录名称,登录密码.

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:实现第一个python程序的“Hello world!” 解决方案:新建一个项目Test,创建一个Test.py文件.在文件中实现打印出“Hello world!” 1.打开pycharm,创建Test项目.New Project,修改项目名称为Test,然后Create. 2.创建python文件.右键选中Test项目,选中New,Python File,输入文件名Test. 3.第一个python程序的“Hello world!”.好

问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:安装python和pycharm.要编写并运行python程序就需要电脑有开发工具和运行环境,所以此篇就是安装编辑和运行python程序的软件. 解决方案:我的电脑情况:Win10 64位.针对电脑情况下载对应的软件,这很重要. 一.安装python. 1.官网上下载安装程序.https://www.python.org/downloads/ 选择3.6.5版本,下载64位安装程序. 2.运行安装程序python-3.6.5-amd64.

实际案例: 1.过滤掉列表 [3,9,-1,10,20,-2..]的负数 2.筛出字典{'LiLei':79,'Jim':88,'Lucy':92...}中值高于90的项 3.筛出集合 {77,89,32,20..}中能被3整出的元素 ---最通用方法,FOR循环迭代,加上if判断进行过滤 例如: 这样写的问题:  在Python里显得很啰嗦,效率也很差! 解决方案--- 列表  列子:  列表解析: '''filter函数filter(,)接收2个参数,第一个,传入一个过滤函数,通常用lamb

[python]抓取沪深股市交易龙虎榜数据 python 3.5.0下运行 没做自动建立files文件夹,需要手动在py文件目录下建立files文件夹后运行 #coding=utf-8 import gzipimport http.cookiejar import urllib.request import urllib.parse import json import os import time import datetime def getOpener(head): # deal with