面对读取上G的数据,python不能像做简单代码验证那样随意,必须考虑到相应的代码的实现形式将对效率的影响.如下所示,对pandas对象的行计数实现方式不同,运行的效率差别非常大.虽然时间看起来都微不足道,但一旦运行次数达到百万级别时,其运行时间就根本不可能忽略不计了: 故接下来的几个文章将会整理下渣渣在关于在大规模数据实践上遇到的一些问题,文章中总结的技巧基本是基于pandas,有错误之处望指正. 1.外部csv文件读写大数据量csv读入到内存分析思路:数据量非常大时,比如一份银行一个月的流水…

一.字符串拆分 str = "hola ha1 ha2 china ha3 " # partition 从左侧找到第一个目标,切割成三组数据的[元组] str1 = str.partition("a") print(str1) # ('hol', 'a', ' ha1 ha2 china ha3 ') # rpartition 从右侧找到第一个目标,切割成三组数据的[元组] str2 = str.rpartition("a") print(str…

字符串常用操作 7月19日,7月20日 ,7月22日,7月29日,8月29日,2月29日 首字母大写:a_str.capitalize() 统计字符串个数:a_str.count(“x”) 输出字符,不够的使用指定的字符补上,字符居中:a_str.center(50,”-“) 判断字符串以什么结尾:a_str.endwith(“xx”) 将字符串中的tab转换为指定数目的空格:a_str.expandtabs(tabsize=30) 查找指定字符串在字符串中的位置:a_str.find(“xx”…

数据有缺漏,需要在数据前面补零 =TEXT(F70,"000000") 前面是要操作的数据,后面是补几位 匹配数据(将一个表格中的数据进行匹配) =VLOOKUP(C2,aaa,4,0) c2是要匹配数据,aaa是我给匹配的表单起的别名,4是匹配表返回的列,0为精确匹配 =VLOOKUP(C2,[sad]sheet1!$A:$G,4,0) 这样写也行 我经常匹配不到的两个原因: 1.要匹配的数据没有写在第一列 2.数据格式不对 数据格式导致出错 1.数字相关:数字开头的零给省略了,原因…

将用逗号隔开字段拆分成两行: select * from mp_fs_file_info a,dm_process_upload b where instr(b.attachment,a.file_id,1,1)>0; 字段名小写加双引号to_char转换成制定格式. select to_char(xmmc), 项目名称,dwmc "name" from desulfidation, 插入多条数据:insert into imdt_role_permission (      (…

最近在爬一个网站的文档的时候,老师要求把一段文字切割开来,根据中间的文本分成两段 故学习了一段时间的切片操作,现把学习成果po上来与大家分享 1.何为切片? 列表的切片就是处理列表中的部分元素,是把整个列表切开的方法. 切片可以说是整个列表中的重点内容,相信你在以后的Python项目中会经常使用到. 它的语法是: 2.简单介绍切片的几个常见操作 我们这里以<扶摇>作为试验项目 我们今天就使用列表存储里面的角色,然后用切片把它分开. 具体如下: 接下来,咱们使用上面的列表信息,盘点一下列表切片的…

文章目录 DSL语法 概述 实例操作 SQL语法 概述 实例操作 DSL语法 概述 1.查看全表数据 -- DataFrame.show 2.查看部分字段数据(有4种方法)  (1) DataFrame.select("字段名称").show  (2) DataFrame.select($"字段名称").show(推荐)  (3) DataFrame.select(col("字段名称")).show  (4) DataFrame.select(D…

import pymysql class OperationDatabase(): def __init__(self,Ip,User,PassWd,DBname): self.ip=Ip self.user=User self.passwd=PassWd self.dbname=DBname def ConnectDatabase(self): self.db = pymysql.connect(self.ip,self.user,self.passwd,self.dbname) self.c…

JSON字符串: var str1 = '{ "name": "cs", "sex": "man" }'; JSON对象: var str2 = { "name": "cs", "sex": "man" }; 1.字符串转JSON var obj = JSON.parse(str1); 2.JSON转字符串 var str=JSON.stringi…

直接上代码示例: #!/user/bin env python # author:Simple-Sir # time:20180914 # 字符串常用操作 name = 'lzh lyh' print('capitalize返回值:',name.capitalize()) # 首字母大写 print('count返回值:',name.count('l')) #指定字母数量 print('center返回值:',name.center(50,'-')) #共打印50个字符,不够的用"-"…