. 问题描述

    在做爬虫的时候，数据量很大，大约有五百百万条数据，假设有个字段是conmany_name（拍卖公司名称）,我们现在需要从五百万条数据里面查找出来五十家拍卖公司，
　　并且要求字段 time（时间） 大于7月一号，小于10月31号。
. 问题解决

    我们首先想到的解决办法是添加索引，对拍卖公司字段添加索引，但是因为日期是大于7月1号，小于10月31号，在这里用索引的效率很低，
　　并且要重复的查询出来五十家公司，效率很低，有没有好的解决方案呢？？？
.解决问题思路

    .查询五百条数据，我们会发现内存不够用，这时候我们只查询一百万条数据，分五次处理完毕。

    .因为这一百万条数据在内存中，把这一百万条数据放到list中去，同时把五十家拍卖公司组合成字符串，然后for循环每一条数据，
　　　　比较拍卖公司是否在字符串中，比较日期是否大于7月一号，小于10月31号。这样去处理，避免数据查询的速度慢。提高数据处理效率。

.感想： 好的解决问题的思路胜过好的解决问题的人




												


											
Python 爬虫   大量数据清洗 ---- sql语句优化的更多相关文章
	

    
								
  1. 重新学习MySQL数据库12：从实践sql语句优化开始
		
    版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/a724888/article/details/79394168 本文不堆叠网上海量的sql优化技巧或 ...
    
		
    2. 
						
  2. 优化数据库的方法及SQL语句优化的原则
		
    优化数据库的方法: 1.关键字段建立索引. 2.使用存储过程,它使SQL变得更加灵活和高效. 3.备份数据库和清除垃圾数据. 4.SQL语句语法的优化.(可以用Sybase的SQL Expert,可惜 ...
    
		
    3. 
						
  3. oracle之sql语句优化
		
    oracle之sql语句优化 sql语句的优化 1.在where子句中使用 is null 或 is not null 时,oracle优化器就不能使用索引了. 2.对于有连接的列,即使最有一个是静态 ...
    
		
    4. 
						
  4. 数据库 基于索引的SQL语句优化之降龙十八掌（转）
		
    一篇挺不错的关于SQL语句优化的文章,因不知原始出处,故未作引用说明! 1 前言      客服业务受到SQL语句的影响非常大,在规模比较大的局点,往往因为一个小的SQL语句不够优化,导致数据库性能急 ...
    
		
    5. 
						
  5. 数据库的优化（表优化和sql语句优化）
		
    在这里主要是分为表设计优化和sql语句优化两方面来实现. 首先的是表设计优化: 1.数据行的长度不要超过8020字节.如果是超过这个长度的话这条数据会占用两行,减低查询的效率. 2.能用数字类型就不要 ...
    
		
    6. 
						
  6. MySQL常用SQL语句优化
		
    推荐阅读这篇博文,索引说的非常详细到位:http://blog.linezing.com/?p=798#nav-3-2 在数据库日常维护中,最常做的事情就是SQL语句优化,因为这个才是影响性能的最主要 ...
    
		
    7. 
						
  7. 浅谈mysql配置优化和sql语句优化【转】
		
    做优化,我在这里引用淘宝系统分析师蒋江伟的一句话:只有勇于承担,才能让人有勇气,有承担自己的错误的勇气.有承担错误的勇气,就有去做事得勇气.无论做什么事,只要是对的,就要去做,勇敢去做.出了错误,承担 ...
    
		
    8. 
						
  8. sql语句优化总结
		
    sql语句优化总结 数据库优化的几个原则: 1.尽量避免在列上做运算,这样会导致索引失败: 2.使用join是应该用小结果集驱动大结果集,同时把复杂的join查询拆分成多个query.不然join的越 ...
    
		
    9. 
						
  9. MySQL基础操作&&常用的SQL技巧&&SQL语句优化
		
    基础操作     一:MySQL基础操作         1:MySQL表复制             复制表结构 + 复制表数据             create table t3 like t ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 1050: 贝贝的ISBN号码(isbn)
			
    #include <iostream> #include <iomanip> #include <cstdlib> #include <string>  ...
    
			
    2. 
						
  2. java获取cpu、内存、硬盘信息[转]
			
    http://m.oschina.net/blog/312911 1 下载安装sigar-1.6.4.zip 使用java自带的包获取系统数据,容易找不到包,尤其是内存信息不够准确,所以选择使用sig ...
    
			
    3. 
						
  3. FTP在CentOS上安装与使用
			
    安装: yum install -y vsftpd 相关配置文件: /etc/vsftpd/vsftpd.conf //主配置文件,核心配置文件 /etc/vsftpd/ftpusers //黑名单, ...
    
			
    4. 
						
  4. 〖Linux〗svn log 每个日志记录只显示一行的方法
			
    vi ~/.bashrc,增加一个function svnlog(){ svn log "$@" | awk -f <(cat <<EOF #!/usr/bin/ ...
    
			
    5. 
						
  5. 〖Android〗CyanogenMod同步错误的解决
			
    1. 错误信息: repo sync CyanogenMod/Superuser Fetching project CyanogenMod/Superuser Fetching projects: % ...
    
			
    6. 
						
  6. Knockout学习之表单绑定器（下）
			
    “hasFocus”绑定 hasFocus绑定器会将DOM元素的焦点状态与视图模型中的属性相关联,当你设置视图模型中关联的属性为true或false后,将能够设置关键的DOM元素是否获得焦点. 比如下 ...
    
			
    7. 
						
  7. Dubbo架构设计详解（转收藏）
			
    转自:http://shiyanjun.cn/archives/325.html Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合 ...
    
			
    8. 
						
  8. Dapper 的输出参数使用示范
			
    -- 普通SQL 示范-- Queries with output parameters. Hide Shrink Copy Code // output parameters // the para ...
    
			
    9. 
						
  9. 【onethink1.0】HTML模板获取前台和后台当前登录用户名
			
    1.版本:onethink1.0:位置:HTML模板 前台:{:get_username()} 后台:{:session('user_auth.username')}
    
			
    10. 
						
  10. PLSQL Developer启动失败
			
    原因:和打印服务冲突 禁掉打印服务,不过打印功能是不行了
    
			
    11.