100W数据，测试索引

两张表,结构相同,数据内容相同.唯一不同的就是是否包含索引.tf_user_index表中包含索引. 这100w数据,我造了近一天时间. mysql> select count(*) from tf_user_index where score = 30; +----------+ | count(*) | +----------+ | 126306 | +----------+ 1 row in set (0.03 sec) mysql> select count(*) from tf_us…

关于SQL查询效率，100w数据，查询只要1秒

1.关于SQL查询效率,100w数据,查询只要1秒,与您分享:机器情况p4: 2.4内存: 1 Gos: windows 2003数据库: ms sql server 2000目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp 1.-- 建表create table t_userinfo(userid int identity(1,1) primary key nonclustered,nick varchar(50) not null defau…

如何快速的插入 100W数据到数据库，使用PreparedStatement 最快实现!

有时候,我们使用数据库的时候,如何快速的添加测试数据到数据库中,做测试呢,添加100W 数据,如果使用工具的话可能很慢,这里我推荐大家使用 PreparedStatement 预编译去进行操作:单线程操作 ,测试只需要 20秒如果字段少的话,可以到几秒钟插入100w数据 public static void main(String[] args) { long start = System.currentTimeMillis(); conn(); long end = System.cur…

Solr学习笔记之3、Solr dataimport - 从SQLServer导入数据建立索引

Solr学习笔记之3.Solr导入SQLServer数据建立索引一.下载MSSQLServer的JDBC驱动下载:Microsoft JDBC Driver 4.0 for SQL Server 地址:http://www.microsoft.com/zh-CN/download/details.aspx?displaylang=en&id=11774 二.配置Solr dataimport for SQLServer 1.依赖jar包配置将MSSQLServer的JDBC驱动中的sqlj…

[搜索]ElasticSearch Java Api(一) －添加数据创建索引

转载:http://blog.csdn.net/napoay/article/details/51707023 ElasticSearch JAVA API官网文档:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-docs-index.html 目录: 一.生成JSON 1.1手写方式生成 1.2使用集合 1.3使用JACKSON序列化 1.4使用ElasticSearch 帮助类二.创建索引…

实战：mysql统计指定架构的全部表的数据和索引大小情况-v2

PS:第一个版本号里未做输入的schema_name和table_name推断,改动了一下!再次share! #统计指定架构的全部表的数据和索引大小情况 #tablesize.sh #!/bin/sh #ocpyang@126.com if [ "$#" -gt 2 -o "$#" -lt 1 ];then echo "**********************************" echo "too many input pa…

Mysql 查看表数据以及索引大小

如果想查看 Mysql 数据库的总的数据量或者某个表的数据或者索引大小,可以使用系统库 information_schema 来查询,这个系统库中有一个 TABLES 表,这个表是用来记录数据库中表的大小.行数.索引大小等信息 mysql > use information_schema; Database changed mysql > show create table TABLES; mysql > desc TABLES; 表结构如下: sql: CREATE TEMPORARY…

（转）淘淘商城系列——导入商品数据到索引库——Service层

http://blog.csdn.net/yerenyuan_pku/article/details/72894187 通过上文的学习,我相信大家已经学会了如何使用Solrj来操作索引库.本文我们将把商品数据导入到索引库中的Service层代码编写完毕! 首先在taotao-search-interface工程中新建一个接口,如下图所示. 可以看到importAllItemToIndex方法的返回值类型是TaotaoResult,当你纠结返回值是什么的时候,你就可以使用TaotaoResult.…

MySQL数据和索引占用空间查询

MySQL数据和索引占用空间查询查询所有数据库占用磁盘空间大小的SQL语句 SELECT table_schema, -- 数据库名称 concat( TRUNCATE ( sum( data_length ) / 1024 / 1024, 2 ), 'MB' ) AS data_size, -- 数据占用空间 concat( TRUNCATE ( sum( index_length ) / 1024 / 1024, 2 ), 'MB' ) AS index_size -- 索引占用空间 FR…

Mysql高级操作学习笔记:索引结构、树的区别、索引优缺点、创建索引原则(我们对哪种数据创建索引)、索引分类、Sql性能分析、索引使用、索引失效、索引设计原则

Mysql高级操作索引概述: 索引是高效获取数据的数据结构索引结构: B+Tree() Hash(不支持范围查询,精准匹配效率极高) 树的区别: 二叉树:可能产生不平衡,顺序数据可能会出现链表结构平衡二叉树:插入需要自旋,性能根据层级而定,性能不稳定 b+tree: 主键聚簇叶子节点存放数据,非叶子节点存放索引, 二级索引非叶子节点存放索引,叶子节点存放主键索引优缺点: 优点: 大大加快查询速度使用分组和排序时候可以显著减少分组和排序时间唯一索引可以保证字段唯一可以加速表与表之间的…

100W数据，测试复合索引

复合索引不是那么容易被catch到的. 两个查询条件都是等于的时候,才会被catch到. mysql> select count(*) from tf_user_index where sex = 2 and score > 80; +----------+ | count(*) | +----------+ | 1261904 | +----------+ 1 row in set (10.65 sec) mysql> select count(*) from tf_user wher…

SQL查询效率：100w数据查询只需要1秒钟

G os: windows 数据库: ms sql server 目的: 查询性能测试,比较两种查询的性能 SQL查询效率 step by step -- setp . -- 建表 create table t_userinfo ( userid ,) primary key nonclustered, nick varchar() not null default '', classid , writetime datetime not null default getdate() ) go…

elasticsearch 导入基础数据并索引之 geo_point

elasticsearch 中的地理信息存储, 有geo_point形式和geo_shape两种形式此篇只叙述geo_point, 地理位置需要声明为特殊的类型, 不显示在mapping中定义的话, 需要 { "pin" : { "location" : { "lat" : 40.12, "lon" : -71.34 }, "tag" : ["food", "family&q…

elasticsearch 导入基础数据并索引之 geo_shape

我们看到的图形, 实际是由点来完成的, 有2种类型的格子模型可用于地理星座, 默认使用的是geoHash, 还有一种4叉树(quad trees), 也可用于判断形状与索引的形状关系 1), intersects: 查询的形状与索引形状有重叠(默认) 2), disjoint: 查询的形状与索引的ixngzhuang完全不重叠 3), within: 索引的形状被包含在查询中建立mapping时, 需要明确映射: PUT /attractions { "mappings": { &…

(转）淘淘商城系列——使用solrj来测试索引库

http://blog.csdn.net/yerenyuan_pku/article/details/72892280 我们使用solrj来操作索引库,一般习惯先建一个单元测试类测试下增删改查方法是否好使,这样可以大大减少出错概率,提升开发效率. 我们的taotao-search-service工程还没有添加对solrj的依赖,因此需要先添加对solrj的依赖,在taotao-search-service工程的pom.xml文件当中添加如下依赖(之所以不用写版本号是因为在taotao-paren…

SQL 数据优化索引建suo避免全表扫描

首先什么是全表扫描和索引扫描?全表扫描所有数据过一遍才能显示数据结果,索引扫描就是索引,只需要扫描一部分数据就可以得到结果.如果数据没建立索引. 无索引的情况下搜索数据的速度和占用内存就会比用索引的检索慢和高.下面是一个例子 1:无索引的情况 Product表,里面没有任何索引,如下图: 从上图中,我悲剧的看到了,物理读是9次,也就说明走了9次硬盘,你也可以想到,走硬盘的目的是为了拿数据,逻辑读有1636次,要注意的是这里的"次"是"页"的意思,也就是在内存中走了…

json数据处理实战:Kafka+Flume+Morphline+Solr+Hue数据组合索引

背景:Kafka消息总线的建成,使各个系统的数据得以在kafka节点中汇聚,接下来面临的任务是最大化数据的价值,让数据“慧”说话. 环境准备: Kafka服务器*3. CDH 5.8.3服务器*3,安装Flume,Solr,Hue,HDFS,Zookeeper服务. Flume提供了可扩展的实时数据传输通道,Morphline提供了轻量级的ETL功能,SolrCloud+Hue提供了高性能搜索引擎和多样的数据展现形式. 12.20补充:(Hue的另外一种代替方式:Banana.) 一.环境安装(…

【Solr】数据库数据导入索引库

目录分析框图配置数据库与solrconfig.xml 回到顶部分析框图框图画的粗糙!勿喷啊!勿喷啊! 回到顶部配置数据库与solrconfig.xml Dataimport插件可以批量把数据库中的数据导入到索引库中. 1.添加jar包需要的jar包,再solr,目录的dist下,找到solr-dataimporthandler-4.7.0.jar,solr-dataimporthandler-extras-4.7.0.jar,移动到collection1下,lib包,如果没有lib…

Mysql表大小数据大小索引大小查询

SELECT CONCAT(ROUND((INDEX_LENGTH+DATA_LENGTH)/1024/1024, 2), 'MB') AS '总大小',CONCAT(ROUND(DATA_LENGTH/1024/1024, 2), 'MB') AS '数据大小',CONCAT(ROUND(INDEX_LENGTH/1024/1024, 2), 'MB') AS '索引大小' FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA='youwoapp…

mysql查看数据表索引信息

查看索引 mysql> show index from tblname; mysql> show keys from tblname; · Table 表的名称. · Non_unique 如果索引不能包括重复词,则为0.如果可以,则为1. · Key_name 索引的名称. · Seq_in_index 索引中的列序列号,从1开始. · Column_name 列名称. · Collation 列以什么方式存储在索引中.在MySQL中,有值‘A’(升序)或NULL(无分类). · Cardi…

pandas 对数据帧DataFrame中数据的索引及切片操作

1.创建数据帧 index是行索引,即每一行的名字:columns是列索引,即每一列的名字.建立数据帧时行索引和列索引都需要以列表的形式传入. import pandas as pd df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row_0', 'row_1'], columns=['col_0', 'col_1', 'col_2']) 2.获取数据帧的行索引和列索引 2.1 获取行索引 # 以数组形式返回 row_name = df.ind…