Solr Dataimporthandler 导入MySQL 内存溢出。

最近准备把一千九百多万数据导入Solr中,在以前测试数据只有一两百万,全量导入没有任务问题.但是,换成一千九百万数据时,solr报内存异常(java.lang.OutOfMemoryError:GC overhead limit exceeded),整个tomcat无法使用.我发现,我给tomcat最大堆内存512M.我觉得,可能是内存过小,于是,我把内存改大些,1024M(set JAVA_OPTS=-server -Xms1024m -Xmx1024m -XX:PermSize=128M -…

[转]solr DataImportHandler 解决mysql 表导入内存溢出问题

最近一个项目要用到solr做全文检索,开始盲人摸象. 用tomcat 7 开始配置,开始正常,但是遇到cookie里有中文就报错. 无奈,换tomcat 6, 结果DataImportHandler 就不间断报内存溢出的错误. 百度google之, 发现资料都是很老的,不是说mysql不支持某属性,就是要自己改导入代码.期间得知 batchSize这个属性,遂查询官网.(关键时刻,还是官网给力) mysql的设置(红色部分),搞定. <dataSource type="JdbcDataS…

我与solr(二)--导入mysql数据库

关于solr的搭建详见上一篇的随笔. 步骤1: 在webapps中solrhome下新建一个文件夹名字叫做mynode(名字不固定,可以随便取,但是这个名字在后面的配置中会有所关联.)然后在mynode文件下新建一个名字叫做conf的文件夹(这个文件名字最后不要改.)然后把官网下下来的solr项目中solr-6.0.0\server\solr\configsets\data_driven_schema_configs\conf下的所有东西复制到conf中去.(注意不要复制错!)最后把solr-6…

使用solr批量导入mysql数据库,以及Unable to read: dataimport.properties等坑

折腾了一下午终于成功了!先放一张成功图: 成功把mysql的数据添加进去了,我这里是整合了tomcat9,整合步骤挺麻烦的,百度一大堆! 这里主要介绍批量导入数据,这里有些坑,所以记录一下: 步骤: 第一: 引入需要的jar包我这里把home目录放外面了,所以核心配置文件引入jar包需要改一下: 在下面这个目录下复制进去需要的jar包,mysql自己找,下面两个可以在solr安装包的dist目录中找到,我这里是7.3.版本: 然后在需要加的core的solrconfig,xml添加引用第二:…

MySQL 内存溢出

select EVENT_NAME ,SUM_NUMBER_OF_BYTES_ALLOC from memory_summary_global_by_event_name order by SUM_NUMBER_OF_BYTES_ALLOC desc limit 10; memory_summary_by_account_by_event_name || memory_summary_by_host_by_event_name || memory_summary_by_thread_by_eve…

tomcat mysql 内存溢出的问题

原因是mysql的密码有问题解决办法: 具体操作步骤: 关闭 mysql: # service mysqld stop 然后: # mysqld_safe --skip-grant-tables 启动 mysql: # service mysqld start…

Solr导入MySQL数据之dataimport-handler

Solr不借助手动JSolr编程情况下也可以将Mysql的数据导入到Solr中.实现方式是安装dataimport-Handler从关系数据库将数据导入到索引库. 1.向SolrCore中加入jar包在SolrCore目录中创建lib目录,将dataimportHandler和mysql数据库驱动的jar拷贝至lib下(dataimportHandler在solr安装目录的dist下) mkdir /opt/solrHome/collection1/lib /dist/solr-dataimp…

在Linux环境下，将Solr部署到tomcat7中，导入Mysql数据库数据，定时更新索引

什么是solr solr是基于Lucene的全文搜索服务器,对Lucene进行了扩展优化. 准备工作首先,去下载以下软件包: JDK8:jdk-8u60-linux-x64.tar.gz TOMCAT8:apache-tomcat-8.5.4.zip SOLR5.5.3:solr-5.5.3.zip 并上传到到linux服务器某个路径下,如下图,我放置在/usr/local/solr目录下:…

Solr导入MySql中的数据

1.参照 http://www.cnblogs.com/luxh/p/5016894.html 部署好solr的环境 2.在solr_home下建立一个core_item目录 [root@iZ23exixsjaZ solr_home]# pwd /luxh/solr/solr_home [root@iZ23exixsjaZ solr_home]# mkdir core_item 在core_item目录中建立data目录 [root@iZ23exixsjaZ core_item]# pwd /l…

solr学习笔记-导入mysql数据

操作系统:LINUX CENTOS 6.7 solr安装目录:/usr/local/solr-6.1.0 1.准备工作: 1.1.创建数据表: CREATE TABLE `mytable` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(25) NOT NULL, `desc` text, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHAR…

POI实现大数据EXCLE导入导出，解决内存溢出问题

使用POI能够导出大数据保证内存不溢出的一个重要原因是SXSSFWorkbook生成的EXCEL为2007版本,修改EXCEL2007文件后缀为ZIP打开可以看到,每一个Sheet都是一个xml文件,单元格格式和单元格坐标均用标签表示.直接使用SXSSFWorkbook来到导出EXCEL本身就是POI为了大数据量导出而量身定制的,所以导出可以直接使用SXSSFWorkbook方式. 为了保险起见可以采用多Sheet的方式保证内存不溢出.需要注意的是Sheet名称不能重复:下载的时候需要定义好返回…

php查询mysql返回大量数据结果集导致内存溢出的解决方法

web开发中如果遇到php查询mysql返回大量数据导致内存溢出.或者内存不够用的情况那就需要看下MySQL C API的关联,那么究竟是什么导致php查询mysql返回大量数据时内存不够用情况? 答案是: mysql_query 和 mysql_unbuffered_query 两个函数首先来分析一个典型的实例:在执行下面的代码的时候就会导致php请求mysql返回结果太多(10W以上)导致PHP内存不够用. while ($row = mysql_fetch_assoc($result))…

PDO之MySql持久化自动重连导致内存溢出

前言最近项目需要一个常驻内存的脚本来执行队列程序,脚本完成后发现Mysql自动重连部分存在内存溢出,导致运行一段时间后,会超出PHP内存限制退出排查发现脚本存在内存溢出后排查了一遍代码,基本确认内存溢出在Mysql查询部分. 如果不确认也可以把不必要的模块去掉,从最基本的业务开始测,如果没有内存泄露,则继续增加模块,基本很快就能定位到内存泄露处的代码解决我使用的是PHP7.2,所以mysql查询部分使用了PDO,但是PDO并没有提供关闭连接的方法,只是说将连接connection赋值为…

线上mysql内存持续增长直至内存溢出被killed分析（已解决）

来新公司前,领导就说了,线上生产环境Mysql库经常会发生日间内存爆掉被killed的情况,结果来到这第一天,第一件事就是要根据线上服务器配置优化配置,同时必须找出现在mysql内存持续增加爆掉的原因,虽然我主业已经不是数据库更不是dba了.看了下mysql占用内存区域的分布: [root@iZ23nn1p4mjZ osm-all]# pmap -x 55245524: /usr/local/Percona-Server-5.7.16-10-Linux.x86_64.ssl101/bin/mys…

全文检索引擎Solr系列——整合MySQL、MongoDB

MySQL 拷贝mysql-connector-java-5.1.25-bin.jar到E:\solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib目录下面配置E:\solr-4.8.0\example\solr\collection1\conf\solrconfig.xml 1 2 3 4 5 6 <requestHandler name="/dataimport" class="org.apache.solr.…

游戏服java程序启动，显示内存溢出

1.OutOfMemoryError:Java heap space 过程:服务器上面的mysql突然异常重启,导致了程序启动的时候报错问题1:OutOfMemoryError:Java heap space 解决过程:1.查看mysql的错误日志根据错误日志,修复相关的表,修改相关的参数设置.修复表使用的是repair table命令. 重启程序,依然报错:问题1. 2.更改mysql的缓冲池大小由于服务器上面开了多个区服,可能导致的程序运行的时候,分配的内存不足.更改innodb-buff…

solr插件导入数据库中的数据

solr插件导入数据库中的数据 1:自定义与数据库对应的域: 1.1. 设置业务系统Field 如果不使用Solr提供的Field可以针对具体的业务需要自定义一套Field. 例如:如下是商品信息Field:  <field name="product_name" type="text_ik" indexed="true" stored="true"/> <field…

Solr数据库导入

Solr数据库导入 1.在MySQL中创建一张表t_solr,并插入测试数据. 2.把E:\Solr\solr-4.10.4\example\example-DIH\solr\db\conf下的admin-extra.html, admin-extra.menu-bottom.html,admin-extra.menu-top.html三个文件也复制到conf中去. 打开E:\Solr\solrHome\mycore\conf路径下的 solrconfig.xml文件,添加如下节点: <requ…