安装mysql2 打开cmd: gem install mysql2 代码 require 'win32ole' require 'mysql2' class String def addslashes self.gsub(/\'/,"'") end end begin i = 1 excel = WIN32OLE::new('excel.Application') workbook = excel.Workbooks.Open('C:\Users\devil\Des…

package com.zjlantone.hive import java.util.Properties import com.zjlantone.hive.SparkOperaterHive.sparkSession import org.apache.spark.rdd.RDD import org.apache.spark.sql.types.StructType import org.apache.spark.{SparkConf, SparkContext} import org.…

需求:爬取“理财大视野”网站的排名.代码.名称.市净率.市盈率等信息,并分别写入txt.excel和mysql 环境:python3.6.5 网站:http://www.dashiyetouzi.com/tools/value/Graham.php 查看html源码:信息在html中以table形式存在,每个股票信息是一行,存放在tr中,单元格信息存放在td中 因此思路为:通过id或者class查找table→查找tr→查找td 第三方库 from bs4 import BeautifulSou…

python2.7爬取豆瓣电影top250并分别写入到TXT,Excel,MySQL数据库 1.任务 爬取豆瓣电影top250 以txt文件保存 以Excel文档保存 将数据录入数据库 2.分析 电影中文名的采集可以查看:http://www.cnblogs.com/carpenterworm/p/6026274.html 电影链接采集:…

1. 写在前面 Flink被誉为第四代大数据计算引擎组件,即可以用作基于离线分布式计算,也可以应用于实时计算.Flink的核心是转化为流进行计算.Flink三个核心:Source,Transformation,Sink.其中Source即为Flink计算的数据源,Transformation即为进行分布式流式计算的算子,也是计算的核心,Sink即为计算后的数据输出端.Flink Source原生支持包括Kafka,ES,RabbitMQ等一些通用的消息队列组件或基于文本的高性能非关系型数据库.而…

注意:编码前先导入poi相关jar包 1 /** * 读excel 到list * * @param file excel file * @param fields 字段数组 * @return * example OfficeHandle.readExcel("d:/test/test.xls", * new String[]{"id","num","name"}) */ public static JSONArray re…

1 Spark读HBase Spark读HBase黑名单数据,过滤出当日新增userid,并与mysql黑名单表内userid去重后,写入mysql. def main(args: Array[String]): Unit = { @volatile var broadcastMysqlUserids: Broadcast[Array[String]] = null val today = args(0) val sourceHBaseTable = PropertiesUtil.getProp…

原文地址 :http://www.bugingcode.com/blog/python_xlrd_read_excel_xlwt_write_excel.html 在数据分析和运营的过程中,有非常多的时候需要提供给别人使用,提供的形式有很多种,最经常使用的是Excel, 而 数据的统计和分析采用的是 python, 使用 python 把数据存在Excel 也是常见的事情,也有很多的库帮我们做了很多引擎的事情,比如说xlrd 和xlwt, 分别为读excel和写excel. 安装xlrd和 py…

MS SQL Server 提供一个称为 bcp 的流行的命令提示符实用工具,用于将数据从一个表移动到另一个表(表可以在不同服务器上). SqlBulkCopy 类允许编写提供类似功能的托管代码解决方案.相比其他将数据加载到 SQL Server 表的方法(例如 INSERT 语句), SqlBulkCopy 提供明显的性能优势.(经测试数据量越大性能越明显,至少是批量insert语句的25倍以上.) 使用 SqlBulkCopy 类只能向 SQL Server 表写入数据.但是数据源不限于 S…

Ruby使用DBI连接MySQL数据库一般为: require "dbi" dbh = DBI.connect("dbi:Mysql:test:localhost", "root", "123456") dbh.disconnect if dbh 但是当mysql数据库端口改变时,如果直接在“dbi:Mysql:test:localhost”后面加上端口号,如“dbi:Mysql:test:localhost:10086”,将…