//[和讯数据] //大商所DCE.郑商所CZCE.上期所SHFE3.中金所CFFEX //期货1分钟线http://webftcn.hermes.hexun.com/ ... I1709&date=20170705 //只显示一个交易日http://webftcn.hermes.hexun.com/ ... 570&t=1499317473239 //从指定日期开始显示指定数量的数据http://webftcn.hermes.hexun.com/ ... &number=1000

携程大数据平台负责人张翼分享携程的实时大数据平台的迭代,按照时间线介绍采用的技术以及踩过的坑.携程最初基于稳定和成熟度选择了Storm+Kafka,解决了数据共享.资源控制.监控告警.依赖管理等问题之后基本上覆盖了携程所有的技术团队.今年的两个新尝试是Streaming CQL(华为开源)和JStorm(阿里开源),意在提升开发效率.性能和处理消息拥塞能力,目前已有三分之一的Storm应用已经迁到JStorm 2.1上. 今天给大家分享的是携程在实时数据平台的一些实践,按照时间顺序来分享我们是怎

导语 | 微信支付日志系统利用 Hermes 来实现日志的全文检索功能,自从接入以来,日志量持续增长.目前单日入库日志量已经突破万亿级,单集群日入库规模也已经突破了万亿,存储规模达 PB 级.本文将介绍微信支付日志系统在 Hermes 上的实践,希望与大家一同交流.文章作者:宋新村,腾讯大数据高级运维工程师. 一.业务规模 目前微信支付日志单日最大入库总量已达到万亿级,单日入库存储量达 PB 级,而在春节等重大节假日预计整个日入库规模会有进一步的增长. 微信支付日志业务采用的 Hermes 集群

文 | 潘国庆 携程大数据平台实时计算平台负责人 本文主要从携程大数据平台概况.架构设计及实现.在实现当中踩坑及填坑的过程.实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实时数据平台的公司和同学有所借鉴. 一.携程大数据平台之总体架构 携程大数据平台结构分为三层: 应用层:开发平台Zeus(分为调度系统.Datax数据传输系统.主数据系统.数据质量系统).查询平台(ArtNova报表系统.Adhoc查询).机器学习(基于tensorflow.spa

1.需求及方案: 近两年用外币进行诈骗的案件很多.例如:2015年12月,一安徽诈骗团伙,用不值1角人民币的50印蒂(intis,秘鲁旧货币,1991年发行新货币后已停止流通,目前无货币价值,仅有"收藏"价值),在豫皖鲁苏四省行骗,却屡屡得手.该团伙今年以来已诈骗20多起,至12月8日,警方已查明落实了6起,骗款达20多万元. 同时随着我国经济的发展,出国旅游的人越来越多,在兑换货币的时候也经常有国人被骗的消息. 能否开发一款方便的应用,借AI的力量,给大家一双慧眼呢?正好现在百度推出

要向内表读入3百50万条数据,如果一次读入就会产生运行错误,错误提示为,没有内存对于扩展 内表. 我考虑使用SELECT...INTO TABLE...PACKAGE SIZE 和ENDSELECT来解决这个问题,每次比 如只让10000条数据读入.第二次再让10000条数据读入等等. 现在我有个问题,对于3百50万 条 数据最后输出是应该有顺序的. 但是每次SELECT和ENDSELECT之中只能对10000条数据进行排序, 第二次循环又有10000条新的,并且代替了老的10000,这样导致了

选自:http://maotong.blog.hexun.com/6204849_d.html 应用HTK搭建语音拨号系统--数据准备 苏统华 哈尔滨工业大学人工智能研究室 2006年10月30日 声明:版权所有,转载请注明作者和来源 该系统能够识别连续说出的数字串和若干组姓名.建模是针对子词(sub-word, eg. 音素),具有一定的可扩充性.当加入一个新名字时,只需修改发音词典和任务语法即可.模型为连续混合高斯输出,运用语音决策树聚类形成的绑定状态式三音素. 1. 数据准备 需要录制训练

一.序言 随着TDW的发展,公司在大数据离线分析方面已经具备了行业领先的能力.但是,很多应用场景往往要求在数秒内完成对几亿.几十亿甚至几百上千亿的数据分析,从而达到不影响用户体验的目的.如何能够及时有效的获取分析结果提高工作效率,这是许多分析人员在面对大数据所不得不面临的问题.要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,但是这些都无疑需要比较高的软硬件成本.海量数据的今天,堆机器不是每个业务都愿意去做的. 实时检索分析平台

实时检索分析平台(Hermes)是腾讯数据平台部为大数据分析业务提供一套实时的.多维的.交互式的查询.统计.分析系统,为各个产品在大数据的统计分析方面提供完整的解决方案,让万级维度.千亿级数据下的秒级统计分析变为现实. Hermes实时检索分析场景 1.营销分析 作为营销人员,首先需要确认营销目标群体,并且在什么时间以什么形式,开展什么营销活动效果最好?首先需要找到目标群体号码包,通过指定条件(如性别.年龄.兴趣爱好,曾经有过类似行为)提取号码包:通过大数据分析,得知在某个时间段参与人数较多,哪

例表如下: 表名:MYTEST TID    COL1    COL2     COL3 1           1           A            A2           1           A            A3           2           A            A4           2           B            A5           3           B            B6           3  

同样的错误,不可再犯第三次!!! 数据库中是char,里面带空格,但在pl/sql中这样写可以查出来.如下: select ipostid from product t where ipostid= '212' 但在java中,如果是用jdbc的prepareStatement,这个执行sql就查不出数据来,需要: select ipostid from pb_product where trim(ipostid)=? 查看oracle 用户执行的sql语句历史记录 下面的,没试过,也不知道好不

Hermes和开源Solr.ElasticSearch不同          谈到Hermes的索引技术.相信非常多同学都会想到Solr.ElasticSearch.Solr.ElasticSearch在真可谓是大名鼎鼎,是两个顶级项目,近期有些同学常常问我,"开源世界有Solr.ElasticSearch为什么还要使用Hermes?"          在回答这个问题之前,大家能够思考一个问题,既然已经有了Oracle.MySQL等数据库为什么大家还要使用Hadoo[下的Hive.S

为了抓取和讯网高管增减持的数据,首先得分析一下数据的来源: 网址: http://stockdata.stock.hexun.com/ggzjc/history.shtml 使用chrome开发者工具,可以发现在切换到第二页时,浏览器向下述地址发起了网络访问请求: http://stockdata.stock.hexun.com/ggzjc/data/ChangeHistory.aspx?count=30&page=2&callback=hxbase_json5 分析一下上述链接, cou

使用Python3 urllib.request中的Requests()和urlopen()方法获取页面源码,并用re正则进行正则匹配查找需要的数据. #forex.py#coding:utf-8 ''' urllib.request.urlopen() function in Python 3 is equivalent to urllib2.urlopen() in Python2 urllib.request.Request() function in Python 3 is equiva

Hermes与开源的Solr.ElasticSearch的不同 谈到Hermes的索引技术,相信很多同学都会想到Solr.ElasticSearch.Solr.ElasticSearch在真可谓是大名鼎鼎,是两个顶级项目,最近有些同学经常问我,“开源世界有Solr.ElasticSearch为什么还要使用Hermes?” 在回答这个问题之前,大家可以思考一个问题,既然已经有了Oracle.Mysql等数据库为什么大家还要使用ES下的Hive.Spark? Oracle和Mysql也有集群版,也可

版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/121 来源:腾云阁 https://www.qcloud.com/community Hermes是多维分析利器,使用步骤分为索引创建和数据分发两个步骤. Hermes目前尚未集成到TBDS套件(3.0版本)中且外部有客户需要在自己部署的集群上使用Hermes组件,这里就遇到了Hermes与外部Hadoop集群的适配问题. Hermes与某客户外部集群

    一. 爬取http://blog.jobbole.com/all-posts/中的所有文章     1. 编写jobbole.py简单代码 import scrapy from scrapy.http import Request from urllib import parse class JobboleSpider(scrapy.Spider): name = 'jobbole' allowed_domains = ['blog.jobbole.com'] start_urls =

最近朋友让我帮他做个异步获取数据的程序,暂时服务器什么都没有,所以我就想先拿股票数据打个框架,方便后续开发和移植等事情 代码如下: <!-- 说明:股票看盘 作者:黑桃A 时间:2014-04-14 参考: http://www.lxway.com/240649562.htm http://www.lxway.com/946486042.htm http://www.365mini.com/page/jquery_getscript.htm http://blog.csdn.net/xxjoy_

近来学习炒股,免不了上班时间看盘,总不能光明正大的用电脑看行情,一直盯着手机影响也不好,容易引起“关注”. 所以就想自己做一个网页来达到看盘的目的,一个只显示几个关键数字的网页肯定不会引起怀疑.有想法了,就开始实现吧. 准备工作: 1.数据来源 2.网页数据显示 先帖出来源码,后面讲解 <!-- 说明:股票看盘 作者:黑桃A 时间:2014-04-14 --> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//

转自:http://data.qq.com/article?id=817 三.Hermes设计概要 架构描述 系统核心进程均采用分散化设计,根据业务发展需求,可随意扩缩容机器; 周期性数据直接通过tdw处理落地到分布式文件系统; 实时数据加载采用先落地本地磁盘,最终落地到分布式文件系统,最终都由调度进程分发到计算层; 分析引擎设计 基于单个实例数据的分析处理,datasource主要包含两类数据:用户导入的数据(位图文件)以及源数据(索引文件),内核主要根据用户请求逻辑处理索引文件以及位图文件.