RTB产品测试进度

元数RTB产品

元数的产品已经测过两个版本,分别是1.1版本和1.2版本,目前线上跑的是1.2版本。程序线上情况目前正常,没有问题。

元数功能账号为:yuanshu  需用root账号切换

元数KV账号为:ysdata    密码:ysdata123456

程序部署情况如下:

测试区,10.0.172.201

YsData.jar包存放位置:

/yuanshu/ys

ys_job.sh脚本存放位置:

/yuanshu/ys

配置文件存放位置在hdfs上:

/test/datatest/yuanshu

程序运行执行命令:

nohup ./ys_job.sh /test/datatest/yuanshu/itemtag test 20150826 &

此命令是运行一个省份一整天的命令,用于资源占用情况的测试

nohup ./ys_gen_kv.sh /daas/bstl/dpifix/fujian/20150827/* /test/datatest/yuanshu/itemtag 20150827 FJ &

此命令是运行一个省份某一小时的命令,用于快速获得数据,以便测试接口

元数的URL有:

http://111.235.158.161:8090/bdapi/restful/fog/ysdata/getUserCnt/ysdata/79e8788d2087dee818ee5c5c4912b8d1.xml?part=GD

http://111.235.158.161:8090/bdapi/restful/fog/ysdata/getUser/ysdata/79e8788d2087dee818ee5c5c4912b8d1.xml?key=20150826_FJ_56&part=FJ

http://111.235.158.161:8090/bdapi/restful/fog/ysdata/getItems/ysdata/79e8788d2087dee818ee5c5c4912b8d1.xml?key=20150706_AH_2&part=AH

集奥RTB产品

集奥RTB产品,我只测过一次,就是目前线上跑的程序,一切正常。

集奥功能账号为:geo

KV账号为:ctyun_bdcsc_geotmt   密码:123456

集奥此次具体测试情况请参考最后一条交接内容。

nohup sh run.fix.sh &

集奥URL示例:

http://111.235.158.161:8090/restful/water/geotmt/getTotalCountByPeriod/ctyun_bdcsc_sxtest/1f58d1923660f8944df2a558bcb83b86.json?key=201504271000_1_BJ_00000000

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/GetFixedLableByIndex/bdtest/90897a24aa06a1457bf3a26b045f2797.json?key=201507061100_0_AH_000000051

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileLableByIndex/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=201504131300_1_BJ_00000002

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getFixedUidByIp/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=10.10.40.111

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileUidByMd5Meid/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=meid_md5_cbaa82780bbabeafe76f992aaba69ef4

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileUidByMd5Mdn/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=mdn_md5_cbaa82

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileUidByMd5AndroidID/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=android_md5_cbaa82780bbabeafe76f992aaba69ef4

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileUidBySha1AndroidID/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=getMobileUidBySha1AndroidID

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileUidByMd5Idfa/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=idfa_md5_cbaa82780bbabeafe76f992aaba69ef4

http://111.235.158.161:8090/bdapi/restful/fog/geotmt/getMobileUidBySha1Idfa/ctyun_bdcsc_geotmt/616c4ac97601da14d04d02e92355234a.json?key=idfa_sha1_cbaa82780bbabeafe76f992aaba69ef4

蓬景RTB产品

蓬景的产品当初测试已经发过性能需要优化的声明了,他们程序虽然已经经过产品同意上线了,但是性能不过关,需要后期的优化。所以,麻烦后期接手工作的同事重点关注一下资源占用情况,谢谢。

蓬景功能账号:vendorwins

KV账号:ctyun_bdcsc_pxene      密码:pxene123456

环境部署:

将pxene-telecom-1.0.0.25.jar包和pxene-start-yh-test.sh和setTagsByImsi-test.sh两个脚本上传至

/home/vendorwins/zhengyi

然后运行pxene-start-yh-test.sh脚本和setTagsByImsi-test.sh脚本,两个脚本部分先后顺序

蓬景的URL是每set两个可以get一个   示例:

示例一

http://111.235.158.161:8090/bdapi/restful/fog/pxene/setImsiByAdid/ctyun_bdcsc_pxene/82800a605e82c145e03827548787b3bb.json?adid=ba1aab5264495ce34e267dedd9fc7b90&imsi=1477C49529306C34B4C56468E948F7B6

http://111.235.158.161:8090/bdapi/restful/fog/pxene/setTagsByImsi/ctyun_bdcsc_pxene/82800a605e82c145e03827548787b3bb.json?imsi=1477C49529306C34B4C56468E948F7B6&tags=10,5&province=BJ

http://111.235.158.161:8090/bdapi/restful/fog/pxene/getTagsByAdid/ctyun_bdcsc_pxene/82800a605e82c145e03827548787b3bb.json?adid=ba1aab5264495ce34e267dedd9fc7b90&type=3&encryption=2

示例二

http://111.235.158.161:8090/bdapi/restful/fog/pxene/setImsisByTag/ctyun_bdcsc_pxene/225c39c73ed408ef62a4f330ecb9d051.json?tag=3%5e3%5e3%5e3%5e3%5e3%5e3%5e3%5e3%5e3%5ee3%5e3&index=1&imsi=Vf7CpRNbMj3pIYblk2Kwow&count=1×tamp=1436151600000

http://111.235.158.161:8090/bdapi/restful/fog/pxene/setInfoByImsi/ctyun_bdcsc_pxene/225c39c73ed408ef62a4f330ecb9d051.json?imsi=df&info=das&province=acfsf×tamp=1436151600000

http://111.235.158.161:8090/bdapi/restful/fog/pxene/getInfoByTag/ctyun_bdcsc_pxene/225c39c73ed408ef62a4f330ecb9d051.json?tag=36822895071966516163244232343682289507196651161632442323436822895071966516163243682289507196657889&index=1×tamp=1436158800000

神州泰岳RTB产品

泰岳产品于10月30号上线,但是据海新回复,仍存在数据无法入redis库的问题。需要协调厂家人协助查找原因。

泰岳功能账号:vendorultrapower    密码:Oww1eX7ig8RXn2jEYQiw

KV账号:ctyun_bdcsc_ultrapower    密码:123456

神州泰岳部署情况如下:

测试区,10.0.172.201

ctyun_ruku.jar和config配置文件存放位置:

/home/vendorultrapower/ctyun

Lib文件夹和脚本cloud.sh存放位置:

/home/vendorultrapower

Serial文件位置在hdfs上:

/daas/bstl/sztyserial

泰岳的运行程序:

执行nohup ./ruku.sh &或者java -jar ctyun_ruku.jar  注意:生产区不可用nohup ./ruku.sh &

泰岳的URL示例:

http://111.235.158.161:8090/bdapi/restful/fog/ultrapower/getValueCount/ctyun_bdcsc_ultrapower/f2de1e250c2d254c1a6d6d04280e2260.xml?key=2015102900110001

http://111.235.158.161:8090/bdapi/restful/fog/ultrapower/getNumValueInfo/ctyun_bdcsc_ultrapower/f2de1e250c2d254c1a6d6d04280e2260?key=2015102900110001456

http://111.235.158.161:8090/bdapi/restful/fog/ultrapower/getMDNtoUPID/ctyun_bdcsc_ultrapower/f2de1e250c2d254c1a6d6d04280e2260?key=201510290011MD5:0001a61e49e19ae9c92cafd9f86638ae

海贝RTB产品

目前海贝RTB产品移动和电信都尚未上线,据厂家人回复,仍然在改程序。

海贝环境部署情况如下:

kv账号:

ctyun_bdcsc_hibay   密码:11 

测试区,10.0.172.201

hibay_dmp.zip压缩包存放位置:

/home/yuejing/hibay

海贝URL(移网)示例

http://111.235.158.161:8090/bdapi/restful/fog/hibay/getUserProfileByImsi/ctyun_bdcsc_hibay/b13f65857f95e43e4df22ec4d2e2cedb.xml?key=3CED130ABC92790785C0CFB74C931011&MD5

http://111.235.158.161:8090/bdapi/restful/fog/hibay/getUserProfileByMdn/ctyun_bdcsc_hibay/b13f65857f95e43e4df22ec4d2e2cedb.xml?key=93E8533CE5BE10987741D646ACA2F291&MD5&SH

http://111.235.158.161:8090/bdapi/restful/fog/hibay/getUserProfileByMeid/ctyun_bdcsc_hibay/b13f65857f95e43e4df22ec4d2e2cedb.xml?key=054BCBFCAAB9DFFA695C7F09AFD242C2&MD5

以上是三个移网URL,固网目前还尚未测试过。

亚信RTB产品

亚信堡垒机账号:vendoryx

kv账号密码:ctyun_bdcsc_asia      81c1b4ee6bac4c16

接口示例:

http://42.123.72.81:8081/bdapi/restful/fog/asia/getSingleUserTags/ctyun_bdcsc_asia/cbf422b26ca682c3c3c11dcae825a928.json?key=uid_m370002_2_2_20160122

ETL调度进度

目前ETL调度监控任务运行情况仍然有问题。使用我们22机器作为调度机器,使用生产区一台机器作为执行任务的机器目前没有问题,任务可以执行成功。但是,使用我们测试区201机器作为执行任务的机器目前还是没有任何任务的状态。问题已经报到了bug上,作为一个记录,只有任务运行成功了,才能继续后面的一对一调度,一对多调度,依赖关系调度等用例的执行。

201机器ssh密码:Db4954Fd9acXjxVx9PpZ

调度程序部署地址:

22机器上

/home/APTEST/ETL

tomcat部署地址:

207机器

/home/zhaohz/tomcat/apache-tomcat-8.0.26/webapps

Shell脚本地址

207机器

/root/apache-tomcat-6.0.43/shell/schcmd-reconf.sh

查看调度启停:

1.进入主机:172.16.0.22

2.选择1,1

3.输入:ssh hadp@10.0.174.3

4.输入password:hadp

5.执行:schagent-start.sh命令  如果现实已经启动,那么说明客户端已经启动

执行:schsvr-start.sh命令   如果现实已经启动,那么说明服务端已经启动

查看数据库插入数据情况:

进入22机器,登录数据库

选择schdb库,里面是我们调度的表

孔宁宁堡垒机账号:

Cskongnn

密码:OfnAS6TAfb4Pov7Xe6eV

集奥产品部署情况

  1. 将jar包上传至/home/geo/geo1.1.13/test1.1.13和/home/geo/geo1.1.13/bin两个目录下
  2. 将所有.sh脚本上传至/home/geo/geo1.1.13/bin
  3. 将resource压缩包上传至/home/geo/geo1.1.13目录下,然后解压至/home/geo/geo1.1.13/resource-20151030目录下
  4. 脚本的修改

(1) 请打开run.fix.sh脚本

将INPUTDATEA后面的日期改成测试数据的实际日期

将HOUR后面的数据改为实际跑的数据的时间

比如,我们跑的是2015年9月14日18点重庆的数据那修改结果如下

DATE=20150914

HOUR=18

(2) 修改完时间后,请将INPUTDATEA和HOUR前面的注释符号(#)去掉,然后将最后一行用”#”注释掉

(3) 修改后效果如截图所示

(4) 请将run.moblile.sh和run.4g.sh依照run.fix.sh修改

注意:下面是以startmr开头的脚本

(5) 请将startmr.fix.sh打开

请将PROVINCE后面省份修改为实际测试的省份

请将DIFFTIME后面的时间修改为测试数据的时间

如图

(6) 请将resource一行改为resource=/user/geo/resource_dxjt

请将OUTDIR一行改为OUTDIR=/user/geo/mrresult_dxjt

如图

(7) 请将如图所示红色框框后面的数据行删除,保留引号

如图

(8) 请在脚本里找到-D fs.defaultFS为开头的数据行,将其改为-D fs.defaultFS=hdfs://ecloudtest

(9) 其他两个需要修改的脚本分别为startmr.moblile.sh  和startmr.4g.sh

请依照开发者的提示修改后上传到/home/geo/geo1.1.13/bin目录下。

  1. 数据的准备

fix的固网数据  用的是  重庆15年9月14号  18:00   的数据

mobil移网数据   用的是   北京15年9月8号   18:00    的数据

4g  用的是    北京15年9月9号   18:00   的数据

  1. 项目进展

run.fix.sh运行过程中有几个报错,上午经修改配置后运行了一下,程序还没有运行完,需继续观察。剩下两个脚本run.moblile.sh和run.4g.sh需要等第一个脚本跑通后再进行配置,运行。run.moblile.sh对应的需要配置的脚本是startmr.moblile.sh,run.4g.sh对应的需要配置的脚本是startmr.4g.sh,这两个脚本请依照开发者指导进行配置。

RTB交接的更多相关文章

  1. [DEMO] 互联网广告RTB机制简介

    前言: 传统的互联网广告一般都是大流量网站在页面中留出一定空位,某些推广商家通过买位的方式来展示自己的广告. 我们这里引入一个案例:假设大访问量网站为博客园,想要广告推广的公司为阿里云平台. (场景为 ...

  2. RTB

    RTB —— Real Time Bidding 的简称,就是实时竞价.跟传统购买形式相比,RTB是在每一个广告展示曝光的基础上进行竞价,就是每一个PV都会进行一次展现竞价,谁出价高,谁的广告就会被这 ...

  3. 日常维护管理-DBA运维交接清单

    序号 交接内容 交接目标与要点 交接物 交接状态 交接开始时间 交接结束时间 负责人 备注 1 人事关系 与开发项目组成员互识,并了解其职责 开发项目组成员清单 2016/2/29 2016/2/29 ...

  4. [转]浅析AD Exchange——RTB模式

    在上一篇文章中,我们了解了程序化购买,并且知道程序化购买的最基本的一种RTB的竞价模式,了解了DSP.SSP.Ad Exchange等概念,不清楚的同学可以看看上一篇文章<程序化购买>. ...

  5. RTB广告展示分步说明

    原文:http://contest.ipinyou.com/cn/manual.shtml RTB (Real Time Bidding, 实时竞价) 是近年来计算广告领域最激动人心的进展之一. 它增 ...

  6. RTB实时竞价广告是未来趋势

    原文:http://www.inboundjournals.com/rtb-real-time-bidding-the-future-of-online-advertising/ [资讯图表] RTB ...

  7. RTB日志分析MR程序设计

    到新公司三个月了,上个月做的是Beacon项目,详细的设计思想还没有写文档.这两周开始搞Hadoop,开始阅读相关论文.开始编写MR程序.开始写java,大学时用java较多,工作后就一直在用c/c+ ...

  8. 首届全球RTB(实时竞价)广告DSP算法大赛

    首届全球RTB(实时竞价)广告DSP算法大赛 竞赛指南     RTB (Real Time Bidding, 实时竞价) 是近年来计算广告领域最激动人心的进展之一. 它增加了展示广告的透明度与效率, ...

  9. RTB撕开黑盒子 Part 2: Algorithm Meets World

    Part 0介绍了RTB的胜出价格会在凌晨陡升.我们还介绍了一个Pace系统,如果这个系统所有的DSPs都用,那陡升的问题就会消失.Part 0中的系统中含有一个隐式的假设:任何两个请求都认为是相同的 ...

随机推荐

  1. XSS 和 CSRF 攻击

    web安全中有很多种攻击手段,除了SQL注入外,比较常见的还有 XSS 和 CSRF等 一.XSS(Cross Site Scripting)跨站脚本 XSS其实就是Html的注入问题,攻击者的输入没 ...

  2. attachEvent和addEventListener区别

    一般来说,可以直接封装成这种形式: var addEvent = function(element,type,handler){ if(element.addEventListener){ //DOM ...

  3. 2014 WAP校园招聘笔试题

    2014 WAP校园招聘笔试题 Problem's Link:   http://www.doc88.com/p-6751117015483.html WAP公司笔试题 We are planning ...

  4. RCU-数据库初始化参数

    C:\Windows\System32>sqlplus sys/As123456 as sysdba SQL> show parameter processes; SQL> shut ...

  5. 重构第8天:使用委托代替继承(Replace Inheritance with Delegation)

    理解:根本没有父子关系的类中使用继承是不合理的,可以用委派的方式来代替. 详解:我们经常在错误的场景使用继承.继承应该在仅仅有逻辑关系的环境中使用,而很多情况下却被使用在达到方便为目的的环境中. 看下 ...

  6. appt查看apk信息

    aapt dump badging app-debug.apk

  7. 快捷获取浏览器(navigator对象)的全部属性

    理论:     navigator对象包含关于web浏览器的信息,浏览器的类型,版本信息都可以从该对象获取. 属性 说明 appCodeName 浏览器代码说明 appName 浏览器名称 appVe ...

  8. 【原创】Silverlight客户端发起WebRequest请求分析

    Silverlight网站部署后,客户端浏览器访问的时候会 下载 网站的xap文件包等信息,把程序代码放到本地执行,因为本地机器上安装了silverlight运行库. 所以如果silverlight前 ...

  9. 静默安装、授权及卸载Microsoft SQL Server、NET Framework、Windows Installer 、ArcGIS License Manager、ArcGIS Engine(Silent install、uninstall and Authorization.. .through Setup Factory)基于Setup Factory

    通过Setup Factory写的代码大概有1700行,所以就不整理了.思路如下: 静默安装都是通过去Microsoft 和Esri的官网找到静默安装的命令,然后File.Run(...)或者Shel ...

  10. alter语法的简单的使用

    用alter语法来新增列名,修改列名,删除列