sql 统计 url字符串处理
SELECT SUBSTRING_INDEX(url,'/',1) AS wed_domain,COUNT(1),SUM(no_open_times),SUM(no_ad_times),SUM(ok_times),no_open_times+no_ad_times+ok_times AS c
FROM test_ur GROUP BY wed_domain
ORDER BY wed_domain ASC
;
wed_domain COUNT() SUM(no_open_times) SUM(no_ad_times) SUM(ok_times) c
01ny.cn
.aaa.51g4.com
akesu.qd8.com.cn
ali.qd8.com.cn
anenbei811.b2b.qieta.com
anqing.qd8.com.cn
anyang.qd8.com.cn
aomen.qd8.com.cn
aq.qu114.com
b2b..com
b2b.qu114.com
baise.qd8.com.cn
baishan.qd8.com.cn
baoding.qd8.com.cn
baotou.qd8.com.cn
bbs.py168.com
bbs.shm.com.cn
bbs.szonline.net
beihai.qd8.com.cn
beijing.qd8.com.cn
benxi.qd8.com.cn
bj.qu114.com
bozhou.qd8.com.cn
bt.qu114.com
bzcm.net
cangzhou.qd8.com.cn
cd.qu114.com
changde.qd8.com.cn
changji.qd8.com.cn
changsha.qd8.com.cn
changzhou.qd8.com.cn
chaozhou.qd8.com.cn
chengde.qd8.com.cn
chengdu.qd8.com.cn
chenzhou.qu114.com
chifeng.qd8.com.cn
chizhou.qu114.com
chongqing.qd8.com.cn
chongzuo.qd8.com.cn
chuxiong.qd8.com.cn
chuzhou.qd8.com.cn
cq.qu114.com
cs.qu114.com
cz.qu114.com
dali.qd8.com.cn
dalian.qd8.com.cn
dandong.qd8.com.cn
daqing.qd8.com.cn
datong.qd8.com.cn
daxinganling.qd8.com.cn
deyang.qd8.com.cn
dezhou.qd8.com.cn
dg.qu114.com
dl.qu114.com
dongguan.qd8.com.cn
foshan.qd8.com.cn
fs.qu114.com
fushun.qu114.com
fuyang.qd8.com.cn
fuzhou.qd8.com.cn
fz.qu114.com
gaitedfilose.qiyegu.com
gannan.qd8.com.cn
ganzhou.qd8.com.cn
gl.qu114.com
guangzhou.qd8.com.cn
guilin.qd8.com.cn
guiyang.qd8.com.cn
guoluo.qd8.com.cn
gy.qu114.com
gz.qu114.com
haikou.qd8.com.cn
haixi.qd8.com.cn
handan.qd8.com.cn
hangzhou.qd8.com.cn
hanzhong.qd8.com.cn
hd.qu114.com
hefei.qd8.com.cn
hengyang.qd8.com.cn
hetian.qd8.com.cn
heze.qd8.com.cn
hezhou.qd8.com.cn
hf.qu114.com
huaibei.qd8.com.cn
huainan.qd8.com.cn
huanggang.qd8.com.cn
huangshi.qd8.com.cn
huhehaote.qd8.com.cn
huizhou.qd8.com.cn
huizhou.qu114.com
hz.qu114.com
info.b2b168.com
jiamusi.qd8.com.cn
jiangmen.qd8.com.cn
jiaozuo.qd8.com.cn
jiaxing.qd8.com.cn
jinan.qd8.com.cn
jingdezhen.qd8.com.cn
jinhua.qd8.com.cn
jining.qd8.com.cn
jiujiang.qd8.com.cn
jiuquan.qd8.com.cn
jn.qu114.com
kaifeng.qu114.com
kelamayi.qd8.com.cn
kunming.qd8.com.cn
laibin.qd8.com.cn
laiwu.qd8.com.cn
langfang.qd8.com.cn
lanzhou.qd8.com.cn
leshan.qu114.com
lijiang.qd8.com.cn
linyi.qd8.com.cn
liuan.qd8.com.cn
liupanshui.qd8.com.cn
liuzhou.qd8.com.cn
longnan.qd8.com.cn
longyan.qd8.com.cn
longyan.qu114.com
loudi.qd8.com.cn
luoyang.qd8.com.cn
ly.qu114.com
m.99inf.com
maoming.qd8.com.cn
mianyang.qd8.com.cn
nanchang.qd8.com.cn
nanchong.qd8.com.cn
nanjing.qd8.com.cn
nanning.qd8.com.cn
nantong.qd8.com.cn
nanyang.qd8.com.cn
nb.qu114.com
nc.qu114.com
news.zh51home.com
ningbo.qd8.com.cn
nj.qu114.com
nn.qu114.com
nt.qu114.com
ny.qu114.com
panjin.qd8.com.cn
pingdingshan.qd8.com.cn
putian.qd8.com.cn
qingdao.qd8.com.cn
qingyang.qd8.com.cn
qingyuan.qd8.com.cn
qinzhou.qd8.com.cn
quanzhou.qd8.com.cn
quzhou.qd8.com.cn
qz.qu114.com
sanmenxia.qd8.com.cn
sanya.qd8.com.cn
sh.qu114.com
shanghai.qd8.com.cn
shangqiu.qd8.com.cn
shantou.qd8.com.cn
shenyang.qd8.com.cn
shenyang.qu114.com
shenzhen.qd8.com.cn
shijiazhuang.qd8.com.cn
shuoyang.qd8.com.cn
siping.qd8.com.cn
siping.qu114.com
site.leshou.com
sjz.qu114.com
suihua.qu114.com
suizhou.qd8.com.cn
suqian.qd8.com.cn
suzhou.qd8.com.cn
suzhou.qu114.com
sz.qu114.com
taian.qd8.com.cn
taiwan.qd8.com.cn
taiyuan.qd8.com.cn
taizhou.qd8.com.cn
tianjin.qd8.com.cn
tj.qu114.com
tongchuan.qd8.com.cn
ts.qu114.com
ty.qu114.com
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wap.ailaba.org
weifang.qd8.com.cn
wenshan.qd8.com.cn
wenzhou.qd8.com.cn
wfnews.com.cn
wh.qu114.com
wn.08le.cn
wuhan.qd8.com.cn
wuhu.qd8.com.cn
wulumuqi.qd8.com.cn
wuxi.qd8.com.cn
wuzhou.qd8.com.cn
wvvw.gouhunnv.cn
wvvw.kqbkf.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
wx.qu114.com
wz.qu114.com
xa.qu114.com
xiamen.qd8.com.cn
xian.qd8.com.cn
xiangfan.qd8.com.cn
xianggang.qd8.com.cn
xiangtan.qd8.com.cn
xianning.qd8.com.cn
xianyang.qd8.com.cn
xining.qd8.com.cn
xinzhou.qd8.com.cn
xm.qu114.com
xuchang.qd8.com.cn
xuzhou.qd8.com.cn
xyw086.com
yancheng.qd8.com.cn
yangjiang.qd8.com.cn
yangtse.aaa.51g4.com
yangzhou.qd8.com.cn
yantai.qd8.com.cn
yc.qu114.com
yichang.qd8.com.cn
yinchuan.qd8.com.cn
yiwu.qd8.com.cn
yongzhou.qd8.com.cn
yt.qu114.com
yuncheng.qd8.com.cn
yz.qu114.com
zaozhuang.qd8.com.cn
zhangzhou.qd8.com.cn
zhangzhou.qu114.com
zhanjiang.qd8.com.cn
zhaotong.qd8.com.cn
zhaotong.qu114.com
zhaozhuang.qu114.com
zhengzhou.qd8.com.cn
zhenjiang.qu114.com
zhongshan.qd8.com.cn
zhuhai.qd8.com.cn
zhumadian.qd8.com.cn
zibo.qd8.com.cn
ziyang.qd8.com.cn
zj.qu114.com
zq.qu114.com
zs.qu114.com
zunyi.qd8.com.cn
zx.zynews.com
zz.qu114.com
二级 三级域名
调试代码
字符串长度
字符串替换
子字符串出现次数
字符串截取
case条件分支，不同处理
字符串拼接
字符串存在性
SELECT
CASE LENGTH('01ny.cn') -LENGTH(REPLACE('01ny.cn','.',''))>2
WHEN 0 THEN 0
ELSE -1
END AS id__;
SELECT SUBSTRING_INDEX('587766.aaa.51g4.com','.',1);
SELECT CONCAT(SUBSTRING_INDEX('587766.aaa.51g4.com','.',1),'.');
SELECT REPLACE('587766.aaa.51g4.com', CONCAT(SUBSTRING_INDEX('587766.aaa.51g4.com','.',1),'.'),'');
SELECT INSTR( '587766.aaa.51g4.com-ル', '-ル' );
SELECT INSTR( '587766.aaa.51g4.com-12ル', '-ル' );#0
SELECT INSTR( 'www.aaa.51g4.com-12ル', 'www' );#1
-- 结果
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0
AND INSTR(url,'wfnews')=0
WHEN 1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
FROM test_ur
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;
second_level_domain
01ny.cn
08le.cn
.com
99inf.com
aaa.51g4.com
ailaba.org
b2b.qieta.com
b2b.qu114.com
b2b168.com
bzcm.net
gaitedfilose.qiyegu.com
gouhunnv.cn
kqbkf.cn
leshou.com
py168.com
qd8.com.cn
qu114.com
shm.com.cn
szonline.net
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wfnews.com.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
xyw086.com
zh51home.com
zynews.com
-- 检查
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0
AND INSTR(url,'wfnews')=0
WHEN 1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
,url
FROM test_ur
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;
-- 最终结果
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0
AND INSTR(url,'wfnews')=0
WHEN 1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
,
COUNT(1) AS distinct_url_num,SUM(no_open_times),SUM(no_ad_times),SUM(ok_times),no_open_times+no_ad_times+ok_times AS c
FROM test_url
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;
second_level_domain distinct_url_num SUM(no_open_times) SUM(no_ad_times) SUM(ok_times) c
01ny.cn
08le.cn
.com
99inf.com
aaa.51g4.com
ailaba.org
b2b.qieta.com
b2b.qu114.com
b2b168.com
bzcm.net
gaitedfilose.qiyegu.com
gouhunnv.cn
kqbkf.cn
leshou.com
py168.com
qd8.com.cn
qu114.com
shm.com.cn
szonline.net
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wfnews.com.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
xyw086.com
zh51home.com
zynews.com
sql 统计 url字符串处理的更多相关文章
- Sql统计一个字符串在另一个字符串出现的次数的函数-fnQueryCharCountFromString
SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ),)) returns int as begin declare @pos int,@n int , ...
- sql统计字符串出现次数技巧
在牛客网上看到一道题,感觉挺有趣,是用sql统计字符串出现的次数. 这里提供一种思路,比如统计字符串A中子串B的出现次数: SELECT (LENGTH(A) - LENGTH(REPLACE(A, ...
- MS SQL统计信息浅析下篇
MS SQL统计信息浅析上篇对SQL SERVER 数据库统计信息做了一个整体的介绍,随着我对数据库统计信息的不断认识.理解,于是有了MS SQL统计信息浅析下篇. 下面是我对SQL Serve ...
- SQL 将URL编码转汉字！
原文:SQL 将URL编码转汉字! -- ============================================= -- 作 者: ruijc -- 描 述: 将Url编码转明文字符 ...
- SQL Server：字符串函数
以下所有例子均Studnet表为例: 1. len():计算字符串长度 len()用来计算字符串的长度,每个中文汉字或英文字母都为一个长度 select sname, len(sname) from ...
- SQL Server 分隔字符串函数实现
在SQL Server中有时候也会遇到字符串进行分隔的需求.平时工作中常常遇到这样的需求,例如:人员数据表和人员爱好数据表,一条人员记录可以多多人员爱好记录,而往往人员和人员爱好在界面展示层要一并提交 ...
- url 字符串中的参数信息
/// <summary> /// 分析 url 字符串中的参数信息 /// </summary> /// <param nam ...
- Swift3.0语言教程使用URL字符串
Swift3.0语言教程使用URL字符串 Swift3.0语言教程使用URL字符串,和路径一样,URL其实也是字符串,我们可以将这些字符串称为URL字符串.本小节将讲解URL字符串的使用. 1.编码 ...
- Linux 统计某个字符串出现的次数
要统计一个字符串出现的次数,这里现提供自己常用两种方法: 1. 使用vim统计 用vim打开目标文件,在命令模式下,输入 :%s/objStr//gn 即可 2. 使用grep: grep -o ob ...
随机推荐
- Android设置透明状态
xml中: android:background="@android:color/transparent" 半透明: android:background="#e0000 ...
- 南宁2017ICPC总结
南宁2017ICPC总结 第二次到南宁,高铁三个半小时好像没什么感觉了,广西的天气真的是又湿又冷,而且交通也及其不方面,所以对广西的印象也不是很好.这次承 ...
- LeetCode 464. Can I Win
In the "100 game," two players take turns adding, to a running total, any integer from 1.. ...
- sysctl.conf文件配置详解
############################# net.inet.ip.sourceroute=0 net.inet.ip.accept_sourceroute=0 ########### ...
- Laya 利用JS进行反射
Laya 利用JS进行反射 @author ixenos 当需要配表调用函数时,可以利用js的eval来调用 1.在配置js中写下: function callAsFunc(funcName){ ev ...
- Computer （树形DP）
A school bought the first computer some time ago(so this computer's id is 1). During the recent year ...
- POJ 3177 边双连通求连通量度的问题
这道题的总体思路就是找到连通量让它能够看作一个集合,然后找这个集合的度,度数为1的连通量为k,那么需要添加(k+1)/2条边才可以保证边双连通 这里因为一个连通量中low[]大小是相同的,所以我们用a ...
- [POJ3041] Asteroids（最小点覆盖-匈牙利算法）
传送门 题意: 给一个N*N的矩阵,有些格子有障碍,要求我们消除这些障碍,问每次消除一行或一列的障碍,最少要几次. 解析: 把每一行与每一列当做二分图两边的点. 某格子有障碍,则对应行与列连边. ...
- visual studio用"查找替换"来删掉源代码中所有//方式的纯注释和空行
visual studio用"查找替换"来删掉源代码中所有//方式的纯注释和空行 注意:包括/// <summary>这样的XML注释也都删掉了. 步骤1/2(删除注释 ...
- nagios+logstash实时监控java日志(一)
https://blog.csdn.net/yanggd1987/article/details/64121459