sql 统计 url字符串处理

SELECT SUBSTRING_INDEX(url,'/',1) AS wed_domain,COUNT(1),SUM(no_open_times),SUM(no_ad_times),SUM(ok_times),no_open_times+no_ad_times+ok_times AS c
FROM test_ur GROUP BY wed_domain
ORDER BY wed_domain ASC
;

wed_domain    COUNT()    SUM(no_open_times)    SUM(no_ad_times)    SUM(ok_times)    c
01ny.cn
.aaa.51g4.com
akesu.qd8.com.cn
ali.qd8.com.cn
anenbei811.b2b.qieta.com
anqing.qd8.com.cn
anyang.qd8.com.cn
aomen.qd8.com.cn
aq.qu114.com
b2b..com
b2b.qu114.com
baise.qd8.com.cn
baishan.qd8.com.cn
baoding.qd8.com.cn
baotou.qd8.com.cn
bbs.py168.com
bbs.shm.com.cn
bbs.szonline.net
beihai.qd8.com.cn
beijing.qd8.com.cn
benxi.qd8.com.cn
bj.qu114.com
bozhou.qd8.com.cn
bt.qu114.com
bzcm.net
cangzhou.qd8.com.cn
cd.qu114.com
changde.qd8.com.cn
changji.qd8.com.cn
changsha.qd8.com.cn
changzhou.qd8.com.cn
chaozhou.qd8.com.cn
chengde.qd8.com.cn
chengdu.qd8.com.cn
chenzhou.qu114.com
chifeng.qd8.com.cn
chizhou.qu114.com
chongqing.qd8.com.cn
chongzuo.qd8.com.cn
chuxiong.qd8.com.cn
chuzhou.qd8.com.cn
cq.qu114.com
cs.qu114.com
cz.qu114.com
dali.qd8.com.cn
dalian.qd8.com.cn
dandong.qd8.com.cn
daqing.qd8.com.cn
datong.qd8.com.cn
daxinganling.qd8.com.cn
deyang.qd8.com.cn
dezhou.qd8.com.cn
dg.qu114.com
dl.qu114.com
dongguan.qd8.com.cn
foshan.qd8.com.cn
fs.qu114.com
fushun.qu114.com
fuyang.qd8.com.cn
fuzhou.qd8.com.cn
fz.qu114.com
gaitedfilose.qiyegu.com
gannan.qd8.com.cn
ganzhou.qd8.com.cn
gl.qu114.com
guangzhou.qd8.com.cn
guilin.qd8.com.cn
guiyang.qd8.com.cn
guoluo.qd8.com.cn
gy.qu114.com
gz.qu114.com
haikou.qd8.com.cn
haixi.qd8.com.cn
handan.qd8.com.cn
hangzhou.qd8.com.cn
hanzhong.qd8.com.cn
hd.qu114.com
hefei.qd8.com.cn
hengyang.qd8.com.cn
hetian.qd8.com.cn
heze.qd8.com.cn
hezhou.qd8.com.cn
hf.qu114.com
huaibei.qd8.com.cn
huainan.qd8.com.cn
huanggang.qd8.com.cn
huangshi.qd8.com.cn
huhehaote.qd8.com.cn
huizhou.qd8.com.cn
huizhou.qu114.com
hz.qu114.com
info.b2b168.com
jiamusi.qd8.com.cn
jiangmen.qd8.com.cn
jiaozuo.qd8.com.cn
jiaxing.qd8.com.cn
jinan.qd8.com.cn
jingdezhen.qd8.com.cn
jinhua.qd8.com.cn
jining.qd8.com.cn
jiujiang.qd8.com.cn
jiuquan.qd8.com.cn
jn.qu114.com
kaifeng.qu114.com
kelamayi.qd8.com.cn
kunming.qd8.com.cn
laibin.qd8.com.cn
laiwu.qd8.com.cn
langfang.qd8.com.cn
lanzhou.qd8.com.cn
leshan.qu114.com
lijiang.qd8.com.cn
linyi.qd8.com.cn
liuan.qd8.com.cn
liupanshui.qd8.com.cn
liuzhou.qd8.com.cn
longnan.qd8.com.cn
longyan.qd8.com.cn
longyan.qu114.com
loudi.qd8.com.cn
luoyang.qd8.com.cn
ly.qu114.com
m.99inf.com
maoming.qd8.com.cn
mianyang.qd8.com.cn
nanchang.qd8.com.cn
nanchong.qd8.com.cn
nanjing.qd8.com.cn
nanning.qd8.com.cn
nantong.qd8.com.cn
nanyang.qd8.com.cn
nb.qu114.com
nc.qu114.com
news.zh51home.com
ningbo.qd8.com.cn
nj.qu114.com
nn.qu114.com
nt.qu114.com
ny.qu114.com
panjin.qd8.com.cn
pingdingshan.qd8.com.cn
putian.qd8.com.cn
qingdao.qd8.com.cn
qingyang.qd8.com.cn
qingyuan.qd8.com.cn
qinzhou.qd8.com.cn
quanzhou.qd8.com.cn
quzhou.qd8.com.cn
qz.qu114.com
sanmenxia.qd8.com.cn
sanya.qd8.com.cn
sh.qu114.com
shanghai.qd8.com.cn
shangqiu.qd8.com.cn
shantou.qd8.com.cn
shenyang.qd8.com.cn
shenyang.qu114.com
shenzhen.qd8.com.cn
shijiazhuang.qd8.com.cn
shuoyang.qd8.com.cn
siping.qd8.com.cn
siping.qu114.com
site.leshou.com
sjz.qu114.com
suihua.qu114.com
suizhou.qd8.com.cn
suqian.qd8.com.cn
suzhou.qd8.com.cn
suzhou.qu114.com
sz.qu114.com
taian.qd8.com.cn
taiwan.qd8.com.cn
taiyuan.qd8.com.cn
taizhou.qd8.com.cn
tianjin.qd8.com.cn
tj.qu114.com
tongchuan.qd8.com.cn
ts.qu114.com
ty.qu114.com
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wap.ailaba.org
weifang.qd8.com.cn
wenshan.qd8.com.cn
wenzhou.qd8.com.cn
wfnews.com.cn
wh.qu114.com
wn.08le.cn
wuhan.qd8.com.cn
wuhu.qd8.com.cn
wulumuqi.qd8.com.cn
wuxi.qd8.com.cn
wuzhou.qd8.com.cn
wvvw.gouhunnv.cn
wvvw.kqbkf.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
wx.qu114.com
wz.qu114.com
xa.qu114.com
xiamen.qd8.com.cn
xian.qd8.com.cn
xiangfan.qd8.com.cn
xianggang.qd8.com.cn
xiangtan.qd8.com.cn
xianning.qd8.com.cn
xianyang.qd8.com.cn
xining.qd8.com.cn
xinzhou.qd8.com.cn
xm.qu114.com
xuchang.qd8.com.cn
xuzhou.qd8.com.cn
xyw086.com
yancheng.qd8.com.cn
yangjiang.qd8.com.cn
yangtse.aaa.51g4.com
yangzhou.qd8.com.cn
yantai.qd8.com.cn
yc.qu114.com
yichang.qd8.com.cn
yinchuan.qd8.com.cn
yiwu.qd8.com.cn
yongzhou.qd8.com.cn
yt.qu114.com
yuncheng.qd8.com.cn
yz.qu114.com
zaozhuang.qd8.com.cn
zhangzhou.qd8.com.cn
zhangzhou.qu114.com
zhanjiang.qd8.com.cn
zhaotong.qd8.com.cn
zhaotong.qu114.com
zhaozhuang.qu114.com
zhengzhou.qd8.com.cn
zhenjiang.qu114.com
zhongshan.qd8.com.cn
zhuhai.qd8.com.cn
zhumadian.qd8.com.cn
zibo.qd8.com.cn
ziyang.qd8.com.cn
zj.qu114.com
zq.qu114.com
zs.qu114.com
zunyi.qd8.com.cn
zx.zynews.com
zz.qu114.com                    

二级 三级域名

调试代码
字符串长度
字符串替换
子字符串出现次数
字符串截取
case条件分支，不同处理
字符串拼接
字符串存在性

SELECT
CASE LENGTH('01ny.cn') -LENGTH(REPLACE('01ny.cn','.',''))>2
 WHEN  0 THEN 0
 ELSE -1
END AS id__;

SELECT  SUBSTRING_INDEX('587766.aaa.51g4.com','.',1);

SELECT CONCAT(SUBSTRING_INDEX('587766.aaa.51g4.com','.',1),'.');

SELECT REPLACE('587766.aaa.51g4.com', CONCAT(SUBSTRING_INDEX('587766.aaa.51g4.com','.',1),'.'),'');

SELECT INSTR( '587766.aaa.51g4.com-ル', '-ル' );
SELECT INSTR( '587766.aaa.51g4.com-12ル', '-ル' );#0
SELECT INSTR( 'www.aaa.51g4.com-12ル', 'www' );#1

-- 结果

SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0 
AND INSTR(url,'wfnews')=0 
 WHEN  1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
 ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
FROM test_ur
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;

second_level_domain
01ny.cn
08le.cn
.com
99inf.com
aaa.51g4.com
ailaba.org
b2b.qieta.com
b2b.qu114.com
b2b168.com
bzcm.net
gaitedfilose.qiyegu.com
gouhunnv.cn
kqbkf.cn
leshou.com
py168.com
qd8.com.cn
qu114.com
shm.com.cn
szonline.net
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wfnews.com.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
xyw086.com
zh51home.com
zynews.com

-- 检查
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0 
AND INSTR(url,'wfnews')=0
 WHEN  1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
 ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
,url
FROM test_ur
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;

-- 最终结果
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0 
AND INSTR(url,'wfnews')=0

WHEN  1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
 ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
,
COUNT(1) AS distinct_url_num,SUM(no_open_times),SUM(no_ad_times),SUM(ok_times),no_open_times+no_ad_times+ok_times AS c
FROM test_url
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;

second_level_domain    distinct_url_num    SUM(no_open_times)    SUM(no_ad_times)    SUM(ok_times)    c
01ny.cn
08le.cn
.com
99inf.com
aaa.51g4.com
ailaba.org
b2b.qieta.com
b2b.qu114.com
b2b168.com
bzcm.net
gaitedfilose.qiyegu.com
gouhunnv.cn
kqbkf.cn
leshou.com
py168.com
qd8.com.cn
qu114.com
shm.com.cn
szonline.net
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wfnews.com.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
xyw086.com
zh51home.com
zynews.com