sql 统计 url字符串处理
SELECT SUBSTRING_INDEX(url,'/',1) AS wed_domain,COUNT(1),SUM(no_open_times),SUM(no_ad_times),SUM(ok_times),no_open_times+no_ad_times+ok_times AS c
FROM test_ur GROUP BY wed_domain
ORDER BY wed_domain ASC
;
wed_domain COUNT() SUM(no_open_times) SUM(no_ad_times) SUM(ok_times) c
01ny.cn
.aaa.51g4.com
akesu.qd8.com.cn
ali.qd8.com.cn
anenbei811.b2b.qieta.com
anqing.qd8.com.cn
anyang.qd8.com.cn
aomen.qd8.com.cn
aq.qu114.com
b2b..com
b2b.qu114.com
baise.qd8.com.cn
baishan.qd8.com.cn
baoding.qd8.com.cn
baotou.qd8.com.cn
bbs.py168.com
bbs.shm.com.cn
bbs.szonline.net
beihai.qd8.com.cn
beijing.qd8.com.cn
benxi.qd8.com.cn
bj.qu114.com
bozhou.qd8.com.cn
bt.qu114.com
bzcm.net
cangzhou.qd8.com.cn
cd.qu114.com
changde.qd8.com.cn
changji.qd8.com.cn
changsha.qd8.com.cn
changzhou.qd8.com.cn
chaozhou.qd8.com.cn
chengde.qd8.com.cn
chengdu.qd8.com.cn
chenzhou.qu114.com
chifeng.qd8.com.cn
chizhou.qu114.com
chongqing.qd8.com.cn
chongzuo.qd8.com.cn
chuxiong.qd8.com.cn
chuzhou.qd8.com.cn
cq.qu114.com
cs.qu114.com
cz.qu114.com
dali.qd8.com.cn
dalian.qd8.com.cn
dandong.qd8.com.cn
daqing.qd8.com.cn
datong.qd8.com.cn
daxinganling.qd8.com.cn
deyang.qd8.com.cn
dezhou.qd8.com.cn
dg.qu114.com
dl.qu114.com
dongguan.qd8.com.cn
foshan.qd8.com.cn
fs.qu114.com
fushun.qu114.com
fuyang.qd8.com.cn
fuzhou.qd8.com.cn
fz.qu114.com
gaitedfilose.qiyegu.com
gannan.qd8.com.cn
ganzhou.qd8.com.cn
gl.qu114.com
guangzhou.qd8.com.cn
guilin.qd8.com.cn
guiyang.qd8.com.cn
guoluo.qd8.com.cn
gy.qu114.com
gz.qu114.com
haikou.qd8.com.cn
haixi.qd8.com.cn
handan.qd8.com.cn
hangzhou.qd8.com.cn
hanzhong.qd8.com.cn
hd.qu114.com
hefei.qd8.com.cn
hengyang.qd8.com.cn
hetian.qd8.com.cn
heze.qd8.com.cn
hezhou.qd8.com.cn
hf.qu114.com
huaibei.qd8.com.cn
huainan.qd8.com.cn
huanggang.qd8.com.cn
huangshi.qd8.com.cn
huhehaote.qd8.com.cn
huizhou.qd8.com.cn
huizhou.qu114.com
hz.qu114.com
info.b2b168.com
jiamusi.qd8.com.cn
jiangmen.qd8.com.cn
jiaozuo.qd8.com.cn
jiaxing.qd8.com.cn
jinan.qd8.com.cn
jingdezhen.qd8.com.cn
jinhua.qd8.com.cn
jining.qd8.com.cn
jiujiang.qd8.com.cn
jiuquan.qd8.com.cn
jn.qu114.com
kaifeng.qu114.com
kelamayi.qd8.com.cn
kunming.qd8.com.cn
laibin.qd8.com.cn
laiwu.qd8.com.cn
langfang.qd8.com.cn
lanzhou.qd8.com.cn
leshan.qu114.com
lijiang.qd8.com.cn
linyi.qd8.com.cn
liuan.qd8.com.cn
liupanshui.qd8.com.cn
liuzhou.qd8.com.cn
longnan.qd8.com.cn
longyan.qd8.com.cn
longyan.qu114.com
loudi.qd8.com.cn
luoyang.qd8.com.cn
ly.qu114.com
m.99inf.com
maoming.qd8.com.cn
mianyang.qd8.com.cn
nanchang.qd8.com.cn
nanchong.qd8.com.cn
nanjing.qd8.com.cn
nanning.qd8.com.cn
nantong.qd8.com.cn
nanyang.qd8.com.cn
nb.qu114.com
nc.qu114.com
news.zh51home.com
ningbo.qd8.com.cn
nj.qu114.com
nn.qu114.com
nt.qu114.com
ny.qu114.com
panjin.qd8.com.cn
pingdingshan.qd8.com.cn
putian.qd8.com.cn
qingdao.qd8.com.cn
qingyang.qd8.com.cn
qingyuan.qd8.com.cn
qinzhou.qd8.com.cn
quanzhou.qd8.com.cn
quzhou.qd8.com.cn
qz.qu114.com
sanmenxia.qd8.com.cn
sanya.qd8.com.cn
sh.qu114.com
shanghai.qd8.com.cn
shangqiu.qd8.com.cn
shantou.qd8.com.cn
shenyang.qd8.com.cn
shenyang.qu114.com
shenzhen.qd8.com.cn
shijiazhuang.qd8.com.cn
shuoyang.qd8.com.cn
siping.qd8.com.cn
siping.qu114.com
site.leshou.com
sjz.qu114.com
suihua.qu114.com
suizhou.qd8.com.cn
suqian.qd8.com.cn
suzhou.qd8.com.cn
suzhou.qu114.com
sz.qu114.com
taian.qd8.com.cn
taiwan.qd8.com.cn
taiyuan.qd8.com.cn
taizhou.qd8.com.cn
tianjin.qd8.com.cn
tj.qu114.com
tongchuan.qd8.com.cn
ts.qu114.com
ty.qu114.com
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wap.ailaba.org
weifang.qd8.com.cn
wenshan.qd8.com.cn
wenzhou.qd8.com.cn
wfnews.com.cn
wh.qu114.com
wn.08le.cn
wuhan.qd8.com.cn
wuhu.qd8.com.cn
wulumuqi.qd8.com.cn
wuxi.qd8.com.cn
wuzhou.qd8.com.cn
wvvw.gouhunnv.cn
wvvw.kqbkf.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
wx.qu114.com
wz.qu114.com
xa.qu114.com
xiamen.qd8.com.cn
xian.qd8.com.cn
xiangfan.qd8.com.cn
xianggang.qd8.com.cn
xiangtan.qd8.com.cn
xianning.qd8.com.cn
xianyang.qd8.com.cn
xining.qd8.com.cn
xinzhou.qd8.com.cn
xm.qu114.com
xuchang.qd8.com.cn
xuzhou.qd8.com.cn
xyw086.com
yancheng.qd8.com.cn
yangjiang.qd8.com.cn
yangtse.aaa.51g4.com
yangzhou.qd8.com.cn
yantai.qd8.com.cn
yc.qu114.com
yichang.qd8.com.cn
yinchuan.qd8.com.cn
yiwu.qd8.com.cn
yongzhou.qd8.com.cn
yt.qu114.com
yuncheng.qd8.com.cn
yz.qu114.com
zaozhuang.qd8.com.cn
zhangzhou.qd8.com.cn
zhangzhou.qu114.com
zhanjiang.qd8.com.cn
zhaotong.qd8.com.cn
zhaotong.qu114.com
zhaozhuang.qu114.com
zhengzhou.qd8.com.cn
zhenjiang.qu114.com
zhongshan.qd8.com.cn
zhuhai.qd8.com.cn
zhumadian.qd8.com.cn
zibo.qd8.com.cn
ziyang.qd8.com.cn
zj.qu114.com
zq.qu114.com
zs.qu114.com
zunyi.qd8.com.cn
zx.zynews.com
zz.qu114.com
二级 三级域名
调试代码
字符串长度
字符串替换
子字符串出现次数
字符串截取
case条件分支，不同处理
字符串拼接
字符串存在性
SELECT
CASE LENGTH('01ny.cn') -LENGTH(REPLACE('01ny.cn','.',''))>2
WHEN 0 THEN 0
ELSE -1
END AS id__;
SELECT SUBSTRING_INDEX('587766.aaa.51g4.com','.',1);
SELECT CONCAT(SUBSTRING_INDEX('587766.aaa.51g4.com','.',1),'.');
SELECT REPLACE('587766.aaa.51g4.com', CONCAT(SUBSTRING_INDEX('587766.aaa.51g4.com','.',1),'.'),'');
SELECT INSTR( '587766.aaa.51g4.com-ル', '-ル' );
SELECT INSTR( '587766.aaa.51g4.com-12ル', '-ル' );#0
SELECT INSTR( 'www.aaa.51g4.com-12ル', 'www' );#1
-- 结果
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0
AND INSTR(url,'wfnews')=0
WHEN 1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
FROM test_ur
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;
second_level_domain
01ny.cn
08le.cn
.com
99inf.com
aaa.51g4.com
ailaba.org
b2b.qieta.com
b2b.qu114.com
b2b168.com
bzcm.net
gaitedfilose.qiyegu.com
gouhunnv.cn
kqbkf.cn
leshou.com
py168.com
qd8.com.cn
qu114.com
shm.com.cn
szonline.net
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wfnews.com.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
xyw086.com
zh51home.com
zynews.com
-- 检查
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0
AND INSTR(url,'wfnews')=0
WHEN 1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
,url
FROM test_ur
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;
-- 最终结果
SELECT
CASE LENGTH(url) - LENGTH(REPLACE(url,'.',''))>2
AND INSTR(url,'www')=0
AND INSTR(url,'wfnews')=0
WHEN 1 THEN REPLACE(SUBSTRING_INDEX(url,'/',1), CONCAT(SUBSTRING_INDEX(SUBSTRING_INDEX(url,'/',1),'.',1),'.'),'')
ELSE SUBSTRING_INDEX(url,'/',1)
END AS second_level_domain
,
COUNT(1) AS distinct_url_num,SUM(no_open_times),SUM(no_ad_times),SUM(ok_times),no_open_times+no_ad_times+ok_times AS c
FROM test_url
GROUP BY second_level_domain
ORDER BY second_level_domain ASC
;
second_level_domain distinct_url_num SUM(no_open_times) SUM(no_ad_times) SUM(ok_times) c
01ny.cn
08le.cn
.com
99inf.com
aaa.51g4.com
ailaba.org
b2b.qieta.com
b2b.qu114.com
b2b168.com
bzcm.net
gaitedfilose.qiyegu.com
gouhunnv.cn
kqbkf.cn
leshou.com
py168.com
qd8.com.cn
qu114.com
shm.com.cn
szonline.net
vwww.mgslyw.com
vwww.nutzone.net
vwww.tachiguo.cn
wfnews.com.cn
www.01ny.cn
www..com
www.10yan.com
www.199syt.com
www.2h2.cn
www.51sole.com
www.55jj.com
www..com
www.99d89.com
www.99inf.com
www.afinance.cn
www.ailaba.org
www.anfu520.com
www.asean168.com
www.bozhou.cn
www.bzcm.net
www.ccin.com.cn
www.cnhan.com
www.cntrades.com
www.czoffice.com
www.esmdg.com
www.gtobal.com
www.gxso.net
www.hepan.com
www.hizh.cn
www.hsdcw.com
www.hubeitoday.com.cn
www.kejiqi.com
www.laiwunews.cn
www.luaninfo.com
www.mao35.com
www.maoyidi.com
www.metalnews.cn
www.mnwww.com
www.mulestp.com
www.qhnews.com
www.qieta.com
www.qixiangwang.cn
www.qiyegu.com
www.sjzdaily.com.cn
www.sooshong.com
www.sqhengyuan.com
www.st5.com
www.szonline.net
www.taixing.cn
www.taojindi.com
www.tynews.com.cn
www.waaku.com
www.wanmeiwanmei.com
www.wfdaily.com
www.wto168.net
www.xbaixing.com
www.xgrb.cn
www.xintairen.com
www.xldhy.com
www.xyw086.com
www.xyzc.cn
www.yangtse.com
www.yuqinge.com
www.yzcn.net
www.zkxww.com
www.zznews.cn
xyw086.com
zh51home.com
zynews.com
sql 统计 url字符串处理的更多相关文章
- Sql统计一个字符串在另一个字符串出现的次数的函数-fnQueryCharCountFromString
SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ),)) returns int as begin declare @pos int,@n int , ...
- sql统计字符串出现次数技巧
在牛客网上看到一道题,感觉挺有趣,是用sql统计字符串出现的次数. 这里提供一种思路,比如统计字符串A中子串B的出现次数: SELECT (LENGTH(A) - LENGTH(REPLACE(A, ...
- MS SQL统计信息浅析下篇
MS SQL统计信息浅析上篇对SQL SERVER 数据库统计信息做了一个整体的介绍,随着我对数据库统计信息的不断认识.理解,于是有了MS SQL统计信息浅析下篇. 下面是我对SQL Serve ...
- SQL 将URL编码转汉字！
原文:SQL 将URL编码转汉字! -- ============================================= -- 作 者: ruijc -- 描 述: 将Url编码转明文字符 ...
- SQL Server：字符串函数
以下所有例子均Studnet表为例: 1. len():计算字符串长度 len()用来计算字符串的长度,每个中文汉字或英文字母都为一个长度 select sname, len(sname) from ...
- SQL Server 分隔字符串函数实现
在SQL Server中有时候也会遇到字符串进行分隔的需求.平时工作中常常遇到这样的需求,例如:人员数据表和人员爱好数据表,一条人员记录可以多多人员爱好记录,而往往人员和人员爱好在界面展示层要一并提交 ...
- url 字符串中的参数信息
/// <summary> /// 分析 url 字符串中的参数信息 /// </summary> /// <param nam ...
- Swift3.0语言教程使用URL字符串
Swift3.0语言教程使用URL字符串 Swift3.0语言教程使用URL字符串,和路径一样,URL其实也是字符串,我们可以将这些字符串称为URL字符串.本小节将讲解URL字符串的使用. 1.编码 ...
- Linux 统计某个字符串出现的次数
要统计一个字符串出现的次数,这里现提供自己常用两种方法: 1. 使用vim统计 用vim打开目标文件,在命令模式下,输入 :%s/objStr//gn 即可 2. 使用grep: grep -o ob ...
随机推荐
- 为何ARM linux会引入Device Tree（转）
http://www.360doc.com/content/14/0522/20/14530056_380011180.shtml
- Python的串口
要使用python中的串口,可以下载pywin32-224-cp36-cp36m-win_amd64.whl去安装或者pip install去安装. 调试下来,有一点很不爽,读取read()数据的ti ...
- 【笔记】mysql入门语句8条
1.连接到数据库服务器 mysql -h host -uroot -pXXXX 2.查看所有库 show databases; 3.选库 use 库名 4.查看库下面的表 show tables; 5 ...
- Struts2入门（1）——搭建简单的环境
步骤: 1.下载Struts2的开发包. 2.创建Web项目. 3.导入需要的jar包到项目里. 4.在web.xml文件里面配置struts2的核心控制器,也就是一个过滤器. 5.编写Action类 ...
- jQuery对象数据缓存Cache原理及jQuery.data详解
网上有很多教你怎么使用jQuery.data(..)来实现数据缓存,但有两个用户经常使用的data([key],[value])和jQuery.data(element,[key],[value])几 ...
- js总结（四）：关于高性能
参考<高性能网站建设进阶指南> 不仅仅关注页面加载时间,也要关注下页面操作时的相应速度.页面操作是我们写程序中 实实在在需要的 1.使用局部变量 任何非局部变量,在函数中使用次数超过一次时 ...
- LibreOJ2302 - 「NOI2017」整数
Portal Description 有一个整数\(x=0\),对其进行\(n(n\leq10^6)\)次操作: 给出\(a(|a|\leq10^9),b(b\leq30n)\),将\(x\)加上\( ...
- [Vijos] 河蟹王国
描述 河蟹王国有一位河蟹国王,他的名字叫羊驼.河蟹王国富饶安定,人们和谐相处.有一天,羊驼国王心血来潮,想在一部分人中挑出最和谐的人.于是,羊驼国王将他的子民排成了一列(==!!b汗~好长呀).每个人 ...
- 内存管理——（exceptional C++ 条款9，条款10）
C++的各个内存区域: (1)常量数据(const data)区 常量数据区存储的是字符串等在编译期间就能确定的值,在整个程序的生命周期内,这里的数据都是可用.区域内所有的数据都是 只读的. (2)栈 ...
- JavaScript 将行结构数据转化为树结构数据源（高效转化方案）
js接收到后台的数据如下 /// 部门信息 var departRows = [{ parentDepartId: 'root', departId: 'DC', departName: '集团' } ...