假设你想做一个像微博短链接那样的短链接服务,短链接服务生成的URL都非常短例如: http://t.cn/E70Piib, 我们应该都能想到链接中的E70Piib对应的就是存储长链接地址的数据记录的ID,可是这个有大小写字母和数字构成的唯一ID是怎么生成的呢,刚学编程的时候我们用的方法都试拼接一个足够唯一的字符串(比如时间戳加用户ID等等)然后再用MD5或者SHA1散列算法算出一个散列值,用这种方法得到的唯一ID有可能比原始的链接的长度还要长,所以如何来优雅的生成足够短的字符串唯一ID呢?

我们先来看一个数学问题,普通的数字ID是用十进制来表示的,在十进制中每位都有10种可能(0-9),所以5位的十进制数能呈现最多10 * 10 * 10 * 10 * 10 = 100,000 个ID。

现在如果用32进制来表达一个5位数字需要多少位呢?

<?php
echo base_convert(10000, 10, 32); //答案是 '90g'

32进制是数字和一些小些字母来组成,所以5位32进制可表达的唯一ID有 32 * 32 * 32 * 32 * 32 = 33,554,432个,数量已经很大了。

使用32进制也能生成比较短的字符串唯一ID,不过还有更好的解决方案,你也看到了上面短链接的唯一ID里还包含大写字母。

接下来我们使用62进制转换,将一个十进制数字转化为对应的62进制表示。

(为什么用62进制?数字加大小写字母一共是62个)

常用的这几个编程语言里没有提供62进制的转换,所以就需要我们自己写一个函数来进行10进制到62进制的转换。

/**
* Convert a numeric string from base 10 to another base.
*
* @param $value decimal string
* @param int $b base , max is 62
* @return string
*/
function to_base($value, $b = 62)
{
$base = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';
$r = $value % $b;
$result = $base[$r];
$q = floor($value / $b); while ($q)
{
$r = $q % $b;
$q = floor($q / $b);
$result = $base[$r].$result;
} return $result;
} /**
* Convert a 10 base numeric string to a 62 base string
*
* @param int $value
* @return string
*/
function base62_encode($value)
{
return to_base($value, 62);
}

定义好上面的函数后,让我们将100,000,000 转换成62进制试一试:

echo base62_encode(100000000); //结果是6LAze

理解了将十进制正整数转换成62进制的字符串表示形式的原理后,在任何编程语言里都可以很轻松地实现一个转换函数,下面再提供一个Python版本的Base62.encode

#!/usr/bin/python
# -*- coding=UTF-8 -*- from __future__ import print_function, division BASE62 = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ" def encode(num, alphabet=BASE62):
"""Encode a positive number in Base X Arguments:
- `num`: The number to encode
- `alphabet`: The alphabet to use for encoding
"""
if num == 0:
return alphabet[0]
arr = []
base = len(alphabet)
while num:
num, rem = divmod(num, base)
arr.append(alphabet[rem])
arr.reverse()
return ''.join(arr)

Python函数注解

  • python的divmod函数用第一个参数num除以第二个参数base,并以元组的形式返回商和余数。
  • 因为divmod返回两个元素构成的元组,在python中元组可以简写省略两边地括号,所以num, rem = divmod(num, base)是一个元组赋值表达式,并不是divmod函数返回了两个返回值。

一亿用62进制表示出来后的结果是6LAze , 生成的唯一字符串ID足够短。短链接只是一个应用场景,base62还可以应用到很多需要表示唯一ID的地方,这样一来你就不用再使用那些哈希算法来生成那么冗长的字符串了,虽然只是节省了一些空间但是这在高访问量的URL和海量数据的存储中还是能省下来不少资源的。

原文地址:https://segmentfault.com/a/1190000016673068

用PHP和Python生成短链接服务的字符串ID的更多相关文章

  1. 使用plv8+hashids生成短链接服务

    有写过一个集成npm plv8 以及shortid生成短链接id服务,实际上我们可以集成触发器自动生成url对应的短链接地址,hashids也是一个不错的选择. 以下是一个别人写的一个博客实现可以参考 ...

  2. 生成短链接的URL

    假设你想做一个像微博短链接那样的短链接服务,短链接服务生成的URL都非常短例如: http://t.cn/E70Piib, 我们应该都能想到链接中的E70Piib对应的就是存储长链接地址的数据记录的I ...

  3. 新浪微博API生成短链接

    通过新浪微博API,生成短链接,支持一次性转多个长链接 什么是短链接 短链接,通俗来说,就是将长的URL网址,通过程序计算等方式,转换为简短的网址字符串. 短链接服务 国内各大微博都推出了自己的短链接 ...

  4. 百度 谷歌 Twitter,这么多短链接服务(Short Url)究竟哪家强?

    一.短链接是什么 url=HPqdQ5VR3vA39x7ZWoWyNzwWnsDhTbh66BTpdzsJLroBDzFRm4JV-G818Zc027uZrwe7zxtxnD4H2FUahftpUK& ...

  5. Java 网址短链接服务原理及解决方案

    一.背景 现在在各种圈的产品各种推广地址,由于URL地址过长,不美观.不方便收藏.发布.传播以及各种发文字数限制等问题,微信.微博都在使用短链接技术.最近由于使用的三方的生成.解析短链接服务开始限制使 ...

  6. 短链接服务Octopus的实现与源码开放

    前提 半年前(2020-06)左右,疫情触底反弹,公司的业务量不断提升,运营部门为了方便短信.模板消息推送等渠道的投放,提出了一个把长链接压缩为短链接的功能需求.当时为了快速推广,使用了一些比较知名的 ...

  7. Java生成短链接

    为什么要生成短链接 微博之所以要是使用短链接,主要是因为微博只允许发140 字,如果链接地址太长的话,那么发送的字数将大大减少. 那么使用短链接的作用有哪些呢?1.字数,2.统计,3.监控,4.过滤 ...

  8. java,url长链接生成短链接,短链接生成器,自定义字符串,对字符串md5混合KEY加密,根据短链接获得key值,不重复的随机数,不重复的随机字符串

    java,url长链接生成短链接,短链接生成器,自定义字符串,对字符串md5混合KEY加密,根据短链接获得key值,不重复的随机数,不重复的随机字符串 package com.zdz.test; im ...

  9. openresty && hashids&& redis 生成短链接

    1. 原理     a. 从redis 获取需要表示的短链接的id( redis incr)     b. hashids 编码 id     c. openresty  conteent_by_lu ...

随机推荐

  1. 转 GTID复制的搭建和问题处理

    ########sample 1: 了解mysqldump 和 mysqlbackup  和 gtid_executed 和 gtid_purged https://www.linuxidc.com/ ...

  2. Java面向对象_继承——基本概念以及管理化妆品实例分析

    一.继承的基本概念: 1.继承是面向对象三大特征之一 2.被继承的类成为父类(超类),继承父类的类成为子类(派生类) 3.继承是指一个对象直接使用另一个对象的属性和方法 4.通过继承可以实现代码重用 ...

  3. Hadoop InputFormat详解

    InputFormat是MapReduce编程模型包括5个可编程组件之一,其余4个是Mapper.Partitioner.Reducer和OutputFormat. 新版Hadoop InputFor ...

  4. 牛客网Java刷题知识点之构造函数与set方法、与类名同名的一般方法、构造函数中有return语句

    不多说,直接上干货! 通过 牛客网Java刷题知识点之构造函数是什么.一般函数和构造函数什么区别呢.构造函数的重载.构造函数的内存图解 我们对构造函数有了一个比较清楚的认识,当我们在创建对象时,我们会 ...

  5. 三节点Hadoop集群搭建

    1. 基础环境搭建 新建3个CentOS6.5操作系统的虚拟机,命名(可自定)为masternode.slavenode1和slavenode2.该过程参考上一篇博文CentOS6.5安装配置详解 2 ...

  6. ACdream 1216——Beautiful People——————【二维LIS,nlogn处理】

    Beautiful People Special Judge Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (J ...

  7. JAVA 面试重点知识个人总结

    一.集合: 1 .Collection(是java.util下的接口) 和 Collections(是java.util下的类). 2 .List, Set,是否继承自Collection接口,Map ...

  8. 一、基础知识 React API 一览

    1.10 Hooks 参考文章:https://juejin.im/post/5be3ea136fb9a049f9121014 demo: /** * 必须要react和react-dom 16.7以 ...

  9. AGC015 C Nuske vs Phantom Thnook(前缀和)

    题意 题目链接 给出一张$n \times m$的网格,其中$1$为蓝点,$2$为白点. $Q$次询问,每次询问一个子矩阵内蓝点形成的联通块的数量 保证任意联通块内的任意蓝点之间均只有一条路径可达 S ...

  10. 【extjs6学习笔记】0.3 准备: 类库结构2