最近负责的系统安全要求接入CDN,避免DDOS之类攻击,然后华丽丽踩了两个大坑.回顾问题原因后,发现还是相关人员都对CDN原理不够熟悉.了解导致. 坑一:默认支持的文件上传最大是300M 问题现象: 接入CDN后,连续两个用户反馈视频上传失败.系统对视频最大长度有限制,一开始引导用户确认时长,后来给力的用户居然定位到精超过300M就上传失败. 问题原因: 1.除了接入CDN,系统未进行任何变更,因此很快定位到是接入CDN导致. 2.跟阿里云咨询,确认如下:默认支持的最大文件为300M:可以申请放…

2019/03/08 18:29 最近在进行华为云相关POC验证,个人主要负责华为云DMS kafka相关.大致数据流程是,从DIS取出数据,进行解析处理,然后放入kafka,再从kafka中取出数据然后放到ElasticSearch以及OBS里面.kafka作为中间层次,发挥着中间件的重要作用.关于华为云kafka的整合,这两天的确碰到一些坑,现进行相关总结加以记录. 第一个问题:kafka的jar包不要用开源的,而是用图中libs的华为官方的jar包.新建libs文件目录,然后把jarBao…

1.利用shadowsocks配置SVN(用于软件部署环境) 2.安全组设置 3.FTP搭建 https://www.cnblogs.com/hexige/p/7809481.html…

很久没有写文章记录了,上一篇文章像流水账一样,把所见所闻一个个记录下来.这次专门聊聊DevOps平台的建设吧,有些新的体会和思考,希望给正在做这个事情的同学们一些启发吧. DevOps落地实践点滴和踩坑记录-(1) 企业落地DevOps该买商用还是自己研发呢? 很多团队刚开始都会问这个问题,我的回答如下 如果团队人数少,技术栈或者技术债务不是很多,历史包袱不重,领导急于看到成果,可以使用devops商业产品.前提还是看商业产品是否满足你们目前场景. 自建工具链,分成简单工具搭建 和 更上一层的二…

使用CDN必须要解决CDN缓存的问题,要么在每次更新文件时生成不同的URL,要么在每次更新文件时刷新CDN缓存.我们在一个实际应用场景中用到了后者,所以需要调用阿里云CDN的API进行缓存刷新的操作. 刷新缓存本身的接口很简单,只需要给Action与ObjectPath这2个参数传值,比如:Action=RefreshObjectCaches&ObjectPath=test.com/test.jpg .但是实际除了这2参数之外,还需要传递8个公共请求参数:Format, Version, Sig…

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负责的模块connector就派上了用场.在楼主的努力下,线上数据同步代码经历了从最初的将近16个小时(并且还出现其他问题这些问题,等后面慢慢细说),到最终25分钟的性能优化. 打个广告,楼主自己造的轮子,感兴趣的请点https://github.com/haifeiWu/lightconf 代码直接Jenkins打包上线 楼主负责的con…

导读:本文基于边缘容器的阿里云 CDN 云原生实践, 涵盖了边缘容器的背景和趋势,边缘托管集群 ACK Managed Edge K8s(文中简称“Edge@ACK”) 的能力.架构,以及基于边缘容器构建阿里云 CDN 的云原生体系的详细过程,期望与读者分享使用阿里云容器服务打造云边端一体基础设施过程中的体会. 文章整理自 2019 年阿里云上海峰会,阿里云智能高级技术专家黄玉奇.阿里云智能技术专家吴龙辉演讲.“阿里巴巴云原生”公众号后台回复“724",可 获得云原生专场全部 PPT. 视频直播…

阿里云内容分发网络(Content Delivery Network,简称CDN)是建立并覆盖在承载网之上,由分布在不同区域的边缘节点服务器群组成的分布式网络.阿里云CDN分担源站压力,避免网络拥塞,确保在不同区域.不同场景下加速网站内容的分发,提高资源访问速度. 阿里云CDN将源站资源缓存至阿里云遍布全球的加速节点上,当终端用户请求访问和获取该资源时,无需回源,系统自动调用离终端用户最近的CDN节点上已缓存的资源.接入阿里云CDN的方法,请参考快速入门. 目前,CDN部分节点已支持IPv6进行…

CDN可以将源站内容分发至最靠近用户侧的节点,使得用户就近获取内容,提高用户的访问成功率和效率.作为CDN运维工程师,他的日常工作就是通过CDN系统的配置和管理,来确保CDN业务正常运转,以此来保障网站或应用访问体验顺畅. 近年来,伴随着移动互联网和视频爆发,业务数据量激增,同时这也给CDN运维工作带来了诸多挑战. 这其中一个不可避免的挑战是:CDN厂商提供的都是标准化服务,通过控制台来实现配置管理,虽然操作简单.使用便捷.交付高效,但对于一些个性化的业务需求就不能快速实现了,这就导致了运维系统…

导读:提到阿里云CDN,不得不提技术掌舵人姚伟斌(文景),虽然他不是团队中最“老”的同学,但他却历经了淘宝业务发展最为飞速的几年,见证了从最初服务淘宝和集团内部的CDN,到如今国内服务客户最多的云CDN的每一步技术蜕变.在他看来是业务在推动着技术的发展,技术带动了人的成长,过程中不乏迷茫和低谷,但最终确实是一次次的业务洪峰把CDN技术推向了顶端. 文景,阿里云CDN技术掌舵人 缘起开源 怀着赤子之心加入阿里 读书时期的文景是个非常“爱折腾“的学生,经常去女生宿舍帮忙调通网络,也接了很多系统开发的…