最近在学习spring cloud,由于学习资料具有普遍性,部分应个人原因导致的小细节问题,往往很难找到解决的办法.这特别记录一下自己遇到的一些问题. 一.eureka-server加入security做基础访问控制报错Batch update failure with HTTP status code 401; discarding 1 replication tasks 详细错误如下: 场景交代:eureka-server程序加入security后,启动程序日志是OK的,在没有其他eurek…

Spring Cloud Gateway入坑记 前提 最近在做老系统的重构,重构完成后新系统中需要引入一个网关服务,作为新系统和老系统接口的适配和代理.之前,很多网关应用使用的是Spring-Cloud-Netfilx基于Zuul1.x版本实现的那套方案,但是鉴于Zuul1.x已经停止迭代,它使用的是比较传统的阻塞(B)IO + 多线程的实现方案,其实性能不太好.后来Spring团队干脆自己重新研发了一套网关组件,这个就是本次要调研的Spring-Cloud-Gateway. 简介 Spring…

Spring Cloud 微服务实战笔记 微服务知识 传统开发所有业务逻辑都在一个应用中, 开发,测试,部署随着需求增加会不断为单个项目增加不同业务模块:前端展现也不局限于html视图模板的形式,后端向前端支持需要更多的接口模块. 随着需求增多,项目变大,单体系统部署在一个进程内部,往往修改很小的功能,为了部署上线也会影响其他功能.后期维护成本会变得越来越大,难以控制. 微服务架构中不同模块拆分成不同服务,都能独立部署和扩展,运行在自己的进程内,有稳定的边界,更新也不会影响其他服务运营.而且由于…

1. Spring Cloud Config采坑记 1.1. 问题 在本地运行没问题,本地客户端服务能连上本地服务端服务,可一旦上线,发现本地连不上线上的服务 服务端添加security登录加密,客户端连接不上,这在本地和线上都是不行的 1.2. 原因及解决办法 这两个问题的原因是一样的,由于它本身加载顺序的问题,它默认加载地址就是localhost:8888,而application.properties的加载是第二序位 为了解决上述两个问题,在resources中添加个bootstrap.y…

即将上线的YARN服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 折腾了一个星期,终于让开发将数据跑起来了,可通过yarn的webUI界面,发现这里的核心数和内存都对应不上,相差的太远了,我的服务器都是32core,128G内存,12*8T的硬盘.理论上的集群可以用的内存应该接近2T.可是我发信内存只有四分之一. 接下来,我们可以通过这个界面获取一些信息,如下图,点击“about”,可以看到有18个节点(20台机器,2gNN节点,18个DN节点) 点…

即将上线的Spark服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.18/10/19 16:36:31 WARN metastore.ObjectStore: Failed to get database default, returning NoSuchObjectException 根据上面的报错,说是获取元数据失败,我们查看mysql的数据库,发现hive库是有数据的. 测试我们登陆到hive仓库,最终去查看hive仓库里面是否有指定的库时…

即将上线的Spark服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 把kafka和flume倒腾玩了,以为可以轻松一段时间了,没想到使用CDH部署的spark也出现一些列的问题,真让人脑仁疼啊,硬着头皮一个一个的去填坑.......... 一.因配置文件不同,导致无权限访问hdfs目录. 报错信息如下: 18/10/19 00:36:23 ERROR spark.SparkContext: Error initializing SparkContex…

  即将上线的flume服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.flume缺少依赖包导致启动失败! 报错信息如下: 2018-10-17 11:07:43,369 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesF…

  即将上线的Kafka服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Kafka日志报错:[error] k.m.j.KafkaJMX$ - Failed to connect to service:jmx:rmi:///jndi/rmi://10.1.3.116:-1/jmxrmi java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polli…

turbine是啥就不多解释了,初次接触的可以移步spring cloud 学习(4) - hystrix 服务熔断处理 拉到最后看一下,turbine stream默认情况下启动成功后,eureka的注册列表里,看不到该服务.这其实是turbine的一个bug,详情见:https://github.com/spring-cloud/spring-cloud-netflix/issues/1774 ,大概意思是说内部依赖的netty,写死了server.port=-1,导致启动后servlet容…