nacos的客户端 服务端版本1.0
优化前： 客户端占用大量的cpu资源，增加nacos服务端的压力，导致很多异常的问题。
优化后： 节省客户端大量的cpu资源，减少nacos服务端的压力。释放大量请求带来的网络阻塞问题。
缺陷：实现的相对简陋，不支持其他RPC框架 强依赖性。
问题：通过下面日志调用栈分析
image.png
找到瞩目的HostReactor.updateServiceNow 被getServiceInfo调用
image.png
image.png
image.png
原因：nacos在服务启动后 基于NacosWatch 会启动一个定时任务线程 getServicesOfServer(1, Integer.MAX_VALUE) 拉取所有的服务 并会全部进行订阅。订阅的方式采用循环添加任务。获取到所有服务后，把服务添加到任务列表中。 如果有服务非正常下线 那就会导致没有
**1、通过arthas工具看到后端大量的请求 **
命令 tt -t com.alibaba.nacos.client.naming.net.NamingProxy queryList
image.png
2、发现有一个nacos的线程一直在占用大量的CPU资源
image.png
3、找到最终祸首 就是因为订阅了所有服务导致
image.png
image.png
通过日志分析，还原生产环境nacos 大量404以及超时的原因。
1、nacos在服务启动后 基于NacosWatch 会启动一个定时任务线程 执行nacosServicesWatch#getServicesOfServer(1, Integer.MAX_VALUE) 拉取当前服务端所有的服务 并会全部进行订阅。订阅的方式采用循环添加任务。获取到所有服务后，把服务添加到任务列表中 服务轮询的时间是1s的延时（当有服务下线 任务并不会删除 导致404 也因为全量的订阅导致的500）。
解决思路：
1、基于上述分析以及整体框架，客户端业务使用nacos 都是基于OpenFeign拿到nacos上面服务的Ip以及端口进行的远程调用。所以我们只需要订阅openFeign调用的对应服务的nacos信息。
2、发现：通过跟踪源码 找到实际获取服务的类 NacosNamingService#getServicesOfServer HostReactor#getServiceInfo，只需要在服务启动的时候过滤getServicesOfServer的数据就行
3、实现： 通过spring拿到NacosDiscoveryProperties（NacosNamingService的实际所有者） 初始化自己重写的CustomizationNacosNamingService 并通过反射替换掉 NacosDiscoveryProperties的NacosNamingService属性。
4、CustomizationNacosNamingService#getServicesOfServer 通过获取FeignContext拿到服务中Feign的所有服务名 和nacos所有服务 进行交集 传递到下层处理。从而完成针对OpenFeign的服务订阅
package com.cross.config;
import cn.hutool.core.collection.CollUtil;
import com.alibaba.nacos.api.common.Constants;
import com.alibaba.nacos.api.exception.NacosException;
import com.alibaba.nacos.api.naming.pojo.ListView;
import com.alibaba.nacos.api.selector.AbstractSelector;
import com.alibaba.nacos.client.naming.NacosNamingService;
import com.alibaba.nacos.client.naming.utils.UtilAndComs;
import com.cross.utils.SpringContextUtils;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.NoSuchBeanDefinitionException;
import org.springframework.cloud.alibaba.nacos.NacosDiscoveryProperties;
import org.springframework.cloud.openfeign.FeignContext;
import org.springframework.stereotype.Component;
import java.lang.reflect.Field;
import java.util.ArrayList;
import java.util.Collection;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.ConcurrentHashMap;
import static com.alibaba.nacos.api.PropertyKeyConst.ACCESS_KEY;
import static com.alibaba.nacos.api.PropertyKeyConst.CLUSTER_NAME;
import static com.alibaba.nacos.api.PropertyKeyConst.ENDPOINT;
import static com.alibaba.nacos.api.PropertyKeyConst.ENDPOINT_PORT;
import static com.alibaba.nacos.api.PropertyKeyConst.NAMESPACE;
import static com.alibaba.nacos.api.PropertyKeyConst.NAMING_LOAD_CACHE_AT_START;
import static com.alibaba.nacos.api.PropertyKeyConst.SECRET_KEY;
import static com.alibaba.nacos.api.PropertyKeyConst.SERVER_ADDR;
/**
* 优化服务的调用 只监听OpenFeign调用的服务变化 减少服务自身的远程调用
* 重写请求nacos服务端 获取服务的方法
* @data: 2021/2/26 16:30
* @author: HuangQi
* @Version: v1.0
*/
@Slf4j
@Component
public class CustomizationNacosNamingService extends NacosNamingService {
static final String SYMBOL = ":";
static List<String> FEIGN_SERVER_NAME_LIST = new ArrayList<>();
static Boolean IS_FIRST = true;
public CustomizationNacosNamingService(NacosDiscoveryProperties nacosDiscoveryProperties) {
super(namingServiceInstance(nacosDiscoveryProperties));
init(nacosDiscoveryProperties);
}
/**
* 封装实例的属性
* @param nacosDiscoveryProperties
* @return
*/
private static Properties namingServiceInstance(NacosDiscoveryProperties nacosDiscoveryProperties) {
Properties properties = new Properties();
properties.put(SERVER_ADDR, nacosDiscoveryProperties.getServerAddr());
properties.put(NAMESPACE, nacosDiscoveryProperties.getNamespace());
properties.put(UtilAndComs.NACOS_NAMING_LOG_NAME, nacosDiscoveryProperties.getLogName());
String endpoint = nacosDiscoveryProperties.getEndpoint();
if (endpoint.contains(SYMBOL)) {
int index = endpoint.indexOf(SYMBOL);
properties.put(ENDPOINT, endpoint.substring(0, index));
properties.put(ENDPOINT_PORT, endpoint.substring(index + 1));
}
else {
properties.put(ENDPOINT, endpoint);
}
properties.put(ACCESS_KEY, nacosDiscoveryProperties.getAccessKey());
properties.put(SECRET_KEY, nacosDiscoveryProperties.getSecretKey());
properties.put(CLUSTER_NAME, nacosDiscoveryProperties.getClusterName());
properties.put(NAMING_LOAD_CACHE_AT_START, nacosDiscoveryProperties.getNamingLoadCacheAtStart());
return properties;
}
private void init(NacosDiscoveryProperties nacosDiscoveryProperties) {
try {
Class<? extends NacosDiscoveryProperties> aClass = nacosDiscoveryProperties.getClass();
Field field = aClass.getDeclaredField("namingService");
field.setAccessible(true);
field.set(nacosDiscoveryProperties,this);
} catch (IllegalAccessException | NoSuchFieldException e) {
log.error("nacos init 获取属性异常 ",e);
}
}
/**
* 重写获取服务方法 只保留需要使用Nacos的实例
* @throws NacosException
*/
@Override
public ListView<String> getServicesOfServer(int pageNo, int pageSize) throws NacosException {
ListView<String> servicesOfServer = super.getServicesOfServer(pageNo, pageSize);
List<String> nacosServerNameList = servicesOfServer.getData();
List<String> nacosNames = new ArrayList<>();
try {
if(IS_FIRST){
//获取项目中所有OpenFeign api的服务名 没有依赖OpenFeign 可以屏蔽掉try的所以内容 或者改成其他RPC
FeignContext bean3 = SpringContextUtils.getBean(FeignContext.class);
Field configurations = bean3.getClass().getSuperclass().getDeclaredField("configurations");
configurations.setAccessible(true);
Object o1 = configurations.get(bean3);
if(o1 instanceof ConcurrentHashMap){
ConcurrentHashMap<String,Object> a = ((ConcurrentHashMap) o1) ;
for (String feignServerName : a.keySet()) {
if(feignServerName.contains("default.com")){
continue;
}
FEIGN_SERVER_NAME_LIST.add(feignServerName);
}
}
}
}catch (NoSuchFieldException | IllegalAccessException e){
log.error("feign 获取api列表异常 ",e);
}catch (NoSuchBeanDefinitionException e){
log.warn("当前服务没有使用openFeign 不需要监听nacos其他服务的信息");
}
Collection<String> subtract = CollUtil.intersectionDistinct(FEIGN_SERVER_NAME_LIST, nacosServerNameList);
nacosNames.addAll(subtract);
if(FEIGN_SERVER_NAME_LIST.size() > nacosNames.size() && IS_FIRST){
log.warn("feign APi调用服务数量超出，nacos服务端所有服务 可能会影响远程调用失败 请检查所有FeignClient配置 如指定了url则忽略");
log.warn("nacosNames：{} " +
"FEIGN_SERVER_NAME_LIST：{}",nacosNames.toString(), FEIGN_SERVER_NAME_LIST.toString());
}
if(IS_FIRST){
log.info("nacos 原监听服务数量:{},优化后监听服务的数量:{} feign服务数量{}",servicesOfServer.getCount(),nacosNames.size(), FEIGN_SERVER_NAME_LIST.size());
}
servicesOfServer.setData(nacosNames);
servicesOfServer.setCount(nacosNames.size());
IS_FIRST = false;
return servicesOfServer;
}
@Override
public ListView<String> getServicesOfServer(int pageNo, int pageSize, String groupName) throws NacosException {
return getServicesOfServer(pageNo, pageSize, groupName, null);
}
@Override
public ListView<String> getServicesOfServer(int pageNo, int pageSize, AbstractSelector selector)
throws NacosException {
return getServicesOfServer(pageNo, pageSize, Constants.DEFAULT_GROUP, selector);
}
@Override
public ListView<String> getServicesOfServer(int pageNo, int pageSize, String groupName, AbstractSelector selector) throws NacosException {
return super.getServicesOfServer(pageNo,pageSize,groupName,selector);
}
}
package com.cross.utils;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.stereotype.Component;
/**
* Spring Context 工具类
*
* @author hq
*/
@Component
public class SpringContextUtils implements ApplicationContextAware {
public static ApplicationContext applicationContext;
public static Object getBean(String name) {
return applicationContext.getBean(name);
}
public static <T> T getBean(String name, Class<T> requiredType) {
return applicationContext.getBean(name, requiredType);
}
public static <T> T getBean(Class<T> requiredType) {
T bean = applicationContext.getBean(requiredType);
return applicationContext.getBean(requiredType);
}
public static boolean containsBean(String name) {
return applicationContext.containsBean(name);
}
public static boolean isSingleton(String name) {
return applicationContext.isSingleton(name);
}
public static Class<? extends Object> getType(String name) {
return applicationContext.getType(name);
}
/**
* 获取当前环境
*/
public static String[] getActiveProfiles() {
return applicationContext.getEnvironment().getActiveProfiles();
}
@Override
public void setApplicationContext(ApplicationContext applicationContext)
throws BeansException {
SpringContextUtils.applicationContext = applicationContext;
}
}
相关依赖
<dependency>
<groupId>cn.hutool</groupId>
<artifactId>hutool-all</artifactId>
<version>5.4.4</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<!--引入注册中心-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
<exclusions>
<exclusion>
<artifactId>guava</artifactId>
<groupId>com.google.guava</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-openfeign</artifactId>
<exclusions>
<exclusion>
<artifactId>guava</artifactId>
<groupId>com.google.guava</groupId>
</exclusion>
<exclusion>
<artifactId>jsr305</artifactId>
<groupId>com.google.code.findbugs</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>io.github.openfeign</groupId>
<artifactId>feign-httpclient</artifactId>
</dependency>
