.net core中EFCore发出警告:More than twenty 'IServiceProvider' instances have been created for internal use by Entity Framework
最近使用.net core k开发时,碰到个问题,Ef使用中程序发出了一个警告:
More than twenty 'IServiceProvider' instances have been created for internal use by Entity Framework. This is commonly caused by injection of a new singleton service instance into every DbContext instance. For example, calling UseLoggerFactory passing in a new instance each time--see https://go.microsoft.com/fwlink/?linkid=869049 for more details. Consider reviewing calls on 'DbContextOptionsBuilder' that may require new service providers to be built.
这个警告是说,我们创建了超过20个的IServiceProvider用于EF的内部使用,提醒我们程序是不是出现了问题,让我们查看DbContextOptionsBuilder是不是有问题。
本来这只是个警告,一般来说没什么问题,在好奇心的驱使下,又是百度,又是谷歌,又是MSDN,又是GitHub看源码,发现这个好像是.net ef core的一个BUG,如果置之不管,时间久了可能导致内存溢出,而且目前确认有人因为这个导致内存溢出了。
现在,我们来重现这个警告:
首先,我们创建一个控制台程序,当然也可以是api项目或者web mvc项目,然后在Nuget中安装以下包(博主使用的.net core 2.2的版本,mysql数据库):
Microsoft.EntityFrameworkCore(EF框架包)
Microsoft.Extensions.Logging.Console(控制台日志输出)
Pomelo.EntityFrameworkCore.MySql(mysql数据库连接)
Microsoft.NETCore.App(这个应该是默认会带的,没有就加上)
安装完成之后,需要创建一个数据库,随便建立一两个表,这里建两个表,对应实体如下:
using System;
using System.Collections.Generic;
using System.Text; namespace DemoConsole2
{
public class Dept
{
public int Id { get; set; }
public string Name { get; set; }
public string Description { get; set; }
}
}
Dept
1 using System;
2 using System.Collections.Generic;
3 using System.Text;
4
5 namespace DemoConsole2
6 {
7 public class Emp
8 {
9 public int Id { get; set; }
10 public string Name { get; set; }
11 public int Age { get; set; }
12 public DateTime? HireDate { get; set; }
13 public int DeptId { get; set; }
14 }
15 }
Emp
DbContext如下:
using Microsoft.EntityFrameworkCore;
using Microsoft.EntityFrameworkCore.Diagnostics;
using Microsoft.Extensions.Logging.Console;
using System;
using System.Collections.Generic;
using System.Text; namespace DemoConsole2
{
public class MyDbContext : DbContext
{
public DbSet<Emp> Emps { get; set; }
public DbSet<Dept> Depts { get; set; } public MyDbContext(DbContextOptions options) : base(options)
{ } protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
optionsBuilder.UseLoggerFactory(new EfConsoleLoggerFactory());
base.OnConfiguring(optionsBuilder);
} protected override void OnModelCreating(ModelBuilder modelBuilder)
{
var empBuilder = modelBuilder.Entity<Emp>();
empBuilder.ToTable(typeof(Emp).Name);
empBuilder.HasKey(nameof(Emp.Id));
empBuilder.Property(nameof(Emp.Id)).ValueGeneratedOnAdd(); var deptBuilder = modelBuilder.Entity<Dept>();
deptBuilder.ToTable(typeof(Dept).Name);
deptBuilder.HasKey(nameof(Dept.Id));
deptBuilder.Property(nameof(Dept.Id)).ValueGeneratedOnAdd();
}
}
}
MyDbContext
其中,EfConsoleLoggerFactory是用来输出控制台日志用的:
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Logging;
using Microsoft.Extensions.Logging.Console;
using Microsoft.Extensions.Options;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks; namespace DemoConsole2
{
public class EfConsoleLoggerFactory : LoggerFactory
{
public EfConsoleLoggerFactory() : base(GetLoggerProviders(), GetFilterOptions())
{
} public static ILoggerProvider[] GetLoggerProviders()
{
ServiceCollection service = new ServiceCollection();
service.Configure<ConsoleLoggerOptions>(options => { });
var serviceProvider = service.BuildServiceProvider();
ConsoleLoggerProvider consoleLoggerProvider = new ConsoleLoggerProvider(serviceProvider.GetService<IOptionsMonitor<ConsoleLoggerOptions>>());
return new ILoggerProvider[] { consoleLoggerProvider };
}
public static LoggerFilterOptions GetFilterOptions()
{
return new LoggerFilterOptions()
{
MinLevel = LogLevel.Warning
};
}
}
}
EfConsoleLoggerFactory
然后,在Program中就可以测试了:
using Microsoft.EntityFrameworkCore;
using System; namespace DemoConsole2
{
class Program
{
static void Main(string[] args)
{
var builder = new DbContextOptionsBuilder<MyDbContext>();
builder.UseMySql("server=192.168.209.128;port=3306;database=test;uid=root;pwd=123456;CharSet=utf8");
for (var i = 0; i < 20; i++)
{
using (var context = new MyDbContext(builder.Options))
{
context.SaveChanges();
}
} Console.ReadKey();
}
}
}
Program
运行之后,打出日志:
通过努力查找,发现这个日志是在ServiceProviderCache类的GetOrAdd方法中打印出来的,GitHub源码地址:https://github.com/aspnet/EntityFrameworkCore/blob/release/2.2/src/EFCore/Internal/ServiceProviderCache.cs#L115
这里截个图:
箭头处就是打印日志的地方,但是它是要缓存个数大于等于20时才大于,所以,上面我们在Program中的循环才使用了20次,少于20次都不会有这个警告。
通过查看ServiceProviderCache,我们发现_configurations是一个ConcurrentDictionary,但不是静态的,但是ServiceProviderCache有一个静态实例,想必EFcore里面都是使用这个静态实例,这样一来,_configurations和静态就没什么区别了
_configurations的key是long类型,查看ServiceProviderCache的GetOrAdd,其key值规则如下:
其中options是一个IDbContextOptions对象,它有一个Extensions属性,而key的值就是由这些Extensions属性决定的,而Extensions属性中,一般都有一个重要的Extension:CoreOptionsExtension
这个CoreOptionsExtension就厉害了,像服务,日志等等都是在它里面配置
回到我们的测试项目,再看看我们的DbContext,在OnConfiguring方法中:
protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
optionsBuilder.UseLoggerFactory(new EfConsoleLoggerFactory());
base.OnConfiguring(optionsBuilder);
}
这里,我们每次实例化一个EfConsoleLoggerFactory对象,使用DbContextOptionsBuilder的UseLoggerFactory方法加载,可以去看看UseLoggerFactory的源码,它其实是将ILoggerFactory对象放到CoreOptionsExtension的LoggerFactory中,这样就导致了CoreOptionsExtension对象的变化,上面说了,ServiceProviderCache的_configurations的key值依赖于IDbContextOptions的Extensions,而CoreOptionsExtension就在这些Extensions中,这样就自然引起了key的变化,这样,_configurations就会重新缓存一个对象,而OnConfiguring方法在DbContext每次实例化后,在使用这个新的DbContext时都会调用(如上面的Program的context.SaveChanges()就会去调用OnConfiguring),这样就会不停地增加_configurations中缓存的数量,直至内存溢出。
知道问题的原因,现在,我们修改一下MyDbContext类:
using Microsoft.EntityFrameworkCore;
using Microsoft.EntityFrameworkCore.Diagnostics;
using Microsoft.Extensions.Logging.Console;
using System;
using System.Collections.Generic;
using System.Text; namespace DemoConsole2
{
public class MyDbContext : DbContext
{
public DbSet<Emp> Emps { get; set; }
public DbSet<Dept> Depts { get; set; } public MyDbContext(DbContextOptions options) : base(options)
{ } static readonly EfConsoleLoggerFactory loggerFactory = new EfConsoleLoggerFactory(); protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
optionsBuilder.UseLoggerFactory(loggerFactory);
base.OnConfiguring(optionsBuilder);
} protected override void OnModelCreating(ModelBuilder modelBuilder)
{
var empBuilder = modelBuilder.Entity<Emp>();
empBuilder.ToTable(typeof(Emp).Name);
empBuilder.HasKey(nameof(Emp.Id));
empBuilder.Property(nameof(Emp.Id)).ValueGeneratedOnAdd(); var deptBuilder = modelBuilder.Entity<Dept>();
deptBuilder.ToTable(typeof(Dept).Name);
deptBuilder.HasKey(nameof(Dept.Id));
deptBuilder.Property(nameof(Dept.Id)).ValueGeneratedOnAdd();
}
}
}
MyDbContext
我们将EfConsoleLoggerFactory放到一个静态字段中,这样可以保证每次调用optionsBuilder.UseLoggerFactory(loggerFactory)方法时使用的是同一个对象,从而不会引起_configurations的key的变化,然后运行发现确实没有这个警告出现了。
通过调试,可以看到ServiceProviderCache的静态属性Instance中,_configurations中的数量确实没有增加。
需要提一下的是,上面的例子是通过LoggerFactory的变化来说明这个问题产生的原因,事实上,基本所有引起IDbContextOptions的Extensions变化都会导致_configurations重新缓存,所以以后再使用DbContextOptionsBuilder就要小心了,毕竟正常来说,我们都是通过DbContextOptionsBuilder去修改DbContext的配置,从而影响到EFcore内部的一些配置。
这里提示一下,一般的,我们会使用到DbContextOptionsBuilder的地方有3个:
(1)、DbContext的OnConfiguring方法,
(2)、IServiceCollection的拓展方法AddDbContext(方法实现在EntityFrameworkServiceCollectionExtensions中)
(3)、在使用new 实例化DbContext对象时,如上面Program中的DbContextOptionsBuilder<T>就是DbContextOptionsBuilder的一个子类
当然还有其它地方或者方式可以使用更新DbContextOptionsBuilder对象,如果找不到了怎么办呢?
经过自己的验证,发现3个可行的方法:
(1)、在DbContext的OnConfiguring中使用反射,当ServiceProviderCache.Instance对象中_configuration缓存个数大于指定数量时,就干掉一部分
protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
var field = typeof(ServiceProviderCache).GetField("_configurations", BindingFlags.NonPublic | BindingFlags.Instance);
var configurations = (ConcurrentDictionary<long, (IServiceProvider ServiceProvider, IDictionary<string, string> DebugInfo)>)field.GetValue(ServiceProviderCache.Instance);
if (configurations.Count > 10)
{
configurations.Clear();
} optionsBuilder.UseLoggerFactory(new EfConsoleLoggerFactory());
base.OnConfiguring(optionsBuilder);
}
(2)、使用内部服务
查看ServiceProviderCache的GetOrAdd的源码发现,如果存在内部服务,则不会使用缓存,而内部服务是使用DbContextOptionsBuilder对象添加进去的,上面提到使用DbContextOptionsBuilder的三个地方都可以使用,如:
protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
ServiceCollection services = new ServiceCollection();
services.AddEntityFrameworkMySql();
services.AddLogging();
services.AddTransient<ILoggerFactory, EfConsoleLoggerFactory>();
var internalServiceProvider = services.BuildServiceProvider(); optionsBuilder.UseApplicationServiceProvider(internalServiceProvider);
//optionsBuilder.UseLoggerFactory(internalServiceProvider.GetService<ILoggerFactory>());
base.OnConfiguring(optionsBuilder);
}
需要注意的是,如果使用内部服务,那么这个服务必须包含其所需的依赖服务对象,比如上面的EfConsoleLoggerFactory,只需要将它将它注入到服务中,而不用调用UseApplicationServiceProvider方法,如果调用,将会抛出异常
(3)、升级.net core到3.0
.net core 3.0中CoreOptionsExtension提供了一个ServiceProviderCachingEnabled属性,用于设置是否启用缓存,这个算是暂时解决了内存溢出的问题:
protected override void OnConfiguring(DbContextOptionsBuilder optionsBuilder)
{
optionsBuilder.EnableServiceProviderCaching(false);
optionsBuilder.UseLoggerFactory(new EfConsoleLoggerFactory());
base.OnConfiguring(optionsBuilder);
}
.net core中EFCore发出警告:More than twenty 'IServiceProvider' instances have been created for internal use by Entity Framework的更多相关文章
- 在ASP.NET Core中如何支持每个租户数据存储策略的数据库
在ASP.NET Core中如何支持每个租户数据存储策略的数据库 不定时更新翻译系列,此系列更新毫无时间规律,文笔菜翻译菜求各位看官老爷们轻喷,如觉得我翻译有问题请挪步原博客地址 本博文翻译自: ht ...
- [翻译]在 .NET Core 中的并发编程
原文地址:http://www.dotnetcurry.com/dotnet/1360/concurrent-programming-dotnet-core 今天我们购买的每台电脑都有一个多核心的 C ...
- .NET Core 中的并发编程
今天我们购买的每台电脑都有一个多核心的 CPU,允许它并行执行多个指令.操作系统通过将进程调度到不同的内核来发挥这个结构的优点. 然而,还可以通过异步 I/O 操作和并行处理来帮助我们提高单个应用程序 ...
- Working with Data » 使用Visual Studio开发ASP.NET Core MVC and Entity Framework Core初学者教程
原文地址:https://docs.asp.net/en/latest/data/ef-mvc/intro.html The Contoso University sample web applica ...
- Entity Framework Core 命名约定
本文翻译自<Entity Framework Core: Naming Convention>,由于水平有限,故无法保证翻译完全正确,欢迎指出错误.谢谢! 注意:我使用的是 Entity ...
- Entity Framework Core(EF Core) 最简单的入门示例
目录 概述 基于 .NET Core 的 EF Core 入门 创建新项目 更改当前目录 安装 Entity Framework Core 创建模型 创建数据库 使用模型 基于 ASP.NET Cor ...
- Entity Framework Core 入门(2)
安装 EF Core 将 EF Core 添加到不同平台和常用 IDE 中的应用程序的所需步骤汇总. 分步入门教程 无需具备 Entity Framework Core 或任何特定 IDE 的原有知识 ...
- 【EF】Entity Framework Core 命名约定
本文翻译自<Entity Framework Core: Naming Convention>,由于水平有限,故无法保证翻译完全正确,欢迎指出错误.谢谢! 注意:我使用的是 Entity ...
- 在Linq to sql 和 Entity framework 中使用lambda表达式实现left join
在Linq to sql 和 Entity framework 中使用lambda表达式实现left join 我们知道lambda表达式在Linq to sql 和 Entity framework ...
随机推荐
- 实现android自动化测试部署与运行Shell脚本分享
我的配置是linux 64, android4.2.2的sdk. 实现的细节都在代码注释里了,变量名以及echo的内容也是说明的一部分. 主流程为: 1.检测是否指定端口的模拟器已经运行,若有则关闭2 ...
- Spring Boot with H2 Database
Learn to configure H2 database with Spring boot to create and use an in-memory database in runtime, ...
- Django REST framework完全入门
Django REST framework 一个强大灵活的Django工具包,提供了便捷的 REST API 开发框架 我们用传统的django也可以实现REST风格的api,但是顶不住Django ...
- Redis - 2 - 聊聊Redis的RDB和AOF持久化 - 更新完毕
1.RDB 1.1).RDB是什么? RDB,全称Redis Database RDB是Redis进行持久化的一种方式,当然:Redis默认的持久化方式也是RDB 1.2).Redis配置RDB 1. ...
- Sentry 监控 - 私有 Docker Compose 部署与故障排除详解
内容整理自官方开发文档 系列 1 分钟快速使用 Docker 上手最新版 Sentry-CLI - 创建版本 快速使用 Docker 上手 Sentry-CLI - 30 秒上手 Source Map ...
- Gitlab更改项目间的fork提交关系
目录 一.前情提要 二.实际操作 一.前情提要 1.dzsw/cgd_xx项目,通过fork按钮在dzsw_dev组下面同步了一个项目 2.但是现在dzsw/cgd_xx项目因为没法提交合并请求,一点 ...
- Win7远程连接问题:凭据不工作 & 没有授权此用户账户
一 您的凭据不工作 1.问题描述 win7系统远程桌面到某个电脑的一个账户名为admin 的用户,但提示"您的凭据不工作,之前连到 *.*.*.*的凭据无法使用,请输入新凭据",即 ...
- DIgSILENT PowerFactory 15.1.7 破解过程
将dll文件复制到安装路径下:
- picoctf_2018_rop chain
拿到题目就知道要用rop来做 老样子日常检查一下 32位的程序开启了nx和relro保护 将程序放入ida中 一眼就看到了程序中的后门程序 我们逐一分析一下 main vuln get没有对输入字符进 ...
- ICCV2021 | Tokens-to-Token ViT:在ImageNet上从零训练Vision Transformer
前言 本文介绍一种新的tokens-to-token Vision Transformer(T2T-ViT),T2T-ViT将原始ViT的参数数量和MAC减少了一半,同时在ImageNet上从 ...