ExecutionEngine执行引擎 上一篇分析了CrawlerProcess和Crawler对象的建立过程,在最终调用CrawlerProcess.start()之前,会首先建立ExecutionEngine执行引擎,执行其open_spider和start方法. ExecutionEngine.open_spiders() scrapy/core/engine.py#ExecutionEngine: @defer.inlineCallbacks def open_spider(self,…

前言 虽然爬虫的入门级编写并不难,但要让爬虫真正稳定可靠的运行起来,真不是一件容易的事.首先,要用到scrapy,就必须要读懂scrapy这个爬虫框架,如果连这个框架的执行逻辑都搞不懂,那么爬虫也很难写好. 1.命令行启动 这里先不谈使用了各种框架的复杂情况,比如scrapyd服务.redis分布式队列等.只看最简单的情况,假设只写了几个简单爬虫spider(中间件和管道写不写无影响). 输入命令 通过命令行运行其中的某一个spider: scrapy crawl myspider 首先,命令里…

Scraper刮取器 对ExecutionEngine执行引擎篇出现的Scraper进行展开.Scraper的主要作用是对spider中间件进行管理,通过中间件完成请求.响应.数据分析等工作. Scraper对象 scrapy/core/scraper.py#Scraper: class Scraper(object): def __init__(self, crawler): self.slot = None self.spidermw = SpiderMiddlewareManager.fr…

Scheduler调度器 对ExecutionEngine执行引擎篇出现的Scheduler进行展开.Scheduler用于控制Request对象的存储和获取,并提供了过滤重复Request的功能. Scheduler对象 scheduler对象是通过类的from_cralwer方法生成的.scrapy/core/scheduler.py#Scheduler: from_crawler(cls, crawler): settings = crawler.settings dupefilter_c…

目录 1. 引言 2. 初始化bean的入口 3 尝试从当前容器及其父容器的缓存中获取bean 3.1 获取真正的beanName 3.2 尝试从当前容器的缓存中获取bean 3.3 从父容器中查找bean 3.4 解析bean的依赖 3.5 再一次尝试从缓存中获取 4. 真正创建Bean的方法createBean() 4.1 实例化bean的前置处理 4.2 选择合适的策略创建bean实例 4.3 填充bean的属性,解析依赖,递归创建依赖的bean 4.4 初始化bean 5. 总结 6.…

启动过程结论 推测web应用类型. spi的方式获取BootstrapRegistryInitializer.ApplicationContextInitializer.ApplicationContextInitializer对象. 通过调用栈推测出main()方法所在的类. 调用启动方法:run(String... args).后面的步骤在这个方法内部! 触发SpringApplicationRunListener的starting(). 创建Environment对象. 触发SpringA…

目录 1. 前言 1.1 IOC容器到底是什么 1.2 BeanFactory和ApplicationContext的联系以及区别 1.3 解读IOC容器启动流程的意义 1.4 如何有效的阅读源码 2. 初探IOC容器启动源码 2.1 启动容器的真正入口refresh() 2.2 容器启动流程的不同阶段 3 容器启动前的准备工作 4. 总结 1. 前言 1.1 IOC容器到底是什么 IOC和AOP是Spring框架的核心功能,而IOC又是AOP实现的基础,因而可以说IOC是整个Spring框架的…

Spring IOC 容器预启动流程源码探析 在应用程序中,一般是通过创建ClassPathXmlApplicationContext或AnnotationConfigApplicationContext这两个最底层子类来启动Spring IOC容器: ClassPathXmlApplicationContext: xml文件配置版 AnnotationConfigApplicationContext: 注解版 由于当下越来越流行基于Java注解的配置来创建我们的Bean,所以本文主要以注解版进…

前言 Activity是Android四大组件的老大,我们对它的生命周期方法调用顺序都烂熟于心了,可是这些生命周期方法到底是怎么调用的呢?在启动它的时候会用到startActivty这个方法,但是这个方法的背后是怎样来实现的呢,来看看源码一探究竟(API23,无关代码省略) 应用进程启动activity流程 首先来到startActivity(Intent intent): @Override public void startActivity(Intent intent) { this.sta…

接上之前的分析 ++Android Activity启动流程源码全解析(1)++ 1.正在运行的Activity调用startPausingLocked 一个一个分析,先来看看startPausingLocked: final boolean startPausingLocked(boolean userLeaving, boolean uiSleeping, boolean resuming, boolean dontWait) { ...... if (prev.app != null &&a…