scrapy 保存到 sqlite3

scrapy 爬取到结果后，将结果保存到 sqlite3，有两种方式

• item Pipeline
• Feed Exporter

方式一

使用 item Pipeline 有三个步骤

1. 文件 pipelines.py 中，编写 Sqlite3Pipeline 类
2. 文件 settings.py 中，添加 ITEM_PIPELINES
3. 开始运行爬虫: scrapy crawl example

1. 文件 pipelines.py

说明：

参考了官网文档的 MongoDB 的例子

要求：

表格 SQLITE_TABLE 要在爬虫运行之前先创建好。否则会报错，原因不详。

代码：

import sqlite3

class Sqlite3Pipeline(object):

    def __init__(self, sqlite_file, sqlite_table):
        self.sqlite_file = sqlite_file
        self.sqlite_table = sqlite_table

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            sqlite_file = crawler.settings.get('SQLITE_FILE'), # 从 settings.py 提取
            sqlite_table = crawler.settings.get('SQLITE_TABLE', 'items')
        )

    def open_spider(self, spider):
        self.conn = sqlite3.connect(self.sqlite_file)
        self.cur = self.conn.cursor()

    def close_spider(self, spider):
        self.conn.close()

    def process_item(self, item, spider):
        insert_sql = "insert into {0}({1}) values ({2})".format(self.sqlite_table,
                                                                ', '.join(item.fields.keys()),
                                                                ', '.join(['?'] * len(item.fields.keys())))
        self.cur.execute(insert_sql, item.fields.values())
        self.conn.commit()

        return item

补充：

Github 有一个使用 twisted 操作 sqlite3 的例子，见这里。请自行对比。

2. 文件 settings.py

激活前面的 Sqlite3Pipeline 类，需要

添加：

SQLITE_FILE = 'example.db'
SQLITE_TABLE = 'dmoz'

ITEM_PIPELINES = {
    'myproject.pipelines.Sqlite3Pipeline': 300,
}

3. 运行爬虫

$ scrapy crawl example

运行效果图：

方式二

使用 Feed Exporter 有三个步骤

1. 文件 exporters.py 中，编写 Sqlite3ItemExporter 类
2. 文件 settings.py 中，添加 FEED_EXPORTERS
3. 开始运行爬虫: scrapy crawl example -o example.db -t sqlite3

1. 文件 exporters.py

说明：

参考了Github的例子，基本没变

代码：

from scrapy.exporters import BaseItemExporter
import sqlite3

class Sqlite3ItemExporter(BaseItemExporter):

    def __init__(self, file, **kwargs):
        self._configure(kwargs)
        self.conn = sqlite3.connect(file.name)
        self.conn.text_factory = str
    	self.created_tables = []

    def export_item(self, item):
    	item_class_name = type(item).__name__

    	if item_class_name not in self.created_tables:
    		keys = None
    		if hasattr(item.__class__, 'keys'):
    			sqlite_keys = item.__class__.sqlite_keys
    		self._create_table(item_class_name, item.fields.iterkeys(), sqlite_keys)
    		self.created_tables.append(item_class_name)

    	field_list = []
    	value_list = []
    	for field_name in item.iterkeys():
    		field_list.append('[%s]' % field_name)
    		field = item.fields[field_name]
    		value_list.append(self.serialize_field(field, field_name, item[field_name]))

    	sql = 'insert or ignore into [%s] (%s) values (%s)' % (item_class_name, ', '.join(field_list), ', '.join(['?' for f in field_list]))
    	self.conn.execute(sql, value_list)
    	self.conn.commit()

    def _create_table(self, table_name, columns, keys = None):
		sql = 'create table if not exists [%s] ' % table_name

		column_define = ['[%s] text' % column for column in columns]
		print('type: %s' % type(keys))
		if keys:
			if len(keys) > 0:
				primary_key = 'primary key (%s)' % ', '.join(keys[0])
				column_define.append(primary_key)

			for key in keys[1:]:
				column_define.append('unique (%s)' % ', '.join(key))

		sql += '(%s)' % ', '.join(column_define)

		print('sql: %s' % sql)
		self.conn.execute(sql)
		self.conn.commit()

    def __del__(self):
        self.conn.close()

2. 文件 settings.py

激活前面的 Sqlite3ItemExporter 类，需要

添加：

FEED_EXPORTERS = {
    'sqlite3': 'myproject.exporters.Sqlite3ItemExporter',
}

3. 运行爬虫

$ scrapy crawl example -o example.db -t sqlite3

说明：

第二种方式未测试！