先做性能分析 - 两个工具

  • django.db.connection
from django.db import connection
# context
print connection.queries
# content
''' result is:
[{
'time': '0.002',
'sql': u'SELECT `django_session`.`session_key`, `django_session`.`session_data`, `django_session`.`expire_date` FROM `django_session` WHERE (`django_session`.`session_key` = 5584f8d708ddc2d5e32831885fc36084 AND `django_session`.`expire_date` > 2013-05-07 10:39:36 )'}]
'''
  • django_debug_toolbar link

标准的数据库优化技巧

  • Indexes, 分析应该添加什么样的索引,使用 django.db.models.Field.db_index
  • 使用对应的字段类型
title = models.CharField(max_length=100, blank=True, db_index=True, verbose_name=u'标题')

理解QuerySets

理解QuerySet的求值过程

  • QuerySets是惰性的
news_list = News.object.all()
# 此时并未执行数据库查询
print news_list # 用时方执行查询操作
  • 何时它们被执行.
# 用时方执行查询操作
print news_list
  • 数据如何被缓存
# 这样的QuerySet没有被缓存
print([e.headline for e in Entry.objects.all()])
print([e.pub_date for e in Entry.objects.all()])
# 这么做
entries = Entry.objects.all()
print([e.headline for e in entries])

理解被缓存的属性

  • QuerySet 会被缓存
  • 不可被调用的属性会被缓存
>>> news = News.objects.get(id=1)
>>> news.channel # 此时的channel对象会从数据库取出
>>> news.channel # 这时的channel是缓存的版本,不会造成数据库访问
  • 方法的调用每次都会触发数据库查询
>>> news = News.objects.get(id=1)
>>> news.authors.all() # 执行查询
>>> news.authors.all() # 再次执行查询
  • 注意
  • 模板系统不允许使用括号,但它会自动调用可被调用的属性
  • 自定义的属性需要由你来实现缓存。

使用with模板标签

在模板中使用QuerySet缓存,需要使用with标签

使用iterator()

获取大量数据时

news_list = News.objects.filter(title__contains=u'违法')
for news in news_list.iterator():
print news

让数据库做它自己的工作

基本概念

  • 使用 filter and exclude 在数据库层面执行过滤操作
news_list = News.objects.filter(title__contains=u'和谐').exclude(status=1)
  • 使用 F() object query expressions 在同一模型中使用不同字段进行对比过滤
# 查询所有title和sub_title相同的数据
queryset = News.objects.filter(title=F('sub_title'))
  • 使用 注解
# 给每个对象添加一个news_count的属性
cl = Channel.objects.filter(parent__id=1).annotate(news_count=Count('news'))
print cl[0].news_count
  • 如果这些还不足以生成你需要的SQL的话,继续往下看:

使用 QuerySet.extra()

显式的执行SQL语句

cl = Channel.objects.filter(parent__id=1).extra(
select={
'another_news_count': 'SELECT COUNT(*) FROM web_news WHERE web_news.channel_id = web_channel.id'
}
)
print cl[0].another_news_count

使用原生的SQL

cl = Channel.objects.raw('SELECT * FROM web_channel WHERE parent_id = 1')
print cl
# <RawQuerySet: 'SELECT * FROM web_channel WHERE parent_id = 1'>
for c in cl:
print c

预加载数据

尽量一次加载你需要的数据

  • QuerySet.select_related() ,针对foreign key 和 one-to-one
news = News.objects.select_related().get(id=372924135)
print news.channel # 不会访问数据库
  • QuerySet.prefetch_related() ,1.4中存在, 和select_related()类似,针对many-to-many

不要获取你不需要的数据

使用 QuerySet.values() 和 values_list()

当只需要一个字段的值,返回list或者dict时,使用

  • values
news_list = News.objects.values('title').filter(channel__id=1)
print news_list
# [{'title': ''}, ...]
  • values_list
news_list = News.objects.values_list('title').filter(channel__id=1)
print news_list
# [('新闻标题',),('新闻标题', ) ...]

使用 QuerySet.defer() 和 only()

  • QuerySet.defer() 来延迟加载某字段,加载时会产生额外查询
news_list = News.object.defer('title').all()
n = news_list[0]
print n.title # 会产生额外的查询语句
  • QuerySet.only() 只加载某字段,之后读取任何属性都会产生查询

使用 QuerySet.count()

如果你只是想要获取有多少数据,不要使用 len(queryset) 。

nl = News.objects.filter(channel__id=2)
nl.count()
# SELECT COUNT(*) FROM `web_news` WHERE `web_news`.`channel_id` = 2 ; 'time': '0.014'
len(nl)
# 'time': '0.422'

使用 QuerySet.exists()

如果你只是想要知道是否至少存在一个结果,不要使用 if querysets 。

不要过度使用 count() 和 exists()

比如,假设有一个Email的model,有一个 body 的属性和一个多对多关系的User属性,下面的模板代码是最优的:

{% if display_inbox %}
{% with emails=user.emails.all %}
{% if emails %}
<p>You have {{ emails|length }} email(s)</p>
{% for email in emails %}
<p>{{ email.body }}</p>
{% endfor %}
{% else %}
<p>No messages today.</p>
{% endif %}
{% endwith %}
{% endif %}

它是最优的是因为:

  • 因为QuerySet是惰性的,如果 'display_inbox' 是False的话,这不会产生数据库查询。
  • 使用 with 意味着我们会存储 user.emails.all 在一个变量中供后面使用,这允许被缓存以便重用。
  • {% if emails %} 其实是调用 QuerySet.__nonzero__() ,在数据库层面执行 user.emails.all() ,然后返回结果,放入缓存。
  • {{ emails|length }} 的使用将调用 QuerySet.__len__(),数据已在缓存
  • for 循环的email数据已经在缓存中了。
  • with的使用是关键
  • 每次的QuerySet.count()调用都会产生查询

使用 QuerySet.update() 和 delete()

  • 批量更新使用 QuerySet.update()
  • 批量删除使用 QuerySet.delete()
  • 批量操作不会调用类中定义的 save() 或 delete() 方法

直接使用外键的值

获取频道ID:

news.channel_id

而不是:

news.channel.id

批量插入

  • 用 django.db.models.query.QuerySet.bulk_create() 批量创建对象,减少SQL查询的 数量。比如
Entry.objects.bulk_create([
Entry(headline="Python 3.0 Released"),
Entry(headline="Python 3.1 Planned")
])
  • ...而不是
Entry.objects.create(headline="Python 3.0 Released")
Entry.objects.create(headline="Python 3.1 Planned")
  • 这同样适用于 ManyToManyFields, 因此,这么做
team.members.add(me, my_friend)
  • ...而不是这么做
team.members.add(me)
team.members.add(my_friend)
  • ...这里 team 和 members 是多对多的关系。

「Django」数据库访问优化的更多相关文章

  1. 数据库访问优化漏斗法则- 四、减少数据库服务器CPU运算

    数据库访问优化漏斗法则这个优化法则归纳为5个层次:1.减少数据访问次数(减少磁盘访问)2.返回更少数据(减少网络传输或磁盘访问)3.减少交互次数(减少网络传输)4.减少服务器CPU开销(减少CPU及内 ...

  2. Django查询数据库性能优化

    现在有一张记录用户信息的UserInfo数据表,表中记录了10个用户的姓名,呢称,年龄,工作等信息. models文件 from django.db import models class Job(m ...

  3. 高效解决「SQLite」数据库并发访问安全问题,只这一篇就够了

    Concurrent database access 本文译自:https://dmytrodanylyk.com/articles/concurrent-database/ 对于 Android D ...

  4. 「Django」rest_framework学习系列-API访问跨域问题

    #以中间件方式解决API数据访问跨域问题1.API下新建文件夹下写PY文件a.引入内置类继承: from django.middleware.common import MiddlewareMixin ...

  5. 数据库访问优化之四:减少数据库服务器CPU运算

    1.使用绑定变量 绑定变量是指SQL中对变化的值采用变量参数的形式提交,而不是在SQL中直接拼写对应的值. 非绑定变量写法:Select * from employee where id=123456 ...

  6. 「Django」contenttypes基本用法

    当一张表和多个表ForeignKey关联,并且多个FK中只能选择其中一个或其中n个时,可以利用contenttypes,只需定义三个字段就搞定! contenttypes 是Django内置的一个应用 ...

  7. 「Django」rest_framework学习系列-序列化

    序列化方式一 :在业务类里序列化数据库数据 class RolesView(APIView): def get(self,request,*args,**kwargs): roles = models ...

  8. 「Django」学习之路,持续更改

    一.setting设置 1.设置 局域网可以部署连接 ALLOWED_HOSTS = ['*.besttome.com','192.168.1.100'] 2.static配置 STATIC_URL ...

  9. 「Django」与mysql8连接的若干问题

    1.setting配置 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', #数据库驱动名 'NAME': 'my_tes ...

随机推荐

  1. eos开发实践

    一 下载前端代码 git clone https://github.com/baidang201/eos-todo 二 安装nodejs sudo apt-get install python-sof ...

  2. sshpass 指定密码远程 ssh 到服务器 或者 scp 发送文件到服务器

    在操作linux时,虽然可以对linux配置免秘钥登录,但是在配置免密码登录之前,是需要登录到其他节点主机的,这里提供一种类似ssh的方式,可以在命令后面加上相应的参数来设置你将要登录的远程主机的密码 ...

  3. wireshark解析https协议方法

    本文仅介绍通过协商密钥的方式实现https解析的方法 wireshark支持pem

  4. 王者荣耀交流协会--第3次Scrum会议

    Scrum master:王玉玲 要求1:工作照片 要求2:时间跨度:2017年10月15号  6:00--6:24  共计24min要求3:地点:传媒西楼204,会议室要求4:立会内容:1.从昨日会 ...

  5. C++:const_cast的简单理解

    前言:const_cast是我比较头疼的一个知识点,最近查阅了很多资料,也翻看了很多他人的博客,故在此将自己目前学习到的有关const_cast知识做一个简单的总结 一.什么是const_cast 简 ...

  6. 《IT小小鸟》的阅读心得

    新年过后我们迎来大一下学期,想想刚迈入大学的我们,充满着好奇与兴奋,仿佛就在昨天.时光飞逝而今,虽经过一学期的学习,仍对计算机专业充满困惑,对未来充满迷茫. 在我感到迷茫的时候,老师给我们介绍了这样的 ...

  7. SSH 框架的心得

    使用SSH框架做完了一个普通网站的前后台项目,成热写点心得,免得以后再入坑.其中使用 Strust2  2.3.33 + Spring 4.3.9 + Hibernate 5.2.10 eclipse ...

  8. C语言之goto浅析

    1.  读代码时遇了的疑惑点: static int do_bind(const char *host, int port, int protocol, int *family) { int fd; ...

  9. BurpSuite 激活破解

    1.下载软件关于Burp Suite, 它是进行Web应用安全测试的一个集成平台,无缝融合各种安全工具并提供全面的接口适配,支持完整的Web应用测试流程,从最初的映射和应用程序的攻击面分析到发现和利用 ...

  10. Android自动化 -- sendevent/getevent 用法

    getevent&sendevent 是android系统下的一个工具,可以 模拟 多种按键和触屏操作,产生的是raw event,raw event经过event hub处理产生最终的ges ...