django之基本配置
Python的WEB框架有Django、Tornado、Flask 等多种,Django相较与其他WEB框架其优势为:大而全,框架本身集成了ORM、模型绑定、模板引擎、缓存、Session等诸多功能。
零、安装
pip install django
一、创建django程序
- 终端命令:django-admin startproject sitename
- IDE创建Django程序时,本质上都是自动执行上述命令
其他常用命令:
python manage.py runserver 0.0.0.0 # 开始程序
python manage.py startapp appname # 程序内部增加新app
python manage.py syncdb
python manage.py makemigrations # 确认最新models的配置,如果与上一记录版本有出入,则生成新一版记录,与下面的migrate配对使用
python manage.py migrate # 根据信一半记录,修改数据库
python manage.py createsuperuser # 创建admin用户
启动程序
# dev
python manager.py startapp 0.0.0.0:8000 # master
gunicorn -w 4 xxadmin.wsgi # 4是cpu核数 # 下面是根据dev和master环境更改settings.py文件
wsgi.py
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'xxadmin.prod') manager.py
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'xxadmin.dev') # settings.py里的STATIC相关部分改成这样 STATIC_URL = '/static/'
if DEBUG:
STATICFILES_DIRS = (os.path.join(BASE_DIR, 'static'),)
else:
STATIC_ROOT = os.path.join(BASE_DIR, "static") # 对应的url改成这样
if not settings.DEBUG:
# 这里没必要,如果是prod环境,则需要在nginx做指向,这里临时这样写
urlpatterns += re_path(r'^static/(?P<path>.*)$', static.serve,
{'document_root': settings.STATIC_ROOT}, name='static'),
# dev环境由于STATICFILES_DIRS,不用上面这一步
二、程序目录
三、配置文件
1.数据库
############### settings.py ###############
# 使用sqllite,django默认
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.sqlite3',
'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
}
} # 使用mysql *******
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME':'dbname',
'USER': 'root',
'PASSWORD': 'xxx',
'HOST': '',
'PORT': '',
}
} ############### __init__.py ###############
# 由于Django内部连接MySQL时使用的是MySQLdb模块,而python3中还无此模块,所以需要使用pymysql来代替 # 如下设置放置的与project同名的配置的 __init__.py文件中 import pymysql
pymysql.install_as_MySQLdb()
2.模版
############### settings.py ###############
TEMPLATE_DIRS = (
os.path.join(BASE_DIR,'templates'),
)
3.静态文件(自定义放置插件的路径)
STATICFILES_DIRS = (
os.path.join(BASE_DIR,'static'),
)
4.新增app
################# settings ###############
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'app01.apps.App01Config', # 注册app
]
四、直接执行某script
# -*- coding:utf-8 -*-
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "tmp_dj.settings") # NoQA
import django
django.setup() # NoQA if __name__ == '__main__':
''' 这里可以写django的逻辑,不需要侦听web端口了 '''
# -*- coding:utf-8 -*-
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "tmp_dj.settings") # NoQA
import django
django.setup() # NoQA if __name__ == '__main__':
from taiyingshi import models
import json
from django.db import transaction
from utils import logger
import re
import time error_log = logger.logger("error") dir = r"D:\临时\爬虫\scrapy\taiyingshi"
dir_walk = os.walk(dir) def get_duration(t):
if not t: return 0
h = re.findall("(\d+)小时", t)
h = 0 if not h else h[0]
M = re.findall("(\d+)分钟", t)
M = 0 if not M else M[0]
return int(h) * 60 + int(M) file_name_list = next(dir_walk)[2]
# print(len(file_name_list)) # 49666
movie_obj_list = models.Movie.objects.all()
movie_url_set = set(map(lambda obj:obj.url,movie_obj_list)) for idx,file_name in enumerate(file_name_list):
file_path = os.path.join(dir, file_name)
with open(file_path) as f:
movie_dict = json.load(f)
print(idx, movie_dict.get("movie_name"))
if movie_dict["movie_url"] not in movie_url_set:
try:
release_time = movie_dict.get("movie_year")
try:
release_time = time.strftime("%Y-%m-%d", time.strptime(release_time, "%Y"))
except:
release_time = None context = {
"name": movie_dict.get("movie_name"),
"url": movie_dict.get("movie_url"),
"release_time": release_time, # 直接格式化即可,这里顺便复习一下time模块
"length": get_duration(movie_dict.get("movie_length")),
"rate_douban": movie_dict.get("movie_rate_douban") or None,
"douban_link": movie_dict.get("movie_douban_link"),
"rate_imdb": movie_dict.get("movie_rate_imdb") or None,
"imdb_link": movie_dict.get("movie_imdb_link"),
"download_links": "\n".join(movie_dict.get("movie_download_list")),
} with transaction.atomic():
district = movie_dict.get("movie_district")
district_obj = models.District.objects.filter(district=district).first()
if not district_obj:
district_obj = models.District.objects.create(district=district) movie_obj = models.Movie.objects.create(district=district_obj, **context) # 从爬虫发过来的type set
movie_type_set = set(movie_dict.get("movie_type_list"))
# db里所有的type objs
movie_type_obj_list = models.Movie_type.objects.all()
# 转为set
movie_type_in_db_set = set(map(lambda obj: obj.movie_type, movie_type_obj_list))
# 需要新增的type
movie_type_to_db_set = movie_type_set - movie_type_in_db_set
# 增加新的type
if movie_type_to_db_set:
models.Movie_type.objects.bulk_create(
[models.Movie_type(movie_type=movie_type) for movie_type in movie_type_to_db_set])
# 增加m2m关系
if movie_type_set:
objs = models.Movie_type.objects.filter(movie_type__in=movie_type_set).all()
movie_obj.movie_types.add(*objs) # 没有手动增加的第三张表才能使用这样的添加方法 # 从爬虫发过来的language set
language_set = set(movie_dict.get("movie_language_list"))
# db里所有的language objs
language_obj_list = models.Languages.objects.all()
# 转为set
language_in_db_set = set(map(lambda obj: obj.language, language_obj_list))
# 需要新增的language
language_to_db_set = language_set - language_in_db_set
# 增加新的language
if language_to_db_set:
models.Languages.objects.bulk_create(
[models.Languages(language=language) for language in language_to_db_set]
)
# 增加m2m关系
if language_set:
language_objs = models.Languages.objects.filter(language__in=language_set).all()
models.Movie_m2m_Language.objects.bulk_create(
[models.Movie_m2m_Language(movie=movie_obj, language=language_obj) for language_obj in
language_objs]) # 从爬虫发过来的actor set
actor_set = set(movie_dict.get("movie_actor_list"))
# db里所有的actor objs
actor_obj_list = models.Actors.objects.all()
# 转为set
actor_in_db_set = set(map(lambda obj: obj.name, actor_obj_list))
# 需要新增的actor
actor_to_db_set = actor_set - actor_in_db_set
# 增加新的actor
if actor_to_db_set:
models.Actors.objects.bulk_create(
[models.Actors(name=actor) for actor in actor_to_db_set])
# 增加m2m关系
if actor_set:
actor_objs = models.Actors.objects.filter(name__in=actor_set).all()
models.Movie_m2m_Actor.objects.bulk_create(
[models.Movie_m2m_Actor(movie=movie_obj, actor=actor_obj) for actor_obj in actor_objs]
) # 从爬虫发过来的director set
director_set = set(movie_dict.get("movie_director_list"))
# db里所有的director objs
director_obj_list = models.Directors.objects.all()
# 转为set
director_in_db_set = set(map(lambda obj: obj.name, director_obj_list))
# 需要新增的director
director_to_db_set = director_set - director_in_db_set
# 增加新的director
if director_to_db_set:
models.Directors.objects.bulk_create(
[models.Directors(name=director) for director in director_to_db_set])
# 增加m2m关系
if director_set:
director_objs = models.Directors.objects.filter(name__in=director_set).all()
models.Movie_m2m_Director.objects.bulk_create(
[models.Movie_m2m_Director(movie=movie_obj, director=director_obj) for director_obj in
director_objs])
movie_url_set.add(movie_dict["movie_url"])
except Exception as e:
error_log.error("{} {}".format(movie_dict["movie_url"],str(e)))
实例,之前测试的script,把一些字典dump成的file传入db
依赖库
sudo apt-get install python3-dev libmysqlclient-dev
django之基本配置的更多相关文章
- Django的安装配置和开发
参考:<Django Web开发指南> Django的安装配置 1.https://www.djangoproject.com/download/下载Django-1.5.1.tar.gz ...
- django之uWSGI配置 +Nginx
参考文档 官方文档 安装: pip install uwsgi 启动命令: 方法一.直接命令启动 /home/zabbix/application/python/bin/uwsgi --socke ...
- django mysql 数据库配置
在settings.py中保存了数据库的连接配置信息,Django默认初始配置使用sqlite数据库. DATABASES = { 'default': { 'ENGINE': 'django.db. ...
- 55 Django静态文件配置
一.Django静态文件配置 1.项目文件夹,新建一个文件夹statics 文件夹 2.在配置文件settings.py中,配置: 文件中有第句: STATIC_URL = '/static/'#静态 ...
- Django 静态文件配置 (Nginx)
初学Django,在访问静态文件时候遇到很多误区,一直配置不成功,在此记录一下. Django静态文件访问分为两种:一种是Debug模式下,测试开发网站时对静态文件的访问,一种是实际生产环境中对静态文 ...
- python3-开发进阶Django-debug-toolbar的配置和Django logging的配置
阅读目录 django-debug-toolbar的配置 Django logging的配置 一.django-debug-toolbar的配置 1.介绍 django-debug-toolbar 是 ...
- django 自定义日志配置
如果不想使用 python 的 dictConfig 格式来配置 logger,可以制定自己的配置架构. LOGGING_CONFIG 配置定义了用来配置 django logger 的可调用函数,默 ...
- Web框架之Django_02基本操作(Django项目启动配置、数据库连接、orm、增删改查)
摘要: Django项目简单现实过程 pycharm连接数据库 Django之orm简单操作增删改查 一.新建Django项目.配置.设置: 新建Django项目:(为了熟悉Django操作,暂时全部 ...
- Django + Apache + wsgi配置和环境搭建(ubuntu)
上一篇写了Django + nginx + uwsgi配置和环境搭建(ubuntu) 由于公司服务器环境问题,又配置了apache的环境.记录例如以下: 一. 安装环境: #apache sudo a ...
- py文件单独调试django ORM的配置
1.新建一个py文件 2.代码环境搭建 import os if __name__ != '__main__': exit() # 加载django项目的配置信息 os.environ.setdefa ...
随机推荐
- R函数-时间序列ETS参数说明
alpha\beta\gamma分别代表水平.趋势.季节分量的平滑参数α.β.γ.这三个参数我们希望接近于0,以便于更平滑,即越小越平滑.在乘法模型的情况下,参数需要非常低,否则模型会对噪声太敏感. ...
- TortoiseGit需要重复填写用户名和密码的问题
命令行执行: git config --global credential.helper store 即可
- 内存,缓存,cpu,硬盘关系
RAM(random access memory)即随机存储内存,这种存储器在断电时将丢失其存储内容,故主要用于存储短时间使用的程序.我把它叫耗电存储器 ROM(Read-Only Memory)即只 ...
- ZOJ 2475 Benny's Compiler(dfs判断有向图给定点有没有参与构成环)
B - Benny's Compiler Time Limit:2000MS Memory Limit:65536KB 64bit IO Format:%lld & %llu ...
- POJ 3468 A Simple Problem with Integers(线段树模板之区间增减更新 区间求和查询)
A Simple Problem with Integers Time Limit: 5000MS Memory Limit: 131072K Total Submissions: 140120 ...
- 404 Note Found队 福大助手项目测评
目录 第一部分 调研,评测 福大助手的bug IOS端 Android端 福大助手结构体系的思维导图 为什么开发人员没有发现这个bug 假设团队开发这款app,应注意哪些方面(架构.部署运维.微服务等 ...
- cleanCode[2]:函数编写的几大规则
函数编写的几大规则 很难一开始就遵循这些规则,但是可以先想什么就写什么,然后再打磨它. 1.短小 函数的第一规则是短小,第二规则是还要更短小. if.else.while语句等,其中的代码块应该只有一 ...
- RHEL 7.6 安装 Oracle 18c RAC
RHEL 7.6 安装 Oracle 18c RAC 第一部分 安装规划 虚拟环境 VirtualBox 6.0 OS 版本 Red Hat Enterprise Linux Server relea ...
- OpenGL 球体世界
一.类似公自转 二.核心代码 //图形渲染 void RenderScene() { //清楚缓存区:颜色缓存区.深度缓存区.模版缓存区 glClear(GL_COLOR_BUFFER_BIT|GL_ ...
- 快速安装Docker
Docker需要操作系统的内核3.0以上,如低于3.0,需先升级内核,才能安装docker: 1.查看内核版本号 [root@daojia ~]# uname -r 3.10.0-693.el7.x8 ...