我用Python爬取了李沧最近一年多的二手房成交数据得出以下结论

前言
去年年底,博主有购房的意愿,本来是打算在青岛市北购房,怎奈工作变动,意向转移到了李沧,坐等了半年以后,最终选择在红岛附近购置了期房。
也许一些知道青岛红岛的小伙伴会问我,为什么会跑到那鸟不拉屎的地方去买房子,目前只能是一个字:"赌、赌、赌",重要的事情说三遍。下面来分析一下,我为什么没有在李沧买。
爬取数据
爬取了2018年1月份到2019年3月底李沧二手房成交记录,数据仅限于链家,不代表李沧地区的全部数据,但是我觉得应该对大家有一定的参考意义。
创建基本的数据库:
CREATE TABLE `house` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
`url` varchar(50) NOT NULL COMMENT '网络访问地址',
`listed_price` double NOT NULL COMMENT '挂牌价格',
`completion_date` date NOT NULL COMMENT '成交日期',
`transaction_cycle` int(11) NOT NULL COMMENT '成交周期',
`modify_price` int(11) NOT NULL COMMENT '调价次数',
`square_metre` double NOT NULL COMMENT '建筑面积',
`unit_price` double NOT NULL COMMENT '单价',
`total_price` double NOT NULL COMMENT '总价',
`age_completion` int(11) NOT NULL COMMENT '建成年代',
`community_name` varchar(50) NOT NULL COMMENT '所在小区',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8
爬取代码:
__author__ = "小柒"
__blog__ = "https://blog.52itstyle.vip/"
import requests
import time
# 导入文件操作库
import os
import re
import bs4
from bs4 import BeautifulSoup
import sys
from util.mysql_DBUtils import mysql
# 写入数据库
def write_db(param):
try:
sql = "insert into house (url,listed_price,transaction_cycle,modify_price," \
"square_metre,unit_price,total_price,age_completion,community_name,completion_date) "
sql = sql + "VALUES(%(url)s,%(listed_price)s, %(transaction_cycle)s,%(modify_price)s,"
sql = sql + "%(square_metre)s,%(unit_price)s,%(total_price)s," \
"%(age_completion)s,%(community_name)s,%(completion_date)s)"
mysql.insert(sql, param)
except Exception as e:
print(e)
# 主方法
def main():
# 给请求指定一个请求头来模拟chrome浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
page_max = 24
# 爬取地址
for i in range(1, int(page_max) + 1):
print("第几页:" + str(i))
if i == 1:
house = 'https://qd.lianjia.com/chengjiao/licang/'
else:
house = 'https://qd.lianjia.com/chengjiao/licang/pg'+str(i)
res = requests.get(house, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
li_max = soup.find('ul', class_='listContent').find_all('li')
for li in li_max:
try:
house_param = {}
# 所在小区
community = li.find('div', class_='title').text
community_name = community.split(" ")[0]
house_param['community_name'] = community_name
# 成交地址
title_src = li.find('a').attrs['href']
house_param['url'] = title_src
res = requests.get(title_src, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
# --------------------------------------------------------#
# 成交日期
completion_date = soup.find('div', class_='house-title').find('span').text
completion_date = completion_date.split(" ")[0]
completion_date = completion_date.replace(".", "-")
house_param['completion_date'] = completion_date
# 挂牌价格
listed_price = soup.find('div', class_='msg').find_all('span')[0].find('label').text
house_param['listed_price'] = listed_price
# 成交周期
transaction_cycle = soup.find('div', class_='msg').find_all('span')[1].find('label').text
house_param['transaction_cycle'] = transaction_cycle
# 调价次数
modify_price = soup.find('div', class_='msg').find_all('span')[2].find('label').text
house_param['modify_price'] = modify_price
# 建筑面积
square_metre = soup.find('div', class_='content').find("ul").find_all('li')[2].text
square_metre = re.findall(r'-?\d+\.?\d*e?-?\d*?', square_metre)[0]
house_param['square_metre'] = square_metre
# 总价
total_price = soup.find('span', class_='dealTotalPrice').find('i').text
house_param['total_price'] = total_price
# 单价
unit_price = soup.find('b').text
house_param['unit_price'] = unit_price
# 建筑年代
age_completion = soup.find('div', class_='content').find("ul").find_all('li')[7].text
age_completion = re.findall(r'-?\d+\.?\d*e?-?\d*?', age_completion)[0]
house_param['age_completion'] = age_completion
write_db(house_param)
except Exception as e:
print(e)
mysql.end("commit")
mysql.dispose()
if __name__ == '__main__':
main()
通过数据爬取,一共找到了706套二手成交房。
分析数据
直奔主题,数据分析下,大家比较关心的价格问题,以下是2019年1月-3月的二手房成交量以及成交价格:
| 位置 | 成交量 | 单价 |
|---|---|---|
| 李沧 | 124 | 21100 |
同比去年的二手房成交量以及成交价格:
| 位置 | 成交量 | 单价 |
|---|---|---|
| 李沧 | 277 | 21306 |
吓的博主赶紧用计算器认认真真,仔仔细细的核算了三遍,才敢写下这几个数字,同比去年,单价整整降了206人民币,此处有掌声。再看一下成交量,相比去年少了足足一半之多,相信那124套房子也是卖家忍痛降了206人民币才卖出去的吧!
好了,再看一下大家比较关心的成交周期,2019年1月-3月的二手房成交量以及成交周期:
| 位置 | 成交量 | 成交周期(天) |
|---|---|---|
| 李沧 | 124 | 96 |
同比去年的二手房成交量以及成交周期:
| 位置 | 成交量 | 成交周期(天) |
|---|---|---|
| 李沧 | 277 | 83 |
不得不说,相比去年房子的确是难卖了。
小结
很多同事,同学,13、14年就已经上车了,那时李沧1w不到,再看看现在?不想看,没眼看,不能看。最终没在李沧买房,也不是买不起,只是看不到降的希望,相对压力又大一些,而且,也不想把家庭所有的积蓄都赌在这里。
最后,对于刚需就是一个建议,能买早买,有房和没房看一个城市是不一样的,努力赚钱的最大意义就是提升你的幸福感。活在人间不食人间烟火?真以为自己是神仙?有些东西一说的实际一点真的是会伤到某些人的心,祝你们用键盘战胜一切。
相关代码:https://gitee.com/52itstyle/Python
我用Python爬取了李沧最近一年多的二手房成交数据得出以下结论的更多相关文章
- Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析
爬取过程在这里: Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图 本文基于前文爬取生成的douban.txt,基于SnowNLP做情感分析. 依赖库: 豆瓣镜像比较快: ...
- Python爬取豆瓣电影top
Python爬取豆瓣电影top250 下面以四种方法去解析数据,前面三种以插件库来解析,第四种以正则表达式去解析. xpath pyquery beaufifulsoup re 爬取信息:名称 评分 ...
- python爬取《龙岭迷窟》的数据,看看质量剧情还原度到底怎么样
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:简单 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行 ...
- Python 爬取所有51VOA网站的Learn a words文本及mp3音频
Python 爬取所有51VOA网站的Learn a words文本及mp3音频 #!/usr/bin/env python # -*- coding: utf-8 -*- #Python 爬取所有5 ...
- python爬取网站数据
开学前接了一个任务,内容是从网上爬取特定属性的数据.正好之前学了python,练练手. 编码问题 因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了. 问题要从文字的编码讲 ...
- python爬取某个网页的图片-如百度贴吧
python爬取某个网页的图片-如百度贴吧 作者:vpoet mail:vpoet_sir@163.com 注:随意copy,不用告诉我 #coding:utf-8 import urllib imp ...
- Python:爬取乌云厂商列表,使用BeautifulSoup解析
在SSS论坛看到有人写的Python爬取乌云厂商,想练一下手,就照着重新写了一遍 原帖:http://bbs.sssie.com/thread-965-1-1.html #coding:utf- im ...
- 使用python爬取MedSci上的期刊信息
使用python爬取medsci上的期刊信息,通过设定条件,然后获取相应的期刊的的影响因子排名,期刊名称,英文全称和影响因子.主要过程如下: 首先,通过分析网站http://www.medsci.cn ...
- python爬取免费优质IP归属地查询接口
python爬取免费优质IP归属地查询接口 具体不表,我今天要做的工作就是: 需要将数据库中大量ip查询出起归属地 刚开始感觉好简单啊,毕竟只需要从百度找个免费接口然后来个python脚本跑一晚上就o ...
随机推荐
- kafka基础知识点
1.安装: 1.1. 前置安装要求:java + zookeeper 1.2. 下载安装包:http://mirros.cnnic.cn/apache/kafka/0.9.00/kafka_2.10- ...
- C# XML序列化/反序列化参考
.NET提供了很不错的XML序列化/反序列化器,(它们所在的命名空间为System.Xml.Serialization)这是很方便的,下面对它的使用做一些总结,以供参考. 1,简单序列化 public ...
- oracle 常用索引分析,使用原则和注意事项
本文参考: https://www.cnblogs.com/wishyouhappy/p/3681771.html https://blog.csdn.net/weivi001/article/det ...
- Ubuntu16 FTP的安装,基本配置与权限控制
1.ftp与sftp 大致了解下: ftp是一个文件传输协议,linux环境需要它才能支持文件的传输与查看,它的默认端口是21. sftp是加密/解密的文件传输协议,因为它每次传输都有加密解密的步骤, ...
- C#类型(一)
1.System.Object C#的所有类型都是派生自System.Object 也就是说下面的两个类型定义完全一致 // 隐式派生自Object public class Person{ } { ...
- MySQL学习(二)索引与锁 --- 2019年1月
1.Order By 是怎么工作的 MySQL做排序是一个成本比较高的操作.MySQL会为每个线程分配一个 sort_buffer 内存用于排序,该内存大小为 sort_buffer_size. 全字 ...
- sqlserver数据库备份时出现3241问题
工作中需要将生产上的数据库备份到测试数据库一份,然后同步生产环境进行测试.但是在将数据库还原的过程中,遇到了下面的问题: 说是,介质簇结构不正确,猜测应该是sqlserver的版本不一致的问题,然后查 ...
- 升级node版本
一.升级方法: 1.产看node版本,没安装的请先安装: $ node -v 2.清楚node缓存: $ sudo npm cache clean -f 3.安装node版本管理工具'n'; $ su ...
- 解决关于:Oracle数据库 插入数据中文乱码 显示问号???
问题: oracle数据库,通过接口插入的中文数据乱码,中文变成了问号??? 解决方案: 计算机=>属性=>高级系统设置=>环境变量=>新建 变量名:NLS_LANG 值:SI ...
- 前端知识复习: JS选中变色
前端知识复习:JS选中变色 上篇文章 :前端知识复习:Html DIV 图文混排(文字放在图片下边) Js选中图片效果 <!DOCTYPE html> <html xmlns=&qu ...