python爬取新浪财经

我们来获取这里的title和url然后再获取这里面url的编辑作者

可以看到右边的几个就对应的左边不同的div

.m-p1-mb2-list.m-list-container ul li a

import requests
from bs4 import BeautifulSoup

html = requests.get('https://finance.sina.com.cn/')
html.encoding='utf-8'

soup = BeautifulSoup(html.text,'lxml')
zq = soup.select('.m-p1-mb2-list.m-list-container ul li a')
for z in zq:
    print('title:',z.text)
    print('url:',z['href'])
    Innerhtml = requests.get(z['href'])
    Innerhtml.encoding='utf-8'
    soup2 = BeautifulSoup(Innerhtml.text,'lxml')
    writers = soup2.select('.article-editor')
    for w in writers:
        print(w.text)
        print('*'*50)

结果

G:\python3.8\python.exe "F:/python post/code/实战/新浪财经.py"
title: 创业板现场督导来了:有投行已接通知 监管带着问题来
url: https://finance.sina.com.cn/stock/zqgd/2020-09-14/doc-iivhuipp4150274.shtml
责任编辑：常福强
**************************************************
title: 2020金牌董秘评选开启 寻上市公司资本品牌最佳代言人
url: http://finance.sina.com.cn/zt_d/2020jinpaidongmi/
title: 直播|
url: http://finance.sina.com.cn/zt_d/jjzbj/
title: 陈果、华夏嘉实长盛长安富国大通等直播解盘
url: https://finance.sina.com.cn/money/fund/original/2020-09-12/doc-iivhvpwy6361399.shtml?cref=cj
责任编辑：常福强
**************************************************
title: 研报|
url: http://finance.sina.com.cn/stock/reportch/jinqilin.shtml
title: 内部经济复苏仍是主线 关注政府性投资需求带动
url: https://finance.sina.com.cn/stock/marketresearch/2020-09-13/doc-iivhvpwy6487946.shtml
责任编辑：陈志杰
**************************************************
title:
url: https://finance.sina.com.cn/stock/s/2019-07-09/doc-ihytcitm0843478.shtml
责任编辑：陈志杰
**************************************************
title: 公司
url: http://finance.sina.com.cn/roll/index.d.html?cid=56592&page=1
title: 业绩亏损套现不断 朗姿股份实控人的资产腾挪术
url: https://finance.sina.com.cn/roll/2020-09-14/doc-iivhuipp4201666.shtml
责任编辑：张熠
**************************************************
title: 老大哥燕京啤酒危险时刻:营收净利降 增长率十年新低
url: https://finance.sina.com.cn/stock/t/2020-09-14/doc-iivhuipp4175419.shtml
责任编辑：常福强
**************************************************
title:
url: https://finance.sina.com.cn/wm/2020-07-12/doc-iivhuipn2580833.shtml
责任编辑：逯文云
**************************************************
title: 违规代客炒股 万和、新时代、民生等多券商密集受罚
url: https://finance.sina.com.cn/stock/zqgd/2020-09-14/doc-iivhvpwy6527324.shtml
责任编辑：常福强
**************************************************
title: 超级打新周：19只新股 火箭、美妆、医美…全是热点
url: https://finance.sina.com.cn/stock/zqgd/2020-09-14/doc-iivhvpwy6557166.shtml

Process finished with exit code -1