Python + Selenium +Chrome 批量下载网页代码修改【新手必学】

Python + Selenium +Chrome 批量下载网页代码修改
主要修改以下代码可以调用 本地的 user-agent.txt 和 cookie.txt
来达到在登陆状态下 批量打开并下载网页，以网页 ID 来保存为网页文件名

PS:很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步

导入 webdriver

from selenium import webdriver

读取本地文件中的 URL 链接

address = ‘./url.txt’
fp = open(address, ‘r’)
lines = fp.readlines()
print (‘【URL 链接】:% s’, lines)

调用环境变量指定的 PhantomJS 浏览器创建浏览器对象

driver = webdriver.PhantomJS()

driver = webdriver.Chrome()

如果没有在环境变量指定 PhantomJS 位置

driver = webdriver.PhantomJS(executable_path=”./phantomjs”))

for data in lines:

get 方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep (2)

driver.get(data)

向下滚动 10000 像素

js = “document.body.scrollTop=10000”

js=”var q=document.documentElement.scrollTop=10000”

执行 JS 语句

driver.execute_script(js)

查看页面快照

driver.save_screenshot(“csdn.png”)

print (‘执行中。。。’)

关闭浏览器

driver.quit()
print (‘执行结束。。。’)

关闭文件流

fp.close()

总结：有很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙 ：一久武其而而流一思（数字的谐音）转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。