背景介绍 使用python操作mongo进行的一些操作记录,为了方便日后可以快速的解决类似问题. 准备工作 为了尽可能简单的说明,我将插入几条简单的数据. from pymongo import MongoClient client = MongoClient('mongodb://your-mongo-username:your-mongo-password@localhost:27017/your-db') db = client.your-db collection = db.your_c…

# -*- coding: utf-8 -*- ''' Python Mongo操作Demo Done: ''' from pymongo import MongoClient conn = None topics = None users=None def process(): connection=MongoClient('localhost', 27017) global conn conn = connection; #列出server_info信息 #print conn.server…

这此教程可能会比较简洁,具体细节可参考我的第一篇教程: Python爬虫个人记录(一)豆瓣250 Python爬虫个人记录(二)fishc爬虫 一.目的分析 获取煎蛋妹子图并下载 http://jandan.net/ooxx 大概就是这么个样子了^_^ 心动了吗,那就行动吧. 二.步骤分析 1.访问http://jandan.net/ooxx 获得当前妹子图的页码 2. 获得http://jandan.net/ooxx前十页地址 3.分析前十页地址并获得图片真实下载地址 4.下载前十页的妹子图并…

参考: Python爬虫个人记录(一)豆瓣250 (2017.9.6更新,通过cookie模拟登陆方法,已成功实现下载文件功能!!) 一.目的分析 获取http://bbs.fishc.com/forum-246-1.html 中小甲鱼零基础入门学习python课件以及源代码 即这玩意 二.步骤分析 1.进入http://bbs.fishc.com/forum-246-1.html 2.通过xpath()分析出一级连接 http://bbs.fishc.com/thread-36353-1-1.…

引子 最近做项目利用mongo记录的日志做数据统计.着了非关系型数据库的迷,于是乎买了本<MongoDB实战>学习了一番.记录一下学习笔记,共享之. 准备 我在自己的Linux服务器上装了最新版的Mongo.记录一下安装链接还有一个遇到的问题. Linux安装mongo https://blog.51cto.com/13641879/2141129 我想看数据库状态的时候遇到了一个权限问题 > db.serverStatus() { "ok" : 0, "e…

不熟悉编码方式,同时python的编码方式折磨我了很长时间,记录下,以免忘记,本文内容存在错误,是自己理解,看到仅当参考 Unicode 是字符集,有点像一本字典,utf-8是在unicode这本字典基础上出版的其他字典(还要UTF-16这个最接近原版),(utf-8使用二进制对unicode字符集进行编码)同时utf-8因为是可变长度,所以中文在unicode中是一个字符长度,而用utf-8编码后为3个字节长度 unicode使用16位序列来编码,utf-8一个字符用8个序列,所以传输ASCI…

为了避免自己忘了Python的爬虫相关知识和流程,下面简单的记录一下爬虫的基本要求和编程问题!! 简单了解了一下,爬虫的方法很多,我简单的使用了已经做好的库requests来获取网页信息和BeautifulSoup来进行正则判定文本.这样也算是简单的入门了爬虫的基本实验,也能够从网页上爬取自己想要的信息! link = 'http://news.sina.com.cn/' res = requests.get(link) res.encoding = 'utf-8' #设置文本的编码格式是utf…

Ubuntu18.04安装python3-pip 1.apt-get update更新源 2,ubuntu18.04默认安装了python3,但是pip没有安装,安装命令:apt install python3-pip(apt install python-pip安装的是python2b版本的pip) 安装mongodb: apt-get install mongodb. 执行mongod命令之后创建了一个/data/db. mongo进入mongodb的命令行操作. 这篇关于mongodb的安…

Java调用Python的的两种方式 1.Runtime private static String call_python(String input_argv) { String python_py = "C:/Users/lichaoxing/Desktop/python_test.py"; String result = null; try { String[] args1 = new String[] { "python", python_py, input…

引言: 昨天在网易云课堂自学了<Python网络爬虫实战>,视频链接 老师讲的很清晰,跟着实践一遍就能掌握爬虫基础了,强烈推荐! 另外,在网上看到一位学友整理的课程记录,非常详细,可以优先参考学习.传送门:请点击 本篇文章是自己同步跟着视频学习的记录,欢迎阅读~~~ 实验:新浪新闻首页爬虫实践 http://news.sina.com.cn/china/ 一.准备 浏览器内建的开发人员工具(以Chrome为例) Python3 requests 库 Python3 BeautifulSoup4…