wechatBot 微信每日说,每日自动发送微信消息给你心爱的人 项目介绍 灵感来源 在掘金看到了一篇<用Node + EJS写一个爬虫脚本每天定时女朋友发一封暖心邮件>后, 在评论区偶然看到一位读者说可不可以用微信实现一下.然后最近刚好在做微信机器人的小项目,那就把这个定时任务放到微信上去做吧,说干就干,撸了一下午终于撸出来了. 项目地址 github:https://github.com/gengchen528/wechatBot 使用库 wechaty - 微信操作 node-sched…
首先看一下效果: 进入正题: 一.首先要去图灵机器人网站注册一个机器人账号: 链接:http://www.tuling123.com/ 你可以获取自己的图灵机器人apikey 懒得话不注册也可以,我下面的代码里面有我自己的,照样可以用.^_^ 二.好了,开始上代码. 先导入两个包,没有的要先下载安装.直接命令pip install itchat,不出意外就OK. import itchat import requests 然后定义一个向图灵机器人发送消息并接受机器人回复的消息,并将从图灵机器人接…
学习自:Scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250 - 知乎 Python Scrapy 爬虫框架实例(一) - Blue·Sky - 博客园 1.声明Item 爬虫爬取的目标是从非结构性的数据源提取结构性的数据,例如网页.Spider可以以Dict类型来返回提取的数据.然而,虽然Dict很方便,但是缺少结构性,容易打错字段的名字或者返回不一致的数据,特别是用在具有多个Spider的大项目中. 为了定义常用的输出数据,Scrapy提供了Item类.Item对象是种简单的容器,保…
忍着鼻血写代码 今天写一个简单的网上爬虫,爬取一个叫妹子图的网站里面所有妹子的图片. 然后试着先爬取了三页,大概有七百多张图片吧!各个诱人的很,有兴趣的同学可以一起来爬一下,大佬级程序员勿喷,简单爬虫. 废话不多说 直接上代码 网站地址:http://www.meizitu.com/a/more_1.html from bs4 import BeautifulSoup import random,os,requests headers = { 'User-Agent': "Mozilla/5.0…
今天,大数据部老大交给我一项任务——抓取股票历史数据.于是乎,我自行在网上找了一下,发现wget真真是一个非常强大的linux下载工具.我已经被深深震撼到了.下面叙述今天的一些过程,还是比较坎坷的. 首先,我利用公司现在存在的股票数据,使用hive查询所有的股票代码并导入本地: hive -e "use stock;select distinct secucode from t_stock_tick_shsz where type='sz';" >> sz_secucode…
2019-03-11更新:原来NSIS脚本也可以禁用64位文件操作重定向的! 1.在安装脚本的开始处定义 LIBRARY_X64. !include "MUI.nsh"!include "Library.nsh" ;如果做32位安装包就把下句注释.!define LIBRARY_X64 2.在调用涉及目标机器上系统目录(即$SYSDIR)的函数前用 ${DisableX64FSRedirection}. 在安装包的第一个Section中调用一次即可.!ifdef  …
在项目中,因为之前的人员,基础数据没有处理好,后面需要写一个脚本来处理这个问题,经验少,总结如下: 1.在linux下直接连接跑处理MySQL数据的脚本,要用PDO的方式连接数据库,长时间在框架中处理,PDO处理有些生疏了=.= PDO可参阅:http://php.net/manual/zh/book.pdo.php 或者 :http://www.2cto.com/database/201410/347594.html 2. 在处理旧数据的时候,要删除原来的旧数据,因为原来的数据表有外键,在删除…
昨天用python谢了一个简单爬虫,抓取页面图片: 但实际用到的爬虫需要处理很多复杂的环境,也需要更加的智能,重复发明轮子的事情不能干, 再说python向来以爬虫作为其擅长的一个领域,想必有许多成熟的第三方框架,百度后选用了 Scrapy作为平台构建复杂爬虫. Scarpy的下载安装不必细说,话说当前只支持python2.x版本,很郁闷,下载安装了python2.7. 安装完后,按照<Scrapy Tutorial>和Scrapy at a glance两篇帖子作为学习范本. 概念及步骤简要…
服务器上必须安装了git maven jdk 并且配置好环境变量 实际服务器中可能运行着多个Java进程,所以重新部署的时候需要先停止原来的java进程,写一个按照名称杀死进程的脚本 kill.sh #!/bin/sh function PidFind()   {   PIDCOUNT=`ps -ef | grep $1 | grep -v "grep" | grep -v $0 | awk '{print $2}' | wc -l`;   if [ ${PIDCOUNT} -gt 1…