FAQ v2.0终于上线了,断断续续忙了有2个多月.这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)到架构,再到设计(有征询设计师的意见).构建(前端.后台.数据库.服务器部署),也是第一次独立负责一个项目,所以意义很不一般,后面还会写一篇总结的文章.闲言少叙,进入正题: 其中有一个自动定时发访问记录列表和反馈问题列表的邮件的功能,本来打算自己写的,不过后来了解到团队有现成的平台可以做这个事,所以就用现成的喽.但有一个问题,该平台配置的数据源必须是MySQL数据库,而FAQ平台用…
外网访问内网MySQL数据库 内网主机上安装了MySQL数据库,只能在局域网内访问,怎样从公网也能访问本地MySQL数据库? 本文将介绍使用holer实现的具体步骤. 1. 准备工作 1.1 安装并启动MySQL数据库 默认安装的MySQL数据库端口是3306. 2. 实现步骤 2.1 下载并解压holer软件包 Holer软件包:holer-xxx.tar.gz Holer支持各种OS系统平台,请选择跟本地OS类型匹配的holer软件包. 2.2 获取holer access key信息 在h…
Java数据库连接池的几种配置方法(以MySQL数据库为例) 一.Tomcat配置数据源: 前提:需要将连接MySQL数据库驱动jar包放进Tomcat安装目录中common文件夹下的lib目录中 1.方法一:在WebRoot下面建文件夹META-INF,里面建一个文件context.xml,如下: <?xml version="1.0" encoding="UTF-8"?>    <Context>      <Resource na…
步骤:0.在Mysql数据库中先建好table 1.从Excel表格读数据 2.用JDBC连接Mysql数据库 3.把读出的数据导入到Mysql数据库的相应表中 其中,步骤0的table我是先在Mysql数据库中建好的,也可以用JDBC连上数据库以后再建表;步骤1的代码是网上找的:其他部分都是我自己写的. 之前我自己写的部分还被误删了,后来又重新写了.所以就想把代码放到网上,也算做个备份.说不定以后有用呢. 前两天又想到可以把代码放到github上面,也不错. 这里呢,我就把代码一股脑全粘在这里…
前面讲了如何通过pymysql操作数据库,这次写一个爬虫来提取信息,并将数据存储到mysql数据库 1.爬取目标 爬取猫眼电影TOP100榜单 要提取的信息包括:电影排名.电影名称.上映时间.分数 2.分析网页HTML源码 可以看到每部电影信息都被包裹在一对<dd>...</dd>标签中,所以我们只需提取出一个标签对中的上述信息即可.使用正则表达式提取 3. 完整过程 这个例子有2个关键点:正则编写和数据处理(写进mysql数据库) (1) 正则表达式的编写### pattern…
问题:访问远程MySQL数据库时报错[is not allowed to connect to this MySql server ]不允许访问,因为MySQL默认只有本机localhost能够访问MySQL Server服务. 开放MySQL服务给其他主机访问 在Navicat中查看当前数据库User用户表,可见默认的用户都是localhost,即只允许本机访问. 现在想要开放给其他主机访问,如果一个一个添加用户并设置权限的话太麻烦,最简单的办法是把localhost改为通配符%,然后重启服务…
<?php /** * MySQL数据库单例实现 * * @author shizq at 2015-04-22 * */ final class MySQLFactory { private static $instance; private function __construct() {} public static function getInstance($server, $uname, $passwd, $dbname) { if (! self::$instance) { self…
在使用Navicat for MySQl访问远程mysql数据库,出现报错,显示“1130 - Host'xxx.xxx.xxx.xxx' is not allowed to connect to this MySQL server“.解决办法如下: GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION 把他运行一下就行了.…
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好了MySQL并需要启动本地MySQL数据库服务.提到安装MySQL数据库,前两天在一台电脑上安装MySQL5.7时,死活装不上,总是提示缺少Visual Studio 2013 Redistributable,但是很疑惑,明明已经安装了呀,原来问题出在版本上,更换一个版本后就可以了.小问题大苦恼,不…
pandas数据保存至Mysql数据库 import pandas as pd from sqlalchemy import create_engine host = '127.0.0.1' port = 3306 db = 'test' user = 'root' password = '********' engine = create_engine(str(r'mysql mysqldb://%s:' '%s' '@%s/%s') % (user, password, host, db))…
一张自增表里面总共有 7 条数据,删除了最后 2 条数据,重启 MySQL 数据库,又插入了一条数据,此时 id 是几? 一般情况下,我们创建的表的类型是InnoDB,如果新增一条记录(不重启mysql的情况下),这条记录的id是8:但是如果重启(文中提到的)MySQL的话,这条记录的ID是6.因为InnoDB表只把自增主键的最大ID记录到内存中,所以重启数据库或者对表OPTIMIZE操作,都会使最大ID丢失. 但是,如果我们使用表的类型是MylSAM,那么这条记录的ID就是8.因为MylSAM…
除将爬取到的信息写入文件中之外,程序也可通过修改 Pipeline 文件将数据保存到数据库中.为了使用数据库来保存爬取到的信息,在 MySQL 的 python 数据库中执行如下 SQL 语句来创建 job_inf 数据表: CREATE TABLE job inf ( id INT (11) NOT NULL AUTO_INCREMENT PRIMARY KEY, title VARCHAR (255), salary VARCHAR (255), company VARCHAR (255),…
概述: 此前在白码平台上搭建并使用系统,若想要将白码平台上搭建的系统的数据存储到自己本地的MySQL数据库中的话,需要将数据导出后再对数据进行处理.如今想要实现这一需求,直接通过使用白码的数据库对接功能,将数据存储到自己本地的数据库中即可.平均一个数据表只需要一分钟的操作时间便能完成对接,效率提升十分显著. 实现效果: 左边为白码数据表中的数据,右边为本地数据库的数据,点击自动生成后,字段以及数据就一并存储到本地的数据库中了,实现数据的同步.下面展示存储后的效果. 客户信息表: 销售订单表: 实…
晒晒数据访问层DAL,看看你的项目数据访问层使用的是什么形式,数据访问性能比较 采用什么样的数据访问形式是软件编码很重要的一个环节,良好的数据访问形式不仅能够提搞代码的执行效率,协作能力,更重要的是对未来程序维护,功能扩展起到至关重要的作用.当然良好的设计模式可以为我们提供很多的选择,但面对实际问题,公司规模小考虑成本,资金投入少,软件逻辑不算复杂,功能较少,部分客户需求只需要单个功能模块,类似小型管理系统,门户网站,crm等,这也为众多IT人事提供了兼职的好机会.借鉴类似程序,cpy下部分代码…
1.连接数据库       使用mysql_connect()函数建立与MySQL数据库的连接 源码:$con=mysql_connect("主机名或IP","用户名","密码") or die("不能连接到数据库,可能是数据库服务器为启动或用户名密码错误".mysql_error()); 2.选择MySQL数据库       使用mysql_select_db()函数选择要使用的数据库 源码:$db_selected=mys…
本地phpmyadmin远程连接服务器端MySQL 首先要确定你的mysql远程连接已开启,如果没有开启按照下面的二个方法操作: 方法一:改表法 因为在linux环境下,默认是关闭3306端口远程连接的,需要开启,如果你装mysql数据库时开启了3306就OK了. 默认mysql帐号不允许从远程登陆,只允许localhost访问.登入mysql后,更改 "mysql" 数据库 里的 "user"(远程数据库的名称) 表里的 "host" 项,把&…
第一步:用ping命令测试两台电脑是否连通 如果两台电脑是连通的请转到第二步,如果是非连通的请进行如下操作: 1.进入控制面板,打开Windows Defender 防火墙,点击高级设置(本人用的是Windows10,其他Windows版本操作类似) 2.在新弹出的页面中点击入站规则,在入站规则中找到 文件与打印机共享(回显请求--ICMPv4-In)有两个,然后启用规则 正常情况下Windows防火墙会阻挡对本机的ping请求,这是因为计算机禁用了ICMP回显功能,我们只需要把它启用就好了.…
优先考虑mysql数据库是否开启 1.先看报错窗口.   通过百度,最终找到的原因是:远程3306端口未对外开放. 于是下面进行远程3306端口开放操作.   首先远程连接服务器,点击“开始”-“管理工具”-“高级安全Windows防火墙”.   在打开的窗口中,左边选中“入站规则”,右边点击“新规则”来新建一个入站规则.   在“规则类型”中选择“端口”,然后下一步.   选中“特定本地端口”,输入3306,然后下一步.   选中“允许连接”,然后下一步.   这一步默认都选中就行,,然后下一…
1.概述 分页查询,也可叫做分批查询,基于数据库的分页语句(不同数据库是不同的).  本文使用的事MySql数据库.       假设:每页显示10条数据.       Select * from contact  limit M,N;       M:开始记录的索引.第一条数据的索引为0 (页数)       N:一次查询几条记录(每页显示的数据的条数)           则:             第一页:select * from contact limit 0,10;        …
mysql的root账户,我在连接时通常用的是localhost或127.0.0.1,公司的测试服务器上的mysql也是localhost所以我想访问无法访问,测试暂停. 解决方法如下: 1,修改表,登录mysql数据库,切换到mysql数据库,使用sql语句查看"select host,user from user ;"navicate右键->命令列界面 输入命令 mysql -u root -pvmwaremysql>use mysql;mysql>update…
1.创建工程 scrapy startproject tencent 2.创建项目 scrapy genspider mahuateng 3.既然保存到数据库,自然要安装pymsql pip install pymysql 4.settings文件,配置信息,包括数据库等 # -*- coding: utf-8 -*- # Scrapy settings for tencent project # # For simplicity, this file contains only setting…
摘要:在使用MySQL是我们可能会遇到要向我们的表中插入大量的数据如果都使用以下的语句在命令行输入有点不太切实际,幸好MySQL为我们提供了LOAD命令可以批量的从本地文件向MySQL表中导入数据! mysql> INSERT INTO pet VALUES ('Puffball','Diane','hamster','f','1999-03-30',NULL); 1.创建一个MySQL数据库menagerie并且使用它 mysql> CREATE DATABASE menagerie;mys…
1.Scrapy使用流程 1-1.使用Terminal终端创建工程,输入指令:scrapy startproject ProName 1-2.进入工程目录:cd ProName 1-3.创建爬虫文件(此篇介绍使用spider下的Crawlspider 派生类新建爬虫文件 ),scrapy genspider -t craw spiderFile www.xxx.com 1-4.执行工程,scrapy crawl spiderFile (待编程结束执行此命名) 需到新建工程下执行  2.创建爬虫并…
在开发中经常会将现成的execel表格导入到数据库里,否则一个个字段插入填写,太浪费时间,效率很低.本文主要是讲如果将execel表格导入到mysql数据库,希望对各位有所帮助.使用软件:sql工具:navicat数据库:mysqloffice环境:execel2007 image.png image.png image.png image.png image.png image.png image.png image.png image.png 是不是觉得非常犀利呢. i…
命令: mysql -u用户名 -p密码 -h远程数据库IP地址 -P端口 -D数据库名 例子: 使用用root帐号,密码为123456,登录ip地址为192.168.1.110,端口为3306,名称为test的mysql数据库 mysql -uroot -p123456 -h192.168.1.110 -P3306 -Dtest…
//建一个连接,造一个连接对象$db = new MySQLi("localhost","root","123","mydb"); //判断是否出错/*if(mysqli_connect_error()){ echo "连接失败!"; exit;}*/ mysqli_connect_error()?die("连接失败"):""; //写SQL语句$sql = &quo…
请问各位部署LAMP的时候MySQL是独立出来的服务器,在apache上编译安装php的时候有个--with-mysql后面应该是带mysql路径的,可我应该怎样把这个连接到mysql服务器,因为不是安装在同一台服务器上,所以不知道怎样去设置IP连接数据库. 这个在你的项目里面配置一下就好了.比如我使用thinkphp框架,在配置文件里面有这么一行: 'DB_HOST'=> 'localhost', 这里配置的就是要访问的数据库服务器,我本地使用就用localhost,如果你是在服务器上的,就写…
方法一:同步操作 1.pipelines.py文件(处理数据的python文件) import pymysql class LvyouPipeline(object): def __init__(self): # connection database self.connect = pymysql.connect(host='XXX', user='root', passwd='XXX', db='scrapy_test') # 后面三个依次是数据库连接名.数据库密码.数据库名称 # get c…
还是以猫眼电影为例,这次用pyquery库进行爬取 1.简单demo,看看如何使用pyquery提取信息,并将提取到的数据进行组合 # coding: utf-8 # author: hmk import requests from pyquery import PyQuery as pq url = 'http://maoyan.com/board/4' header = {"Accept": "text/html,application/xhtml+xml,applica…
1. 什么是大数据 1. 所谓大数据, 就是大的字节数据,或大的字符数据. 2. 标准 SQL 中提供了如下类型来保存大数据类型: 字节数据类型: tinyblob(256B), blob(64K), mediumblob(16M), longblob(4G) 字符数据类型: tinyclob(256B), clob(64K), mediumclob(16M), longclob(4G) 3. MySql 中处理字符的数据类型名称与 SQL 标准不同: 字符数据类型: tinytext(256B…