termsql: https://github.com/tobimensch/termsql termsql -i textfile -d ',' -o sqlite.db 添加列名 termsql -i textfile -d ',' -c 'id,name,age,color' -o sqlite.db 第一行为列名 termsql -i test1.csv -d ',' -1 -o paperdata_new.db…

Access text files using SQL statements by DB Query Analyzer Ma Gen feng (Guangdong Unitoll Services incorporated, Guangzhou510300) Abstract   Is it a dream that you can access text files using SQL statements? But now, it is true that DB Query Analyze…

MA Gen feng ( Guangdong Unitoll Services incorporated, Guangzhou 510300) Abstract   It's very powerful for DB Query Analyzer in text file process. I'll give you a sample to show its powerful fuction. Please make sure that column name coinciding with…

并行进程怎么使用? import os import sys import time def processFunc(i): time.sleep(10-i) print i if __name__=='__main__': from multiprocessing import Pool pool=Pool() for i in range(0,10): print i print '----------------split line-----------------' for i in r…

python写的,有点冗余,先码出来~~~~ 这是data_stored.py的代码 # -*- coding:utf-8 -*- # 存数据到mysql (只存了时间数字) import pymysql import csv import datetime import settings from mysql import db import os,time import pandas as pd import numpy as np import threading from apsched…

Centos下通过yum安装步骤如下: 声明:相对比那些用源码安装,少了配置和新建log和data目录,这种简单粗暴, ,创建仓库文件, vi /etc/yum.repos.d/mongodb-org-3.4.repo ,复制下面配置,保存退出 [mongodb-org-3.4] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/ gpgch…

01-Form介绍 我们之前在HTML页面中利用form表单向后端提交数据时,都会写一些获取用户输入的标签并且用form标签把它们包起来. 与此同时我们在好多场景下都需要对用户的输入做校验,比如校验用户是否输入,输入的长度和格式等正不正确.如果用户输入的内容有错误就需要在页面上相应的位置显示对应的错误信息.. Django form组件就实现了上面所述的功能. 总结一下,其实form组件的主要功能如下: 生成页面可用的HTML标签 对用户提交的数据进行校验 保留上次输入内容 02-普通方式手写注…

今天来更新一个很少碰到,但碰到了又让人十分蛋疼的问题——Go语言中执行MySQL的load data local infile语句报local file 'xxx' is not registered错误该如何解决. 上车请刷卡,没卡的乘客请投币,上车的乘客请往车厢中部走,汽车起步,请坐稳扶好. 情景在现:我要在Go语言中执行sql语句,往MySQL中导入一个.csv文件,sql语句如下: load data LOCAL infile './user.csv' into table users…

1,实现效果截图 2,A.php上传CSV文件表单 2-1:html结构使用jqeury.form.min.js表单框架异步提交 <div class="uploadFile border_bg"> <form action="" method="post" id="formToUpdate"> <div class="form-group"> <label >…

我们现在可以试着在控制台向数据库添加一个用户: In[2]: import model; In[3]: from microblog import db; In[4]: u=model.User(nickname="wll",email="wll@mail.com"); In[5]: db.session.add(u); In[6]: db.session.commit(); 接下来我们运行程序,我们将使用以前的用户登录,登录之后将他的用户名也改为wll,看程序运行…

一.用户信息页 1.创建视图函数(microblog.py) @app.route('/user/<nickname>') @login_required def user(nickname): user =model.User.query.filter_by(nickname = nickname).first() if user == None: flash('User ' + nickname + ' not found.') return redirect(url_for('index…

Kali Linux渗透基础知识整理系列文章回顾 漏洞扫描 网络流量 Nmap Hping3 Nessus whatweb DirBuster joomscan WPScan 网络流量 网络流量就是网络上传输的数据量. TCP协议 TCP是因特网中的传输层协议,使用三次握手协议建立连接.当主动方发出SYN连接请求后,等待对方回答SYN+ACK ,并最终对对方的 SYN 执行 ACK 确认.这种建立连接的方法可以防止产生错误的连接,TCP使用的流量控制协议是可变大小的滑动窗口协议. 连接建立 TC…

数据库的连接串 数据库连接字符串的拼写规则的决定条件: 连接的数据库的类型:SQL Server,Oracle,MySQL,Acess,MogoDB,Visual FoxPro(dBASE),Excel 数据库驱动器:ODBC,OLE DB 连接的模式:标准连接(Standard Security),信任连接(Trusted connection) 网络协议:TCP/IP,Named Pipes 名称 网络协议库 dbnmpntw Win32 Named Pipes dbmssocn Win32…

进行数据解析的理由不计其数,相关的工具和技巧也同样如此.但是,当您需要用这些数据做一些新的事情时,即使有“合适的”工具可能也是不够的.这一担心对于异类数据源的集成同样存在.用来做这项工作的合适工具迟早应该是一种编程语言. Oracle 提供了一些非常强大的实用程序来加载.处理和卸载数据.SQL*Loader.Data Pump.外部表.Oracle Text.正则表达式都能提供这些功能.然而人们常常会需要在数据库外做一些事情(或者,说得琐碎些,可能您还没有获得必要的数据库权限). 利用 Pyth…

本課主題 Set 集合和操作实战 函数介紹和操作实战 参数的深入介绍和操作实战 format 函数操作实战 lambda 表达式介绍 文件操作函数介紹和操作实战 本周作业 Set 集合和操作实战 Set 是一个无序且不容许重复的序列 创建集合有两种方式: 第一种是通过直接创建.例如:s = {11,22} >>> se = {11,222,11,222} >>> print(se) {11, 222} >>> type(se) <class 's…

一个项目能否发布上线,重要的环节就是测试.经过集成测试.性能测试.压力测试等不断循环的测试过后依据测试报告来确定上线.这些由专业的测试人员来完成,因此会导致程序开发者对自身的单元测试的弱化.若在代码中写入那些准备的数据代码片段,会让代码冗余,重用性不高,代码复杂度增加不易阅读,太多繁琐的低效的重复工作等会让开发人放弃这块的开发. unit-test是基于junit框架 + csv文本结合的测试模板.JUnit 是一个回归测试框架,被开发者用于实施对应用程序的单元测试,加快程序编制速度,同时提高编…

 mysql/mongodb对比 CREATE TABLE USERS (a Number, b Number) Implicit or use MongoDB::createCollection(). INSERT INTO USERS VALUES(1,1) $db->users->insert(array("a" => 1, "b" => 1)); SELECT a,b FROM users $db->users->find…

 mysql/mongodb对比 CREATE TABLE USERS (a Number, b Number) Implicit or use MongoDB::createCollection(). INSERT INTO USERS VALUES(1,1) $db->users->insert(array("a" => 1, "b" => 1)); SELECT a,b FROM users $db->users->find…

一.对数据库的基本操作 show databases;                      //列出数据库use database_name;               //使用database_name数据库create database data_name;   //创建名为data_name的数据库drop database data_name;     //删除一个名为data_name的数据库use dbname; status                 //查看数据库d…

因为研究方向是知识图谱,就有兴致想要构建一个简单的知识图谱,就在网上查找了一下,参考了neo4j搭建简单的金融知识图谱的思想,就着手从零开始构建. 1.首先就要考虑数据的获得,因为之前没有接触过爬虫之类,参考这篇,就仅仅采用简单的requests+正则表达式,爬取起点中文网的全部作品中的作者,作者ID,作品,作品ID,标签,标签ID,子标签以及作品完成与否这些数据,在这里参考了网上众多的爬虫代码,在这里,后期可以进一步扩展,点进作者页面再进行爬取更多的信息,在此,爬虫的知识太少,只会爬类似页面的…

Nessus号称是世界上最流行的漏洞扫描程序,全世界有超过75000个组织在使用它.该工具提供完整的电脑漏洞扫描服务,并随时更新其漏洞数据库.Nessus不同于传统的漏洞扫描软件,Nessus可同时在本机或远端上遥控,进行系统的漏洞分析扫描.Nessus也是渗透测试重要工具之一.所以,本章将介绍安装.配置并启动Nessus. 5.1.1 安装和配置Nessus 为了定位在目标系统上的漏洞,Nessus依赖feeds的格式实现漏洞检查.Nessus官网提供了两种版本:家庭版和专业版. 家庭版:家庭…

公司来了一批图纸,里面有一部分内容需要复制到excel中,几百张来图每一张都 手工复制,烦死了.编写一个CAD插件,自动导出文本,简单记录在下面. 想法是: 1.输入命令,选择所有dwg文件 2.挨个处理dwg文件,生成同名的txt文件保存文本 基本思路是用Database.ReadDwgFile 读取dwg文件,因为这样可以不用显示文档,可以提高速度: [CommandMethod("GetText")] public void GetTextCST() { OpenFileDial…

Nessus号称是世界上最流行的漏洞扫描程序,全世界有超过75000个组织在使用它.该工具提供完整的电脑漏洞扫描服务,并随时更新其漏洞数据库.Nessus不同于传统的漏洞扫描软件,Nessus可同时在本机或远端上遥控,进行系统的漏洞分析扫描.Nessus也是渗透测试重要工具之一.所以,本章将介绍安装.配置并启动Nessus. 5.1.1 安装和配置Nessus 为了定位在目标系统上的漏洞,Nessus依赖feeds的格式实现漏洞检查.Nessus官网提供了两种版本:家庭版和专业版. 家庭版:家庭…

“ pyAudioAnalysis是一个非常好用且强大的音频分析开源工具,能实现音频的特征提取.分类和回归模型的训练和执行,以及其他一些实用的功能.此外,本文档并非直译,也有部分比较简略,可以结合源码看懂.而且有些英文词汇只能意会,翻译过来比较蹩脚,还请谅解. 此工具也有一篇对应的论文做了介绍,可以免费下载. 点击查看” 1.欢迎 2.简介 项目下载 依赖 核心库及其描述 3.特征抽取 简介 短期时长特征抽取 中期时长特征抽取 单文件特征抽取-输出到文件 批量文件特征抽取-输出到文件 声谱及色谱…

spider # -*- coding: utf-8 -*- from urllib.parse import urlencode import requests import scrapy import re import json from ..items import TmallItem cookie = {', '_l_g_': 'Ug%3D%3D', 'skt': '5c93ad4f47f0c1ca', 'cookie1': 'U%2BTs5qAQHjB1CoYPMJcEQ4UfC6z…

背景 线上经常遇到用户想知道自己 Redis 实例中数据的内存分布情况.为了不影响线上实例的使用,我们一般会采用 bgsave 生成 dump.rdb 文件,再结合 redis-rdb-tools 和 sqlite 来进行静态分析.总的来说,整个分析的过程简单而实用,是每一个 Redis 的用户都非常值得掌握的一个方法. 创建备份 自建 Redis 可在客户端执行 bgsave 生成 rdb 文件.云数据库 Redis 版可以在控制台上可以进行数据备份和下载的操作,下载后的数据为 rdb 格式文…

有时需要下载sap 中的程序   一屏一屏的拷贝非常麻烦 这里是在网上找的的一个下载工具   实际就是一个sap程序   建立好sap程序 把代码拷贝进去 在参数处输入程序名字  和下载位置  F8运行就可以了 程序来源:http://www.dalestech.com/products/massdownload.htm 也可以直接copy下面程序(可能版本存在差异),分俩部分上传,copy黏贴成一个程序即可! program zdtp_massdownload. *==============…

打印乘法口诀表 #!/usr/bin/python #coding=utf-8 print("Hello,World....") print("你好,欢迎来到Python的世界....") i=1; while i <= 9 : #print i j=1 while j <= i: #print i,j print "%d*%d=%d"%(j,i,j*i), j+=1 print('\n') i+=1 结果: Python文件处理 #…

mongodb是一个文档数据库. mongo操作 多个修改操作,但每个修改携带的数据包较小,可操作考虑批量操作.bulkWrite()改善性能. MongoCollection是线程安全的. db.coll.find()(shell.java api)之后接.limit .skip .sort不论编码调用顺序如何,执行时都是.sort -> .skip -> .limit. 如果要定义limit, sort, skip的顺序,应该使用.aggregate管道流. db.createCollec…

上边已经说明了pgloader 的基本使用(篇理论),但是对于实际操作偏少,以下是一个简单的操作 不像官方文档那样,我为了方便,直接使用docker-compose 运行,同时这个环境,会在后边大部分场景使用,同时 对于pgloader 的dsl暂时不会仔细说明,后边会有介绍 环境准备 docker-compose 文件   version: "3" services: pgloader-csv: image: dimitri/pgloader volumes: - "./i…