ArangoDB数据导入
目录
1.arangoimp方法
参数解析
全局配置部分(Global configuration)
- --backslash-escape
use backslash as the escape character for quotes, used for csv (default: false)
- --batch-size
size for individual data batches (in bytes) (default: 16777216)
- --collection
collection name (default: "")
- --configuration
the configuration file or 'none' (default: "")
- --convert
convert the strings 'null', 'false', 'true' and strings containing numbers into non-string types (csv and tsv only) (default: true)
- --create-collection
create collection if it does not yet exist (default: false)
- --create-collection-type
type of collection if collection is created (edge or document). possible values: "document", "edge" (default: "document")
- --file
file name ("-" for STDIN) (default: "")
- --from-collection-prefix
_from collection name prefix (will be prepended to all values in '_from') (default: "")
- --ignore-missing
ignore missing columns in csv input (default: false)
- --on-duplicate
action to perform when a unique key constraint violation occurs. Possible values: ignore, replace, update, error. possible values: "error", "ignore", "replace", "update" (default: "error")
- --overwrite
overwrite collection if it exist (WARNING: this will remove any data from the collection) (default: false)
- --progress
show progress (default: true)
- --quote
quote character(s), used for csv (default: """)
- --remove-attribute <string...>
remove an attribute before inserting an attribute into a collection (for csv and tsv only) (default: )
- --separator
field separator, used for csv and tsv (default: "")
- --skip-lines
number of lines to skip for formats (csv and tsv only) (default: 0)
- --threads
Number of parallel import threads. Most useful for the rocksdb engine (default: 2)
- --to-collection-prefix
_to collection name prefix (will be prepended to all values in '_to') (default: "")
- --translate <string...>
translate an attribute name (use as --translate "from=to", for csv and tsv only) (default: )
- --type
type of import file. possible values: "auto", "csv", "json", "jsonl", "tsv" (default: "json")
- --version
reports the version and exits (default: false)
Section 'log' (Configure the logging)
- --log.color
use colors for TTY logging (default: true)
- --log.level <string...>
the global or topic-specific log level (default: "info")
- --log.output <string...>
log destination(s) (default: )
- --log.role
log server role (default: false)
- --log.use-local-time
use local timezone instead of UTC (default: false)
- --log.use-microtime
use microtime instead (default: false)
Section 'server' (Configure a connection to the server)
- --server.authentication
require authentication credentials when connecting (does not affect the server-side authentication settings) (default: true)
- --server.connection-timeout
connection timeout in seconds (default: 5)
- --server.database
database name to use when connecting (default: "_system")
- --server.endpoint
endpoint to connect to, use 'none' to start without a server (default: "http+tcp://127.0.0.1:8529")
- --server.password
password to use when connecting. If not specified and authentication is required, the user will be prompted for a password (default: "")
- --server.request-timeout
request timeout in seconds (default: 1200)
- --server.username
username to use when connecting (default: "root")
Section 'ssl' (Configure SSL communication)
- --ssl.protocol
ssl protocol (1 = SSLv2, 2 = SSLv2 or SSLv3 (negotiated), 3 = SSLv3, 4 = TLSv1, 5 = TLSV1.2). possible values: 1, 2, 3, 4, 5 (default: 5)
Section 'temp' (Configure temporary files)
- --temp.path
path for temporary files (default: "")
应用实例
- 导入节点集合数据
arangoimp --server.endpoint tcp://127.0.0.1:8529 --server.username root --server.password ××× --server.database _system --file test.csv --type csv --create-collection true --create-collection-type document --overwrite true --collection "test"
- 导入边集合数据
arangoimp --server.endpoint tcp://127.0.0.1:8529 --server.username root --server.password *** --server.database _system --file test.csv --type csv --create-collection true --create-collection-type document --overwrite true --collection "test"
python方法
单条导入
from arango import ArangoClient
# Initialize the ArangoDB client.
client = ArangoClient()
# Connect to "test" database as root user.
db = client.db('test', username='root', password='passwd')
# Get the API wrapper for "students" collection.
students = db.collection('students')
# Create some test documents to play around with.
lola = {'_key': 'lola', 'GPA': 3.5, 'first': 'Lola', 'last': 'Martin'}
# Insert a new document. This returns the document metadata.
metadata = students.insert(lola)
批量数据导入
由于每一次insert就会产生一次数据库连接,当数据规模较大时,一次次插入比较浪费网络资源,这时候就需要使用Transactions了
from arango import ArangoClient
# Initialize the ArangoDB client.
client = ArangoClient()
# Connect to "test" database as root user.
db = client.db('test', username='root', password='passwd')
# Get the API wrapper for "students" collection.
students = db.collection('students')
# Begin a transaction via context manager. This returns an instance of
# TransactionDatabase, a database-level API wrapper tailored specifically
# for executing transactions. The transaction is automatically committed
# when exiting the context. The TransactionDatabase wrapper cannot be
# reused after commit and may be discarded after.
with db.begin_transaction() as txn_db:
# Child wrappers are also tailored for transactions.
txn_col = txn_db.collection('students')
# API execution context is always set to "transaction".
assert txn_db.context == 'transaction'
assert txn_col.context == 'transaction'
# TransactionJob objects are returned instead of results.
job1 = txn_col.insert({'_key': 'Abby'})
job2 = txn_col.insert({'_key': 'John'})
job3 = txn_col.insert({'_key': 'Mary'})
# Upon exiting context, transaction is automatically committed.
assert 'Abby' in students
assert 'John' in students
assert 'Mary' in students
# Retrieve the status of each transaction job.
for job in txn_db.queued_jobs():
# Status is set to either "pending" (transaction is not committed yet
# and result is not available) or "done" (transaction is committed and
# result is available).
assert job.status() in {'pending', 'done'}
# Retrieve the job results.
metadata = job1.result()
assert metadata['_id'] == 'students/Abby'
metadata = job2.result()
assert metadata['_id'] == 'students/John'
metadata = job3.result()
assert metadata['_id'] == 'students/Mary'
# Transactions can be initiated without using a context manager.
# If return_result parameter is set to False, no jobs are returned.
txn_db = db.begin_transaction(return_result=False)
txn_db.collection('students').insert({'_key': 'Jake'})
txn_db.collection('students').insert({'_key': 'Jill'})
# The commit must be called explicitly.
txn_db.commit()
assert 'Jake' in students
assert 'Jill' in students
参考资料
欢迎转载,转载请注明网址:https://www.cnblogs.com/minglex/p/9705481.html
ArangoDB数据导入的更多相关文章
- ITTC数据挖掘平台介绍(五) 数据导入导出向导和报告生成
一. 前言 经过了一个多月的努力,软件系统又添加了不少新功能.这些功能包括非常实用的数据导入导出,对触摸进行优化的画布和画笔工具,以及对一些智能分析的报告生成模块等.进一步加强了平台系统级的功能. 马 ...
- FineReport实现EXCEL数据导入自由报表
在制作填报报表的时候,对于空白填报表,常常导出为Excel,派发给各部门人员填写后上交.如何能避免手动输入,直接将Excel中的数据导入到填报表中提交入库呢? 这里以一个简单的员工信息填报示例进行介绍 ...
- Execl数据导入sql server方法
在日常的程序开发过程中,很多情况下,用户单位给予开发人员的数据往往是execl或者是access数据,如何把这些数据转为企业级是数据库数据呢,下面就利用sqlserver自带的功能来完成此项任务. 首 ...
- kettle将Excel数据导入oracle
导读 Excel数据导入Oracle数据库的方法: 1.使用PL SQL 工具附带的功能,效率比较低 可参考这篇文章的介绍:http://www.2cto.com/database/201212/17 ...
- [Asp.net]常见数据导入Excel,Excel数据导入数据库解决方案,总有一款适合你!
引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将曾经用过的方案总结一下. 方案一 NPOI NPOI 是 POI 项目的 .NET 版本.POI ...
- sqlserver 中数据导入到mysql中的方法以及注意事项
数据导入从sql server 到mysql (将数据以文本格式从sqlserver中导出,注意编码格式,再将文本文件导入mysql中): 1.若从slqserver中导出的表中不包含中文采用: bc ...
- 数据分析(7):pandas介绍和数据导入和导出
前言 Numpy Numpy是科学计算的基础包,对数组级的运算支持较好 pandas pandas提供了使我们能够快速便捷地处理结构化数据的大量数据结构和函数.pandas兼具Numpy高性能的数组计 ...
- MySQL学习笔记十一:数据导入与导出
数据导入 1.mysqlimport命令行导入数据 在使用mysqlimport命令导入数据时,数据来源文件名要和目标表一致,不想改文件名的话,可以复制一份创建临时文件,示例如下. 建立一个文本use ...
- geotrellis使用(十二)再记录一次惨痛的伪BUG调试经历(数据导入以及读取瓦片)
Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录 前言 BUG还原 查找BUG 解决方案 总结 后记 一.前 ...
随机推荐
- vue 条件渲染方式
1.通过class绑定 <div :class="{'div-class': this.align == 'center'}"></div> 对应的css ...
- Flask基础(16)-->WTForms表单创建和简单验证
Flask基础(16)-->WTForms表单创建和简单验证 前言:使用Flask_WTF需要配置参数SECRET_KEYCSRF_ENABLED是为了CSRF(跨站请求伪造)保护.SECRET ...
- Mybatis-Plus学习.,简化你的开发,提升开发效率.
Mybatis-Plus学习以及实践 简介 参考网址 开发环境 开始开发 - 配置pom.xml - Dao/Service/Entity - 基本方法 - 查询类 - 更新类 分页插件 - pom. ...
- 一个原生JS实现的不太成熟的贪吃蛇游戏
一个初初初初级前端民工 主要是记录一下写过的东西,复习用 大佬们如果看到代码哪里不符合规范,或者有更好写法的,欢迎各位批评指正 十分感谢 实现一个贪吃蛇游戏需要几步? 1.有地图 2.有蛇 3.有食物 ...
- Docker5-docker私库的搭建及常用方法-harbor-registry方式
一.简介 1.官方已经提供registry镜像为什么还需要用harbor 1)registry缺少镜像清理机制,可以push但是不能删除,耗费空间 2)registry缺乏相应的扩展机制 3)harb ...
- .Net Core上传文件到服务器
/// <summary> /// 上传文件 /// </summary> /// <returns></returns> [HttpPost(&quo ...
- MyBatis resultType用Map 返回值中有NULL则缺少字段 返回值全NULL则map为null
这个问题我大概花了2个小时才找到结果 总共需要2个设置 这里是对应springboot中的配置写法 @select("select sum(a) a,sum(b) b from XXX wh ...
- 【JZOJ5264】化学
Description Input Output Sample Input 3 10 1 2 10 Sample Output 5 Hint 题解: 这个题目通过30%部分分的提示,我们可以猜出这 ...
- 分享Python知识的第三天
python第一节 1.变量 变量,是用于在内存中存放程序数据的容器 计算机的核心为"计算",计算便需要数据源,数据源要存在内存中方便使用,这时就要用到变量,比如把某人吗名字,年龄 ...
- aiohttp的安装
之前介绍的requests库是一个阻塞式HTTP请求库,当我们发出一个请求后,程序会一直等待服务器响应,知道得到响应后,程序才会进行下一步处理.其实,这个过程比较耗时.如果程序可以在这个等待过程中做一 ...