关于「The Data Way」 「The Data Way」是由 SphereEx 公司出品的一档播客节目.这里有开源.数据.技术的故事,同时我们关注开发者的工作日常,也讨论开发者的生活日常:我们聚焦开源,也鼓励开发者积极拥抱开源以外的多彩生活.这些,都将在「The Data Way」的节目中一一得到展现. 目前「The Data Way」已上线喜马拉雅.网易云音乐.小宇宙.Apple Podcasts.皮艇等音频平台,每双周周一更新,欢迎大家积极点击订阅,第一时间接收来自「The Data…

关于「The Data Way」 「The Data Way」是由 SphereEx 公司出品的一档播客节目.这里有开源.数据.技术的故事,同时我们关注开发者的工作日常,也讨论开发者的生活日常:我们聚焦开源,也鼓励开发者积极拥抱开源以外的多彩生活.这些,都将在「The Data Way」的节目中一一得到展现. 目前「The Data Way」已上线喜马拉雅.网易云音乐.小宇宙.Apple Podcasts.皮艇等音频平台,每双周周一更新,欢迎大家积极点击订阅,第一时间接收来自「The Data…

关于「The Data Way」 「The Data Way」是由 SphereEx 公司出品的一档播客节目.这里有开源.数据.技术的故事,同时我们关注开发者的工作日常,也讨论开发者的生活日常:我们聚焦开源,也鼓励开发者积极拥抱开源以外的多彩生活.这些,都将在「The Data Way」的节目中一一得到展现. 目前「The Data Way」已上线喜马拉雅.网易云音乐.小宇宙.Apple Podcasts.皮艇等音频平台,每双周周一更新,欢迎大家积极点击订阅,第一时间接收来自「The Data…

关于「The Data Way」 「The Data Way」是由 SphereEx 公司出品的一档播客节目.这里有开源.数据.技术的故事,同时我们关注开发者的工作日常,也讨论开发者的生活日常:我们聚焦开源,也鼓励开发者积极拥抱开源以外的多彩生活.这些,都将在「The Data Way」的节目中一一得到展现. 目前「The Data Way」已上线喜马拉雅.网易云音乐.小宇宙.Apple Podcasts.皮艇等音频平台,每双周周一更新,欢迎大家积极点击订阅,第一时间接收来自「The Data…

关于「The Data Way」 「The Data Way」是由 SphereEx 公司出品的一档播客节目.这里有开源.数据.技术的故事,同时我们关注开发者的工作日常,也讨论开发者的生活日常:我们聚焦开源,也鼓励开发者积极拥抱开源以外的多彩生活.这些,都将在「The Data Way」的节目中一一得到展现. 目前「The Data Way」已上线喜马拉雅.网易云音乐.小宇宙.Apple Podcasts.皮艇等音频平台,每双周周一更新,欢迎大家积极点击订阅,第一时间接收来自「The Data…

关于「The Data Way」 「The Data Way」是由 SphereEx 公司出品的一档播客节目.这里有开源.数据.技术的故事,同时我们关注开发者的工作日常,也讨论开发者的生活日常:我们聚焦开源,也鼓励开发者积极拥抱开源以外的多彩生活.这些,都将在「The Data Way」的节目中一一得到展现. 目前「The Data Way」已上线喜马拉雅.网易云音乐.小宇宙.Apple Podcasts.皮艇等音频平台,每双周周一更新,欢迎大家积极点击订阅,第一时间接收来自「The Data…

本次做的小项目是类似于,公司发布招聘信息,因此有俩个表,一个公司表,一个招聘信息表,俩个表是一对多的关系 项目整体结构: Spring Boot和Spring Data结合的资源文件 application.properties #项目端口配置 server.port=8080 server.address=0.0.0.0 #Mysql数据源配置 spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource…

什么是容器数据共享?简单来说就是容器与容器之间数据共享,容器与宿主机数据共享. 1.为什么需要数据共享? ①.数据持久化 比如我们有一个MySQL集群,通过容器启动,那么项目运行过程中的数据是保存在容器中的,假设容器被删除了,数据就丢失了,如果没有数据共享,那你就只能删库跑路了. 而有了数据共享,你就可以打通容器和宿主机的数据联通,将容器中的数据同步到宿主机,即使容器删除了,数据还是在本地的. ②.同步内容 前面的教程,我们每次要修改容器里面的内容,都得进入到容器中,而实际生产环境容器都是有很多…

很久之前,就想做个Mysql的小结,毕竟数据库知识是软件研发的基本技能,这里话不多说,开始总结一波. 数据库基本概念 数据库为高效的存储和处理数据的介质(主要分为磁盘和内存两种),一般关系型数据库存储在硬盘中,比如Mysql, Access,Oracle等,非关系型数据库则存储在内存中,比如NoSQL等,其中各自的优缺点很明显了.关系型数据库是一种建立在关系模型(数学模型)上的数据库,以二维表(行和列--结构角度 or 记录和字段--数据角度)的形式进行数据存储,常见的关键字的含义为: DB:D…

升级的方法一般有两类: 1.利用mysqldump来直接导出sql文件,导入到新库中,这种方法最省事也最保险 缺点:大库的mysqldump费时费力. 2.直接替换掉 mysql 的安装目录和 my.cnf,利用 mysql_upgrade 来完成系统表的升级,这种方法需要备份原有的文件,但属于物理拷贝,速度较快. 缺点:跨版本升级不推荐这么做,比如mysql5.1升级到mysql5.6,mysql5.5升级到mysql5.7等. 本文采用的是第二种方法升级.   本文两种方法都用到 旧版本 m…

数据模型 数据库回顾 分类: 关系型数据库:MySQL.sqlite.… 非关系型数据库:Redis.MongoDB.… 操作: 执行原生SQL语句,每次都需要拼接SQL语句,非常繁琐而且特别容易出错. ORM(对象关系映射),使用ORM可以通过对对象的操作完成对数据库的操作. flask-sqlalchemy 说明:其实是sqlalchemy扩展库在flask中的移植库,通过了绝大多数关系型数据库的支持(ORM) 安装:pip install flask-sqlalchemy 连接地址配置:…

写在前面的话 对于企业而言,在互联网这一块其实最重要的是数据.保证数据的安全性,稳定性是作为运维人的基本工作职责.于是为了数据安全性,引进了数据备份,bin log 等.但这并不意味着有这些就足够了.试想一下,假设我们的数据库服务器宕机了,原因可能是机器炸了,硬件故障,而数据量又特别大.如果新建数据库再恢复可能需要半天乃至于一天的时间.那么在这段时间,所有服务的都是无法使用的.这样一天下来,很难想象对于公司造成的损失到底有多大,特别是上市公司,股票可能暴跌.那么有没有一种方法,能够帮助我们在遇到…

写在前面的话 取这个标题的目的很简单,MySQL 在中小型企业中一般都是由运维来维护的,除非数据很重要的公司可能会聘请 DBA. 但是运维一般存在由于所需要了解的东西很多很杂,导致学习过程中很多东西只能浅尝辄止.就像 MySQL,为此专门做这样一个系列,系统的捋一捋 MySQL. 关于数据库 什么是数据? 我们在浏览一个网站的时候,如爱奇艺,可以看到首页有很多视频,图片,文字,这些都是数据. 用比较官方的话来说就是:对客观事件进行记录并可以鉴别的符号. 什么是数据库? 就是存放这些数据文件的地方…

5.6 与之后版本有差别本文以5.6为例** 1.mysql5.6安装 本文采用2进制安装 mkdir /server/tools -p cd /server/tools 1.下载 wget https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.45-linux-glibc2.12-x86_64.tar.gz 2.解压到指定目录 tar xf mysql-5.6.45-linux-glibc2.12-x86_64.tar.gz -C /a…

registry 的搭建 docker pull registry:2 docker run -d -v /opt/registry:/var/lib/registry -p 5000:5000 --name myregistry registry:2 Registry服务默认会将上传的镜像保存在容器的/var/lib/registry,我们将主机的/opt/registry目录挂载到该目录,即可实现将镜像保存到主机的/opt/registry目录了 ##浏览器访问测试 http://127.0…

1.背景 前段时间,由于运维同事的一次误操作,清空了内网核心数据库,导致了公司内部管理系统长时间不可用,大量知识库内容由于没有备份险些丢失. 结合这两天微盟的删库跑路事件,我们可以看到,数据库的备份与恢复显得尤为重要. 本文将对此次内网数据恢复过程做一些整理,介绍删库后的抢救方案. 同时,引发对数据库稳定性的思考. 2.数据抢修 这份内网数据事先没有特意备份,所以一开始认为需要从磁盘恢复数据了.所以紧急联系了数据恢复公司,希望过来恢复磁盘数据. 这里需要注意,数据恢复公司建议马上关机,避免磁盘数…

Redis(入门笔记) 学习一个大的技术点,然后顺带着就把这个技术点的面试题给学习了. 学习完一个技术后,如果面试题还不能够解答的话,只能说明学的不精,需要查漏补缺. 下一个学习的方向:Redis-非关系型数据库. 为什么学习Redis?因为我没有学过,我的技能里边缺少这个技能,并且到处都是Redis相关的面试题,并且在日常工作中,数据库也是经常使用的.分析了一下,就来学习了.至于看什么资料学习,去哪里学习,什么状态下学习,我都会在这里记录下来,相信以后看到这里的时候能够更快更高效的回忆起这个技…

主从技术的一个基本流程图: 如何实现主从复制的呢: MySQL  Master(主节点) 1>当一个请求来时,首先由[mysqld]写入到我们的主[data]中 2>然后[mysqld]将所有的sql语句存储到[binlog]日志文件中 MySQL Slave(从节点) 1>首先将主节点中的[binlog]数据拷贝到从节点[relay binlog]中 2>再由[SQL Thread] 将sql语句从[relay binlog]中读取出来,存储到从节点的[data]库中 实践一下…

我们的口号是:再小的帆也能远航,人生不设限!!        一.学习规划: Docker概述 Docker安装 Docker命令 Docker镜像 镜像命令 容器命令 操作命令 容器数据卷  DockerFile Docker网络原理(需要计算机网络基础) IDEA整合Docker DockerCompose(集群编排管理) Docker Swarm CI\CD Jenkins 二.聊聊Docker概述 Docker为什么会出现:一款产品:开发.上线需要经历多套环境的配置.主要是开发和运维的沟…

文章目录 什么是MongoDb? 基本概念 与关系型数据库的比较 Mongo的高效性 文件存储 基本使用 启动/连接服务 基础操作命令 高可用集群搭建 概念 环境准备 实践 应用场景 总结 什么是MongoDb? 基本概念 MongoDB是一种支持多语言面向文档的NOSql数据库,它不支持事务操作(4.2版本开始支持跨文档分布式事务).什么是面向文档?简单说就是使用类JSON的数据结构--BSON(Binary JSON)来存储数据.使用这种数据结构的好处显而易见,关联信息可以直接内嵌在同一个文…

1.shell 脚本语言的基本用法 1.1shell 脚本创建 1.格式要求:首行shebang机制 #!/bin/bash #!/usr/bin/python #!/usr/bin/perl 2.添加执行权限,在命令行上指定脚本的绝对或者相对路径,也可以运行脚本解释器直接运行脚本 1.2脚本的注释规范 1.第一行一般为调用使用的语言 2.程序名,避免更改文件名为无法找到正确的文件 3.版本号 4.更改后的时间 5.作者相关信息 6.该程序的作用,及注意事项 7.最后是各版本的更新简要说明 1.…

Linux基础知识 Linux&Unix 说起Linux,就不得不提Unix操作系统. Unix系统号称世界上最稳定的系统,就连苹果公司也从中获取灵感开发出了移动端大名鼎鼎的IOS. Unix操作系统有一个特点即为多用户多任务,同一时刻允许多个用户同时使用该系统且互不干扰. Linux的全称为GNU/Linux,内核于1991年10月5日首次发布,是基于Unix系统开发而来的. 它的基本思想是一切皆文件,其描述如下: 每个文件都有确定的用途.其中第一条详细来讲就是系统中的所有都归结为一个文件,包…

前言 最近我在整理安全漏洞相关问题,准备在公司做一次分享.恰好,这段时间团队发现了一个sql注入漏洞:在一个公共的分页功能中,排序字段作为入参,前端页面可以自定义.在分页sql的mybatis mapper.xml中,order by字段后面使用$符号动态接收计算后的排序参数,这样可以实现动态排序的功能. 但是,如果入参传入: id; select 1 -- 最终执行的sql会变成: select * from test1 order by id; select 1 -- limit 1,20…

Docker镜像讲解 镜像是什么 镜像是一种轻量级的,可执行的独立软件包,用来打包软件运行环境和基于运行环境的开发软件,它包含运行某个软件做需要的所有的内容,包括代码,运行时,库,环境变量和配置文件. 所有应用,直接打包docker镜像,就可以直接跑起来! 如何让得到镜像: 丛仓库下载 朋友拷贝给你 自己制作一个镜像DockerFile UnionFS(联合系统文件) 我们下载的时候看到的一层一层就是这个! UnionFS(联合系统文件):Union文件系统(UnionFS)是一种分层,轻量级应…

mongodb逻辑结构 Mongodb 逻辑结构 MySQL逻辑结构 库 (database) 库 集合(collection) 表 文档(document) 数据行 安装部署 1 系统准备 1 这里用的mongodb版本是3.6.12 2 redhat或centos6.2以上系统 3 系统开发包完整 4 ip地址和hosts文件解析正常 5 iptables防火墙&SElinux关闭 6 关闭大页内存机制 root用户下 在vi /etc/rc.local最后添加如下代码(永久关闭,重启生效)…

目录 Docker概述 Docker历史 Docker Docker的基本组成 Docker安装 使用流程 底层原理 Docker的常用命令 Portainer 可视化面板安装 镜像原理之联合文件系统 容器数据卷 Dockerfile Docker网络 理解Docker 0 自定义网络 网络连通 实战 部署Redis集群 SpringBoot微服务打包Docker镜像 部署Redis集群 Docker的学习流程 概述 安装 命令 镜像 容器 操作 ---- Docker镜像 容器数据卷 Dock…

xtrabackup参考文章 https://www.cnblogs.com/linuxk/p/9372990.html 下载5.7的mysql 社区版包 https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar 如果是redhat7系统需要删除mariadb的包 使用以下命令检查并删除mariadb包 rpm -e --nodeps $(rpm -qa | grep mariadb)…

Docker-概述 学习资源 最好的资源在官网! Docker官方: Docker 官方主页: https://www.docker.com(opens new window) Docker 官方博客: https://blog.docker.com Docker 官方文档: https://docs.docker.com Docker Store: https://store.docker.com Docker Cloud: https://cloud.docker.com Docker Hu…

参考资料: 1.官网教程:https://docs.docker.com/reference/ 2.视频教程:https://www.bilibili.com/video/BV1og4y1q7M4?t=380&p=8(老师讲的很好) Docker镜像讲解 镜像是什么 镜像是一种轻量级.可执行的独立软件包,用来打包软件运行环境和基于运行环境开发的软件,他包含运行某个软件所需的所有内容,包括代码.运行时库.环境变量和配置文件. Docker镜像加载原理 UnionFs (联合文件系统) UnionF…

Docker 学习 Docker概述 Docker安装 Docker命令 镜像命令 容器命令 操作命令 ... Docker镜像 容器数据卷 DockerFile Docker网络原理 IDEA整合Docker Docker Compose Docker Swarm CI/CD Jenkins Docker概述 Docker为什么出现? 一款产品:开发 --> 上线 两套环境!应用环境,应用配置! 开发 --> 运维 问题:我在我的电脑上可以运行!版本更新,导致服务不可用!对于运维来说,考验就…