数据库的这些性能优化,你做了吗?

  • 时间:2018-11-01 23:17 作者:IT生涯 来源:IT生涯 阅读:25
  • 扫一扫,手机访问
摘要:在互联网项目中,当业务规模越来越大,数据也越来越多,随之而来的就是数据库压力会越来越大。我们可能会采取各种方式去优化,比方之前文章提到的缓存方案,SQL 优化等等,除了这些方式以外,这里再分享几个针对数据库优化的常规手段:「数据读写分离」与「数据库 Sharding」。这两点基本上是大中型互联网项目

在互联网项目中,当业务规模越来越大,数据也越来越多,随之而来的就是数据库压力会越来越大。

我们可能会采取各种方式去优化,比方之前文章提到的缓存方案,SQL 优化等等,除了这些方式以外,这里再分享几个针对数据库优化的常规手段:「数据读写分离」与「数据库 Sharding」。这两点基本上是大中型互联网项目中应用的非常普遍的方案了。

下面我们来详细看一看,

一、从读写分离到 CQRS

数据库的这些性能优化,你做了吗?

(图片来源阿里云)

因为互联网业务场景,大多数是读多写少,因而进行数据库的读写分离是一件非常简单且有效率的方案。

读写分离简单点来说就是把对数据的读操作和写操作进行分开来,让这两种操作去访问不同的数据库,这样的话,即可以减轻数据库的压力了。

例如上图中,数据库会有一个「主实例」,这个主要用来提供写操作的(偶尔也会承担一点读操作),除了「主实例」以外,还会有多个「从实例」(在图中显示的是 只读实例),「从实例」的功能只是用来承担读操作的。

那上面就出现了多个数据库了,在多个数据库之间的数据是怎样保证一致性的呢?

其实,我们常用的数据库就自带这类同步功能,比方 Mysql,它自己有一个 master-slave 功能,可以实现主库与从库数据的自动同步,是基于二进制日志复制来实现的。在主库进行的写操作,会形成二进制日志,而后 Mysql 会把这个日志异步的同步到从库上,从库再自动执行一遍这个二进制日志,那么数据就跟主库一致了。

除了 Mysql 以外,像 Oracle 等商业数据库都有相似的功能,甚至是网络上还有很多开源的第三方数据同步工具,也有很多成熟好用的。

好了,「主实例」与「从实例」之间的数据同步问题处理了,那现在还有一个问题就是,项目中是怎么让 写请求 去访问「主实例」,让 读请求 去访问「从实例」的,这个路由规则是怎样实现的呢?

常规的有 2 种方式:

使用编码方式

这个方式主要是靠开发同学在编码的时候,根据读写不同的操作需求,去调用不同的数据源。例如在数据操作层(DAO 层)将读数据与写数据分开为两个方法(函数),而后为这两个方法分别指定不同的数据库就可。

但是这种方式有点硬编码的味道了,而且对开发同学而言还得额外关注这个事情,多了一个编码成本且容易不小心忽略掉。

使用中间件

这种方式就是在后台数据库的前面,前置一个 数据库代理商服务,如下图的:MySQL-Proxy 是 Mysql 提供的一个中间件,用于实现读写分离请求,但这个组件实际用的人不多,我们可以选择其它的少量开源的组件替代,例如:Mycat、ProxySQL 等等,但大致的原理比较相似,通过这个图很容易了解这个模式。

数据库的这些性能优化,你做了吗?

好了,基础的读写分离就讲完了,但感觉这个方式尽管实用是实用,就是不怎样有逼格。

OK,想要有逼格是吧,满足你,那我们就来聊一聊另一个有逼格的读写分离概念: 「 CQRS 」

CQRS:Command Query Responsibility Segregation

命令(增删改)和查询的责任分离

数据库的这些性能优化,你做了吗?

我们还是先看图,通过上图可以简单的了解一下 CQRS

CQRS 重点强调的就是 Query(读) 和 Command(写)的分离,在业务上将职责分离清晰,Command 主要做业务逻辑的执行,Query 来负责数据查询和展现。同时 这两种操作是基于不同的数据源,甚至是一个是数据库,另外一个是 NoSQL 都可以,Query 去查询的数据源可以直接按照领域模型进行存储,而并不是按照数据模型去存储,这样查询出来就立就可以展现,而不用转换,且查询效率高。

其实 CQRS 是由鼎鼎大名的 Martin Fowler 提出,搞计算机的应该都认识。想要更深入的去学习 CQRS,可以翻看 Martin Fowler 公开的资料。

二、Sharding(分库分表)

上面讲完了数据库的读写分离,现在我们来聊一下数据库的 Sharding。

随着数据库里的数据越来越大,单表查询的性能已经不能满足业务要求了,这个时候就需要进行分表解决了,将大表拆分为若干个小表,不同的分表中数据也不一样,这样可以分散查询压力,提高解决效率。

然而,当表越来越多,所有的数据都在一个数据库上时,网络 IO 以及文件 IO 也都会集中在一个数据库上,可能会超过单台服务器的容量, CPU、内存、文件 IO、网络 IO 都会成为系统的瓶颈,QPS/TPS 也会超过单数据库实例的解决极限。那么这个时候就需要对数据库进行分片解决。

由于分表和分库的思路相似,因而下面统一来聊技术方案。

其实分库分表只是我们浅显的便于了解的说话,正确的形容应该是:数据分片

数据的分片主要有 2 种模式:

垂直拆分

水平拆分

两种拆分应用的场景是不同的:

垂直拆分,是指按照业务板块进行拆分。简单来讲,就是把业务紧密的板块的字段 / 表放在一起,放在同一个数据库或者者服务器上。将不同业务的字段 / 表进行独立,拆到不同的数据库或者者服务器上。比方一个游戏系统中,可以将玩家基本信息与道具公会等信息进行拆分。

如图示例:

数据库的这些性能优化,你做了吗?

(图片来源网络)

水平拆分,是指纯粹的按照某种数据规则 / 格式进行拆分。例如 按照数据 ID 的哈希散列拆分、按照数据的日期拆分、按照某种范围拆分等等。水平拆分需要注意的是,随着数据动态的变化,分片数量可能需要随之动态调整,另外就是水平分片是没有考虑业务特征的,因而在进行业务汇总查询或者者分片中事物解决的时候就比较麻烦少量。

如图示例:

数据库的这些性能优化,你做了吗?

另外,在实际应用中,两种拆分模式一般会结合在一起使用,效果更佳。

  • 全部评论(0)
最新发布的资讯信息
【系统环境|服务器应用】摩尔定律与奔腾的芯- INTEL 《浪潮之巅》读书笔记(2018-12-09 22:29)
【系统环境|服务器应用】说说在 Vue.js 中如何实现组件间通信(高级篇)(2018-12-09 22:29)
【系统环境|服务器应用】开发人员安装电脑后可能会安装的 6 大软件(2018-12-09 22:29)
【系统环境|服务器应用】人工智能概念-11-系统智能(2018-12-09 22:29)
【系统环境|服务器应用】Spark SQL,如何将 DataFrame 转为 json 格式(2018-12-09 22:29)
【系统环境|服务器应用】机器学习入门(六) — 聚类和类似度模型(2018-12-09 22:29)
【系统环境|服务器应用】Shell编程基础(2018-12-09 22:28)
【系统环境|服务器应用】JavaScript中this的指向问题归纳总结(2018-12-09 22:28)
【系统环境|服务器应用】java nio与bio —— 阻塞IO与非阻塞IO的区别(2018-12-09 22:28)
【系统环境|服务器应用】Mysql入门到入土之Mysql详情和Sql基本语法(基础讲解篇)(2018-12-09 22:28)
手机二维码手机访问领取大礼包
返回顶部