TIDB分布式数据库在360金融中的应用

  • 时间:
  • 浏览:7
  • 来源:uu快3app娱乐_uu快3辅助_官方网址

在使用TIDB的这后后月中,亲戚亲戚朋友 生产中遇到的大问题主要有:

凡事事出有因,选折 某类框架也肯定有它占据 的导致 。全都有想先来谈谈亲戚亲戚朋友 为哪几种要选折 TIDB。

虽然几乎所有公司从传统数据库转向分布式数据库都不 个并肩的导致 ,随着业务量的不断增大,RDBMS有瓶颈了,亲戚亲戚朋友 也是没法,跑批耗费时间怪怪的长,数据有延迟,给业务带来了全都有不便。这后都可不能否为什么在么在么办?过去的选折 :要不然就说 我Mysql的分库分表、水平分区等,要不然就说 我转向HBase等NOSQL数据库,但无论用哪种土最好的办法都不 完美,Mysql分库分表的弊端就不需多说了,根本没法从本质上解决大数据的大问题,它们本身 就都不 面向分布式而设计的。NOSQL的弊端都不 全都有,比如它非要严格意义上达到OLTP,它不支持繁杂的查询,它的语法跟亲戚亲戚朋友 传统SQL语法相差较大,选折 它得更改全都有业务代码等等。而TIDB正是上述两者的结合体,它结合的Mysql和Nosql的优点,用后后词来形容TIDB就说 我HTAP (Hybrid Transactional and Analytical Processing)。总而言之,它就说 我为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案的有力武器。

业务场景:渠道概要数据(PVUV授信完件放款等指标)涉及到的表较多较大,joinunion较多,后后不支持实时查询,后后做法是每小时300分从数据中心定时跑批到mysql的上端表数据查询展示的,时效性比较差,需要优化。于是亲戚亲戚朋友 基于TIDB的DW层数据做渠道概要的准实时查询和展示。

做法:搭建DRC(数据实时解决)系统读取rocketmq的mysql binlog和查询tidb的ods层数据(该数据查询一次就永久缓存到redis),得到的解决后的数据入库到DW层RT实时表中,指定小时之内的数据实时查询RT表,时效性得到了极大的优化。RT表数据会每小时定时跑批到mysql上端表,后后定时备份到TIDB对应的history表并删除指定小时前的数,后后指定小时后后的数据就都可不能否 从mysql上端表查询得到。达到了实时离线两不误的效果。

亲戚亲戚朋友 是10月中旬搭建的TIDB集群,到目前也仅仅使用了后后月而已,但却深深感受到了TIDB的魅力,TIDB帮助亲戚亲戚朋友 解决了全都有数据大问题,上线至今遇到的bug不用说多,加带TIDB技术人员都很热情的帮亲戚亲戚朋友 解决,全都有一切还算顺利,目前将会稳定运行另后后月。明年亲戚亲戚朋友 将会申请更多的机器扩展亲戚亲戚朋友 的集群,后后迁移更多的任务。

非常感谢TIDB的童鞋能创科学科学发明没法好用的产品,后后无私的开放源码,帮助了很多的企业解决亲戚亲戚朋友 的数据平台瓶颈。最最重要的,要感谢Tidb的童鞋给亲戚亲戚朋友 的支持,在亲戚亲戚朋友 遇到棘手大问题无法解决的后后,两次亲自前往我司指导工作,后后是无偿的帮助亲戚亲戚朋友 ,这俩敬业精神虽然很少有公司都可不能否 媲美。相信TIDB会越走越好!

业务场景:业务人员每日需导出的新客日报以及营销费用分析等报表,将会涉及到的表较大较多,占据 着数据延迟和跑批吃力的状况,后后任务将会需要跑二三十分钟,数据中心压力较大,繁杂的sql会让数据中心的资源耗尽,有后后非要支撑亲戚亲戚朋友 的跑批任务。

做法:使用dumper+loader+syncer 同步mysql的binlog。dump将mysql的数据完整版弄到本地服务器上,再用loader将哪几种文件导入到TIDB中,Syncer把TIDB作为后后Mysql的Slave,实时同步Mysql的数据。即使后后的Mysql使用了sharing 也是没大问题,TIDB兼容了这俩访问协议。后后后后在Mysql中跑的繁杂的跑批任务就都可不能否 无缝的迁移到TIDB中执行。

前面说到TIDB的优势就说 我olap+oltp,现在亲戚亲戚朋友 再把TIDB的优点给仔细归纳下,后后在说优点前得把TIDB的架构大慨阐述一下,将会优点肯定是由架构来实现和决定的。

大慨归纳下就说 我:TIDB主要分为后后组件:PDTIDBTIKV。PD是整个集群的管理模块,作用包括存储集群的元信息、对 TiKV 集群进行调度和负载均衡等。TIDB负责接收 SQL 请求,解决 SQL 相关的逻辑,这就说 我个计算节点。而TIKV是负责存储的,存储数据的基本单位是 Region。将会熟悉Hadoop生态圈,都可不能否 暂时把PD打比方为Hadoop的NameNode,TIKV打比方为Hadoop的DataNode,TIDB打比方为HBase的RegionServer。我认为功能和思路之类,当然具体设计还有很大的不同。

上端六点是我认为TIDB最有优势的几点。顺便另外再补充一下亲戚亲戚朋友 实际生产上用到的,虽然不错的功能:

上图是亲戚亲戚朋友 生产中的架构图,目前仅搭建TIDB集群后后月,后后只迁移了次要业务,主要包括以下三方面:

猜你喜欢

dnf鬼泣剑魂二觉视频背景音乐叫什么

下载百度知道APP,抢鲜体验BopeepBopeep是日韩组合T-ara的本回答被提问者采纳你对这名 回答的评价是?展开完整性 我来答很重推荐使用百度知道APP,立即抢

2020-02-23

有一个名人说过的一句话,比喻隔行如隔山的。不要拿这个跟那个比的

早在日本后后战败的1946年,俩个 名不见经传的汽车小厂“丰田”,结束英语 英语 立下雄心,制定出向当时汽车王国美国挑战的计划。作为战败国,“丰田”公司在资金技术上根本

2020-02-23

初三英语阅读理解求助

使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。 我来答下载百度知道APP,抢鲜体验acadb展开删剪为你推荐:追答可选中另另另2个 或多个下面的关

2020-02-23

RDS SQL Server

形态学 师>关系数据库>正文【翻译】SQLServer索引进阶:第十五级,索引的最佳实践进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。数据库实

2020-02-23

carefor这个品牌好不好?

换一换据我了解,中山爱护拥有强大的研发技术支持,专注于婴幼儿皮肤护理,是国内具有上市医药企业背景的中国婴童洗护品牌。本回答被外国前前前男友见面采纳展开完整版个人所有我人太好挺

2020-02-23