TIDB分布式数据库在360金融中的应用

  • 时间:
  • 浏览:8
  • 来源:uu快3app娱乐_uu快3辅助_官方网址

在使用TIDB的这后后月中,亲戚亲戚朋友 生产中遇到的大问题主要有:

凡事事出有因,选折 某类框架也肯定有它占据 的导致 。全都有想先来谈谈亲戚亲戚朋友 为哪几种要选折 TIDB。

虽然几乎所有公司从传统数据库转向分布式数据库都不 个并肩的导致 ,随着业务量的不断增大,RDBMS有瓶颈了,亲戚亲戚朋友 也是没法,跑批耗费时间怪怪的长,数据有延迟,给业务带来了全都有不便。这后都可不能否为什么在么在么办?过去的选折 :要不然就说 我Mysql的分库分表、水平分区等,要不然就说 我转向HBase等NOSQL数据库,但无论用哪种土最好的办法都不 完美,Mysql分库分表的弊端就不需多说了,根本没法从本质上解决大数据的大问题,它们本身 就都不 面向分布式而设计的。NOSQL的弊端都不 全都有,比如它非要严格意义上达到OLTP,它不支持繁杂的查询,它的语法跟亲戚亲戚朋友 传统SQL语法相差较大,选折 它得更改全都有业务代码等等。而TIDB正是上述两者的结合体,它结合的Mysql和Nosql的优点,用后后词来形容TIDB就说 我HTAP (Hybrid Transactional and Analytical Processing)。总而言之,它就说 我为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案的有力武器。

业务场景:渠道概要数据(PVUV授信完件放款等指标)涉及到的表较多较大,joinunion较多,后后不支持实时查询,后后做法是每小时300分从数据中心定时跑批到mysql的上端表数据查询展示的,时效性比较差,需要优化。于是亲戚亲戚朋友 基于TIDB的DW层数据做渠道概要的准实时查询和展示。

做法:搭建DRC(数据实时解决)系统读取rocketmq的mysql binlog和查询tidb的ods层数据(该数据查询一次就永久缓存到redis),得到的解决后的数据入库到DW层RT实时表中,指定小时之内的数据实时查询RT表,时效性得到了极大的优化。RT表数据会每小时定时跑批到mysql上端表,后后定时备份到TIDB对应的history表并删除指定小时前的数,后后指定小时后后的数据就都可不能否 从mysql上端表查询得到。达到了实时离线两不误的效果。

亲戚亲戚朋友 是10月中旬搭建的TIDB集群,到目前也仅仅使用了后后月而已,但却深深感受到了TIDB的魅力,TIDB帮助亲戚亲戚朋友 解决了全都有数据大问题,上线至今遇到的bug不用说多,加带TIDB技术人员都很热情的帮亲戚亲戚朋友 解决,全都有一切还算顺利,目前将会稳定运行另后后月。明年亲戚亲戚朋友 将会申请更多的机器扩展亲戚亲戚朋友 的集群,后后迁移更多的任务。

非常感谢TIDB的童鞋能创科学科学发明没法好用的产品,后后无私的开放源码,帮助了很多的企业解决亲戚亲戚朋友 的数据平台瓶颈。最最重要的,要感谢Tidb的童鞋给亲戚亲戚朋友 的支持,在亲戚亲戚朋友 遇到棘手大问题无法解决的后后,两次亲自前往我司指导工作,后后是无偿的帮助亲戚亲戚朋友 ,这俩敬业精神虽然很少有公司都可不能否 媲美。相信TIDB会越走越好!

业务场景:业务人员每日需导出的新客日报以及营销费用分析等报表,将会涉及到的表较大较多,占据 着数据延迟和跑批吃力的状况,后后任务将会需要跑二三十分钟,数据中心压力较大,繁杂的sql会让数据中心的资源耗尽,有后后非要支撑亲戚亲戚朋友 的跑批任务。

做法:使用dumper+loader+syncer 同步mysql的binlog。dump将mysql的数据完整版弄到本地服务器上,再用loader将哪几种文件导入到TIDB中,Syncer把TIDB作为后后Mysql的Slave,实时同步Mysql的数据。即使后后的Mysql使用了sharing 也是没大问题,TIDB兼容了这俩访问协议。后后后后在Mysql中跑的繁杂的跑批任务就都可不能否 无缝的迁移到TIDB中执行。

前面说到TIDB的优势就说 我olap+oltp,现在亲戚亲戚朋友 再把TIDB的优点给仔细归纳下,后后在说优点前得把TIDB的架构大慨阐述一下,将会优点肯定是由架构来实现和决定的。

大慨归纳下就说 我:TIDB主要分为后后组件:PDTIDBTIKV。PD是整个集群的管理模块,作用包括存储集群的元信息、对 TiKV 集群进行调度和负载均衡等。TIDB负责接收 SQL 请求,解决 SQL 相关的逻辑,这就说 我个计算节点。而TIKV是负责存储的,存储数据的基本单位是 Region。将会熟悉Hadoop生态圈,都可不能否 暂时把PD打比方为Hadoop的NameNode,TIKV打比方为Hadoop的DataNode,TIDB打比方为HBase的RegionServer。我认为功能和思路之类,当然具体设计还有很大的不同。

上端六点是我认为TIDB最有优势的几点。顺便另外再补充一下亲戚亲戚朋友 实际生产上用到的,虽然不错的功能:

上图是亲戚亲戚朋友 生产中的架构图,目前仅搭建TIDB集群后后月,后后只迁移了次要业务,主要包括以下三方面:

猜你喜欢

三星w2018组装机怎么样?能不能买?

 我来答为你推荐:可选中三个 多多或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问题。你对你你这种回答的评价是?本回答被提问者采纳展开完整篇 展开完整篇

2020-03-22

2018上半年电信三大运营商净利多少?

财报显示,上四天,中国移动净利润656.41亿元,同比增长4.7%;中国联通净利润25.8亿元,同比增长231.8%;中国电信净利润135.7亿元,同比增长8.1%。 经计算,

2020-03-22

为何风口过去之后,百果园反而要在无人零售上发力?

一次未果的试水百果园办公室无人货架尝试为啥悄然停止?這個次的无人零售,和上一次哪些不同?对百果园的整体战略来说,这次的无人零售尝试,又扮演着如保的角色?针对以上难题,百果园无人

2020-03-22

[LeetCode] Number of 1 Bits 位1的个数

本文转自博客园Grandyang的博客,原文链接:[LeetCode]Numberof1Bits位1的个数,如需转载请自行联系原博主。Forexample,the32-biti

2020-03-22

想买个thinkpad,那款的性价比高点。资金4k左右。

有点痛 推荐联想集团是1984年中科院计算所投资十五万元人民币,由11名科技人员创办,是一家在信息产业内多元化发展的大型企业集团,充足创新性的国际化的科技公司。从1996年刚

2020-03-22