背景:最近使用 Debezium 做数据库数据监听工具,然后使用 C# 开发管理工具对接 kafka 获取增量同步的数据,这个 C# 管理工具需要支持自定义下游数据库映射,因此再新增加映射关系时需要批量将上游数据全量同步到下游,然后才能从 Kafka 中开始使用增量数据同步,以便保持上下游的数据一致[......] 继续阅读

2023年12月21日 0条评论 858点热度 0人点赞 痴者工良 阅读全文

[TOC] 导读 最近一个数据分析朋友需要学习 Hive,刚好我也想学,便利用手头的服务器搭建一个学习环境,但是搭建过程中,发现网上的教程很多过时了,而且部署过程中,很多地方走不通,博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此,本文记[......] 继续阅读

2023年3月19日 0条评论 1066点热度 0人点赞 痴者工良 阅读全文

[TOC] 笔者前段时间在学习数据结构时,恰好听说了 LSM Tree,于是试着通过 LSM Tree 的设计思想,自己实现一个简单的 KV 数据库。 代码已开源,代码仓库地址:https://github.com/whuanle/lsm 笔者使用 Go 语言来实现 LSM Tree 数据库,因为[......] 继续阅读

2022年5月22日 1条评论 1238点热度 1人点赞 痴者工良 阅读全文

分库分表 一般来说,数据库分库分表,有以下做法: 按哈希分片:根据一条数据的标识计算哈希值,将其分配到特定的数据库引擎中; 按范围分片:根据一条数据的标识(一般是值),将其分配到特定的数据库引擎中; 按列表分片:根据某些字段的标识,如果符合条件则分配到特定的数据库引擎中。 分库分表的[......] 继续阅读

2022年2月6日 0条评论 1553点热度 0人点赞 痴者工良 阅读全文

Hammerdb 是一个数据库压力测试工具,下载地址: https://www.hammerdb.com/download.html HammerDB 是领先的基准测试和负载测试软件,适用于世界上最流行的数据库,支持 Oracle 数据库、SQL Server、IBM Db2、MySQL、Maria[......] 继续阅读

2022年1月17日 1条评论 3346点热度 1人点赞 痴者工良 阅读全文

  T-SQL 要掌握的知识点分类 SQL 面向数据库执行查询 SQL 从数据库取回数据 SQL 在数据库中插入新的记录 SQL 更新数据库中的数据 SQL 从数据库删除记录 SQL 创建新数据库 SQL 在数据库中创建新表 SQL 在数据库中创建存储过程 SQL 在数据库中创建视图 S[......] 继续阅读

2019年12月15日 3条评论 6572点热度 0人点赞 痴者工良 阅读全文