Java SPI机制简单介绍

ClickHouse分布式表介绍ClickHouse中的分布式表，本身并不存储数据，而是要依赖一些本地表 在进行分布式表创建时其实是指定的创建表的引擎为Distributed 123CREATE TABLE IF NOT EXISTS events ON CLUSTER test_clusterAS eventsENGINE = Distributed(test_cluster,test,events_local,rand()); Distributed引擎需要以下几个参数： 集群标识符 注意不是复制表宏中的标识符，而是中指定的那个。 本地表所在的数据库名称 本地表名称 （可选的）分片键（sharding key） 该键与config.xml中配置的分片权重（weight）一同决定写入分布式表时的路由，即数据最终落到哪个物理表上。它可以是表中一列的原始数据，也可以是函数调用的结果，如上面的SQL语句采用了随机值rand()。注意该键要尽量保证数据均匀分布，另外一个常用的操作是采用区分度较高的列的哈希值。 在分布式表上执行查询的流程简图如下所示。发出查询后，各个实例之间会交换自己持 ...

MongoDB数据库副本集及分片集群介绍MongoDB核心概念 Document： MongoDB中的数据记录就是一个Document，Document的结构与JSON比较类似； document可以嵌套 Collection: MongoDB的Document存储在collection中，collection的概念与关系型数据库中表的概念相对应 Database： Database可以包含多个collection 副本集Replica Set副本集中的每个节点维护着相同的数据，副本集的存在是为了提供数据冗余，提供高可用 副本集包含多个数据承载节点和一个可选的仲裁节点；在数据承载节点中，只有一个节点被视为主节点，其他的数据承载节点被视为备份节点 主节点接收所有写操作，主节点记录所有对数据集的更改，将其作为oplog。 备份节点重复主节点的oplog，并将其中的操作应用在备份节点的数据中，从而与主节点之间形成同步。如果主节点不可用，有资格的备份节点将会选举出新的主节点。 分片集群分片的作用是将数据分布在多个机器上，MongoDB使用分片支持部署超大规模的数据，并提供高吞吐。 ...

基于Debezium的Flink-MySQL-CDC源码分析

Flink HiveSink源码分析

Flink StreamingFileSink源码分析介绍org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink Flink中的StreamingFileSink是用来将流式数据写入文件系统的Sink。在StreamingFileSink中会将数据首先发送到bucket中，bucket与存储目录相关，然后与Checkpoint机制配合来达到精准一次的语义。 其中BucketAssigner用来定义如何将元素写入哪些目录中，默认的BucketAssigner实现是DataTimeBucketAssigner，每个小时会创建一个bucket。 在写入文件时，文件有三种状态：in-progress，pending，finished，这是为了提供对精准一次语义的保证，新来的数据会首先写入到in-progress文件中，当通过用户定义的RollingPolicy触发了文件的关闭条件时(比如文件大小)，会关闭in-progress文件，并向一个新的in-progress文件中继续写数据。直到收到Check ...

Cygwin：在Windows上执行linux命令的工具介绍官网链接：https://cygwin.com/index.html 维基百科：https://zh.wikipedia.org/wiki/Cygwin 安装直接点击链接下载64位版本的Cygwin，安装过程比较简单，一直下一步即可，建议保留此安装包，后续在Cygwin中安装软件还会需要。 安装软件方法一安装软件需要运行Cygwin安装包，一直点击下一步到如下页面。 比如要安装wget，则在搜索框中输入wget，view选择Full。然后选择软件版本，我这里已经安装过了，所以会有keep和reinstall选项。然后再一直点击下一步即可。 方法二使用apt-cyg对软件进行安装，首先需要下载安装apt-cyg。在链接中下载apt-cyg，然后copy到C:\cygwin64\bin目录下，这里C:\cygwin64\是我的cygwin的安装目录，根据情况进行修改。 这时启动cygwin终端已经可以使用apt-cyg命令了。 其他说明ssh如果windows本身安装了ssh，需要卸掉原来的ssh客户端，避免与cygwin中 ...

Maven部分配置项解释首先来看我当前的pom.xml文件。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w ...

Ubuntu Server 20.04 Legacy install image安装过程准备安装使用Ubuntu官网主页的下载的镜像安装起来会出错，后来查询资料得知，可以使用传统安装镜像，具体原因没有深究，记录本次安装过程如下，包含了每一个步骤。 镜像下载网页：http://cdimage.ubuntu.com/ubuntu-legacy-server/releases/20.04/release/ 镜像下载地址：http://cdimage.ubuntu.com/ubuntu-legacy-server/releases/20.04/release/ubuntu-20.04.1-legacy-server-amd64.iso 安装过程只做启动盘等工具的过程略 从镜像启动安装程序，此处可以直接选中文，方向键切换，回车键确认。 安装 Ubuntu服务器版，可能会卡顿一下。 选择语言，直接yes就行。 检测键盘布局，选否，一会自己手动选。 选Englis(us) 等一会 选择网络接口 配置静态ip 接下来的一些信息根据个人情况填写，主要就是主机名、用户名 ...