Flink HiveSink源码分析

Flink StreamingFileSink源码分析介绍org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSink Flink中的StreamingFileSink是用来将流式数据写入文件系统的Sink。在StreamingFileSink中会将数据首先发送到bucket中，bucket与存储目录相关，然后与Checkpoint机制配合来达到精准一次的语义。 其中BucketAssigner用来定义如何将元素写入哪些目录中，默认的BucketAssigner实现是DataTimeBucketAssigner，每个小时会创建一个bucket。 在写入文件时，文件有三种状态：in-progress，pending，finished，这是为了提供对精准一次语义的保证，新来的数据会首先写入到in-progress文件中，当通过用户定义的RollingPolicy触发了文件的关闭条件时(比如文件大小)，会关闭in-progress文件，并向一个新的in-progress文件中继续写数据。直到收到Check ...

Cygwin：在Windows上执行linux命令的工具介绍官网链接：https://cygwin.com/index.html 维基百科：https://zh.wikipedia.org/wiki/Cygwin 安装直接点击链接下载64位版本的Cygwin，安装过程比较简单，一直下一步即可，建议保留此安装包，后续在Cygwin中安装软件还会需要。 安装软件方法一安装软件需要运行Cygwin安装包，一直点击下一步到如下页面。 比如要安装wget，则在搜索框中输入wget，view选择Full。然后选择软件版本，我这里已经安装过了，所以会有keep和reinstall选项。然后再一直点击下一步即可。 方法二使用apt-cyg对软件进行安装，首先需要下载安装apt-cyg。在链接中下载apt-cyg，然后copy到C:\cygwin64\bin目录下，这里C:\cygwin64\是我的cygwin的安装目录，根据情况进行修改。 这时启动cygwin终端已经可以使用apt-cyg命令了。 其他说明ssh如果windows本身安装了ssh，需要卸掉原来的ssh客户端，避免与cygwin中 ...

Maven部分配置项解释首先来看我当前的pom.xml文件。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w ...

Ubuntu Server 20.04 Legacy install image安装过程准备安装使用Ubuntu官网主页的下载的镜像安装起来会出错，后来查询资料得知，可以使用传统安装镜像，具体原因没有深究，记录本次安装过程如下，包含了每一个步骤。 镜像下载网页：http://cdimage.ubuntu.com/ubuntu-legacy-server/releases/20.04/release/ 镜像下载地址：http://cdimage.ubuntu.com/ubuntu-legacy-server/releases/20.04/release/ubuntu-20.04.1-legacy-server-amd64.iso 安装过程只做启动盘等工具的过程略 从镜像启动安装程序，此处可以直接选中文，方向键切换，回车键确认。 安装 Ubuntu服务器版，可能会卡顿一下。 选择语言，直接yes就行。 检测键盘布局，选否，一会自己手动选。 选Englis(us) 等一会 选择网络接口 配置静态ip 接下来的一些信息根据个人情况填写，主要就是主机名、用户名 ...

Linux如何在LVM中移除PV网上很多人都在讲如何直接移除PV，但是实际过程中，很有可能我们的PV还没有空闲空间，这样也就没办法直接用pvmove指令。 我们先介绍如何将pv空闲出来。 移除PV准备工作通过lsblk命令我们可以看到，当前根目录的LVM是用了两个盘的，即sda和sdb。我们想将sda从LVM中拿出来，这样sda就可以用来做别的事情了。 使用df -hT查看当前分区的使用情况，我们可以看到根目录只用了72G，/home目录空闲有249G，这个时候我们可以将/home中的一部分空间拿出来，最好空闲直接大于72G，保证能装得下。如果小于72G的时候不确定能不能装得下，这部分需要自己试一下。 我们执行一下lvdisplay，查看一下lv的信息，下图列出了部分内容。 这个时候我们执行lvreduce -L 150G /dev/cl/home命令，这条命令相当于将/home路径的空间直接缩小到150G，因为我们在上面通过df -hT看到了/home目录只用了144G。 这样我们相当于已经有空间用来存放根目录的数据了。 接下来我们执行移除PV的相关操作 移除PV我们执行pvs ...

GoLang远程开发配置本文介绍如何配置GoLang如何在服务器上进行调试开发 附上官网说明: https://www.jetbrains.com/help/go/attach-to-running-go-processes-with-debugger.html#step-2-run-delve-on-the-host-machine 远程环境与本地环境版本最好相同，避免玄学错误 远程环境远程使用Ubuntu18 Go语言linux版下载链接：go1.16.linux-amd64.tar.gz 1234567891011121314151617181920212223242526272829# 使用命令解压压缩包tar -C ./env/go -zxf go1.16.linux-amd64.tar.gz# 配置环境变量vim ~/.bashrc# 在最下面加上这几行# >>> go env >>>export GOPATH=~/.goexport GOROOT=~/env/goexport GOBIN=$GOROOT/binexport PATH=$ ...

vue ElementUI中的BackTop组件使用官方文档中关于BackTop组件的使用说明有坑，实际上该组件的使用非常简单，见如下代码，记得把代码放在最外层的div里的第一个，不要放在尾部。 12345678910<template> <div id="app"> <el-backtop :bottom="100"> <div class="back_top"> UP </div> </el-backtop> <router-view/> </div></template> 参考链接：[1]https://www.cnblogs.com/xyann/p/12739515.html

转载——跨域资源共享CORS浅析及便捷解决方案 跨源资源共享 (CORS) （或通俗地译为跨域资源共享）是一种基于HTTP 头的机制，该机制通过允许服务器标示除了它自己以外的其它origin（域，协议和端口），这样浏览器可以访问加载这些资源。跨源资源共享还通过一种机制来检查服务器是否会允许要发送的真实请求，该机制通过浏览器发起一个到服务器托管的跨源资源的”预检”请求。在预检中，浏览器发送的头中标示有HTTP方法和真实请求中会用到的头。 跨源HTTP请求的一个例子：运行在 http://domain-a.com 的JavaScript代码使用XMLHttpRequest来发起一个到 https://domain-b.com/data.json 的请求。 出于安全性，浏览器限制脚本内发起的跨源HTTP请求。 例如，XMLHttpRequest和Fetch API遵循同源策略。 这意味着使用这些API的Web应用程序只能从加载应用程序的同一个域请求HTTP资源，除非响应报文包含了正确CORS响应头。 在上图中，当我们访问domain-a.com的页面，这其中蓝色的image是从d ...

转载——Ubuntu xRDP一键部署脚本原文链接：https://c-nergy.be/blog/?p=15978 原文标题：xRDP –在Ubuntu 16.04、18.04、20.04、20.10（脚本版本1.2.2）上轻松安装xRDP你好，世界， 基于用户的反馈，意见和建议，我们将发布一个新版本的的著名XRDP的安装程序脚本。此新版本基本上修复了此版本中解决的一些小错误，并提供了一些更好的代码逻辑。我们没有时间进行真正的广泛测试，但我们希望这些小的更改不会破坏脚本。 我们著名的xrdp安装脚本的新版本将设置为 1.2.2 （即 xrdp-installer-1.2.2.sh）。该脚本替换了所有以前的版本。 所以，走吧！ 总览该 xrdp-installer-1.2.2.sh 脚本 缓解 之上XRDP的安装后的配置操作 的Ubuntu 操作系统。该版本是该脚本的最新版本，其中包括对Ubuntu 20.10（最近于2020年10月发布）的支持。 脚本版本和受支持的Ubuntu版本脚本版本将设置为 1.2.2。该 xrdp-installer-1.2.2.sh 脚本将支持 ...