聊聊流式数据湖Paimon(五)

从Demo入手，了解Paimon/Flink项目搭建的全过程。记录下采坑之旅。

创建Flink项目

在IDEA中创建Flink项目，由于没有Flink的archetype，因此需要手动创建一下。
参考：idea快速创建flink项目，至此Flink的项目框架就搭建起来了。
注意：必须注释掉pom文件中的provided；否则运行时会报错：
Error: A JNI error has occurred, please check your installatio服务器托管网n and try again

搭建Flink伪集群

在 Flink包地址 中，选择对应的版本，下载文件
解压后，其文件内容，如下

在bin目录下，运服务器托管网行start-cluster.bat脚本即可。打开浏览器访问：localhost:8081，就可以查看Flink的webui

高版本的Flink中已经没有bat脚本，可参考 flink新版本无bat启动文件的解决办法

补充缺失的依赖

Flink的框架搭建好之后，参考 新一代数据湖存储技术Apache Paimon入门Demo 写一个简单的Paimon程序。但在这个过程中，必须补充 缺失的POM依赖。而这些依赖在编译时并不会报错，一旦运行，各种各样的抛错：
java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
Unable to create catalog xxx
Unsupported SQL query! executeSql()
如下是所有需要的pom依赖：

  org.apache.flink
  flink-streaming-java
  ${flink.version}
  


  org.apache.flink
  flink-clients
  ${flink.version}
  


  org.apache.flink
  flink-table-api-java-bridge
  1.18.0


  org.apache.paimon
  paimon-flink-1.18
  0.6.0-incubating


  org.apache.flink
  flink-table-planner-loader
  ${flink.version}


  org.apache.flink
  flink-table-runtime
  1.18.0


  org.apache.flink
  flink-connector-base
  ${flink.version}









  org.apache.logging.log4j
  log4j-slf4j-impl
  ${log4j.version}
  runtime


  org.apache.logging.log4j
  log4j-api
  ${log4j.version}
  runtime


  org.apache.logging.log4j
  log4j-core
  ${log4j.version}
  runtime


  org.apache.hadoop
  hadoop-common
  3.2.3


  org.apache.hadoop
  hadoop-hdfs-client
  3.2.3

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net