Docker容器部署Flink（学习笔记）

• Docker容器部署Flink（学习笔记）
  • 什么是Flink
  • 为什么选择 Flink？
  • Docker安装Flink

什么是Flink

简单介绍 Flink 是一个开源的分布式流处理框架，支持高吞吐、低延迟的实时数据处理。
提到 Flink 的核心特性：流处理、批处理、状态管理、容错性等。
引出为什么 Flink 在大数据生态系统中越来越重要。

为什么选择 Flink？

与其他工具（如 Spark Streaming）的对比。
强调 Flink 的优势：真正的流处理、精确一次语义、低延迟等。

Docker安装Flink

创建flink.yaml文件,内容如下：

version: '3'
services:
  jobmanager:
    image: flink:latest
    container_name: jobmanager
    hostname: jobmanager
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    networks:
      - flink_network
  taskmanager:
    image: flink:latest
    depends_on:
      - jobmanager
    ports:
      - "8082-8084:8081"  # 确保端口范围足够
    command: taskmanager
    scale: 3  # 设置TaskManager的数量为3
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    networks:
      - flink_network
networks: #注意这里，要跟services配置项目对齐（即平级的意思）
  flink_network:
    driver: bridge

启动。

docker-compose -f flink.yml up -d

成功后在网页访问8081这个端口，查看Flink Dashboard。

我们可以看到有三个可用任务。