Tìm hiểu Apache Flink – Processing Engine mạnh mẽ ứng dụng Real Time
Dữ liệu hiện tại đang có sự phát triển rất nhanh và nhiều đáp ứng với nhu cầu đó chúng ta cùng tìm hiểu một công cụ mạnh mẽ làm việc với dữ liệu. Apache Flink là một framework và engine xử lý dữ liệu, được thiết kế đặc biệt cho stateful stream processing. Flink xử lý dữ liệu liên tục (unbounded streams) với độ trễ thấp (low latency) và khả năng chịu lỗi cực cao.
Điểm khác biệt lớn nhất của Flink so với nhiều công cụ khác:
Xử lý cả Batch và Stream trong cùng một runtime (Hybrid Model). Flink coi batch processing chỉ là một trường hợp đặc biệt của stream processing (stream có giới hạn).
Batch và Stream Processing
-
Batch Processing: Dữ liệu được thu thập thành một lô (batch) cố định, sau đó mới xử lý toàn bộ một lần (ví dụ: chạy báo cáo doanh thu hàng ngày lúc 2h sáng). Ưu điểm: dễ triển khai, tiết kiệm tài nguyên. Nhược điểm: độ trễ cao hơn so với stream processing đặc biệt là khi so với từng phần dữ liệu nhỏ.
-
Stream Processing (Real-time Streaming): Dữ liệu được xử lý ngay khi nó đến event by event. Phù hợp cho các ứng dụng cần phản hồi tức thì như fraud detection, monitoring hệ thống, recommendation engine thời gian thực.
Flink hỗ trợ true streaming xử lý từng event một cách native, không phải micro batch như một số công cụ khác, nên latency thường chỉ ở mức millisecond.
Các tính năng nổi bật của Apache Flink
-
Hybrid: Batch and Stream
Viết một codebase duy nhất có thể chạy cả job batch trên dữ liệu lịch sử và stream dữ liệu liên tục mà không cần thay đổi logic. -
Iterative & Native Iterative Processing
Hỗ trợ tốt các thuật toán lặp (machine learning, graph processing, iterative analytics) với hiệu suất cao. -
Real-time Streaming
Xử lý hàng triệu đến scale hàng tỷ event/giây với độ trễ thấp. -
Event-Time Processing + Watermark
Flink xử lý dữ liệu theo thời gian xảy ra của event, chứ không phải thời gian hệ thống xử lý event.
Watermark là cơ chế then chốt để xử lý event-time một cách chính xác của Flink. Watermark là một dấu mốc thời gian đặc biệt mà source phát ra, thông báo cho Flink rằng: Tất cả event có timestamp nhỏ hơn watermark này đã đến hoặc không còn đến nữa.
Nhờ watermark, Flink mới biết được khi nào có thể đóng một window, tính toán kết quả và xử lý latee data một cách an toàn. Không có watermark, Flink không thể xử lý out of order events một cách đáng tin cậy. -
Windowing – Chia nhỏ dòng dữ liệu
Trong streaming, dữ liệu không bao giờ kết thúc, nên ta phải chia dòng dữ liệu thành từng cửa sổ để tính toán aggregate, statistic, pattern detection…
Các loại Window phổ biến trong Flink:- Tumbling Window (Cửa sổ không chồng chéo): Chia thời gian thành các khoảng liền nhau, không overlap. Mỗi event chỉ thuộc đúng 1 window. Ví dụ: Tính tổng doanh thu mỗi 5 phút.
- Sliding Window (Cửa sổ trượt): Window có kích thước cố định nhưng trượt theo bước nhỏ có overlap. Một event có thể thuộc nhiều window. Rất hữu ích cho monitoring trending, moving average.
- Session Window (Cửa sổ theo phiên): Không cố định theo thời gian, mà dựa vào khoảng im lặng giữa các event. Phù hợp cho phân tích hành vi người dùng.
-
Stateful Processing & State Model
Flink là một trong những framework mạnh về stateful computation.
Nó cho phép giữ trạng thái (state) qua hàng triệu event (ví dụ: số lần click của user, tổng tiền giỏ hàng, model fraud score…).
State Model của Flink được chia thành hai loại chính:- Keyed State: State được phân theo key (ví dụ: theo user_id). Mỗi key có state riêng, Flink tự động quản lý và scale theo số lượng key. Các kiểu phổ biến: ValueState, ListState, MapState, AggregatingState…
- Operator State: State thuộc về parallel instance của operator (không phân theo key), thường dùng cho custom logic hoặc broadcast state.
State được lưu trữ trong State Backend và được quản lý bởi Flink.
-
Exactly once Semantics
Flink cung cấp bảo đảm exactly-once từ end-to-end cho cả state và output. Mỗi event chỉ được xử lý đúng một lần, không mất, không trùng lặp ngay cả khi có failure, restart job hay network issue.
Cơ chế chính là Checkpoint kết hợp với các source/sink hỗ trợ (Kafka, JDBC, Elasticsearch…) giúp Flink trở thành lựa chọn tốt cho các hệ thống tài chính, thanh toán, fraud detection. -
Checkpoint Savepoint
Checkpoint là cơ chế snapshot trạng thái định kỳ. Khi hệ thống crash, Flink khôi phục chính xác từ checkpoint gần nhất mà không mất dữ liệu và không xử lý lặp.
Savepoint là một dạng checkpoint do người dùng chủ động trigger. Savepoint lưu trạng thái ra một vị trí ổn định (S3, HDFS…) và có thể dùng để:- Dừng job và resume.
- Rescale parallelism.
- Debug hoặc A/B testing job mới.
-
Distributed Runtime Parallelism
Flink chạy trên mô hình master worker:- JobManager (master): quản lý job, scheduling, checkpoint coordination.
- TaskManager (worker): thực thi task, mỗi TaskManager có nhiều slot (parallelism).
Bạn có thể cấu hình parallelism ở mức operator, giúp Flink tự động scale ngang theo số lượng máy và workload. Runtime cực kỳ linh hoạt, hỗ trợ dynamic scaling và resource management chặt chẽ.
-
API Layer
Flink cung cấp nhiều lớp API: DataStream API, Table API SQL, Stateful Functions / Flink CEP.
Flink + Kafka
Trong production, Flink thường được dùng chung với Apache Kafka:
- Kafka đảm nhận vai trò message broker với throughput cực cao, replication mạnh, lưu trữ lâu dài.
- Flink đảm nhận vai trò processing engine với latency thấp, state management tinh vi và windowing phức tạp.
Khi kết hợp:- Kafka cung cấp dữ liệu → Flink đọc theo offset.
- Flink thực hiện checkpoint → commit offset transactionally vào Kafka.
- Exactly once end to end, recover nhanh từ failure, không mất dữ liệu, không duplicate.
Kết luận
Apache Flink là một công cụ xử lý dữ liệu mạnh mẽ cho các hệ thống event driven và real time. Với sự kết hợp hoàn hảo giữa true streaming, event-time + watermark, stateful processing mạnh mẽ, exactly once semantics, savepoint, parallelism linh hoạt và đa dạng API layer, Flink giúp doanh nghiệp xử lý được khối lượng dữ liệu khổng lồ một cách đáng tin cậy, nhanh chóng và dễ dàng scale.
Nguồn
All Rights Reserved
