批处理还是流处理?先问三个问题

Filed under Data Platforms on .

在选型之前,延迟、正确性与运维成本往往比"技术新不新"更关键。

#data#streaming#batch

三个问题

  1. 业务能接受多大延迟? 小时级用批,秒级才需要流。
  2. 正确性如何保证? 流处理要直面乱序与重复,需要 watermark 与幂等写。
  3. 谁来运维? 流式管道的长期运维成本通常被低估。

先回答这三个,再谈框架。