鍍金池/ 問答/人工智能  網(wǎng)絡(luò)安全/ 通過 flume 輸入 kafka 和直接用 kafka API 有什么優(yōu)劣呢？

通過 flume 輸入 kafka 和直接用 kafka API 有什么優(yōu)劣呢？

向 kafka 寫入數(shù)據(jù)，可以有以下兩種方式：

  1. 不斷寫入文件，通過 flume 配置，用 flume 寫入 kafka；
  2. 使用 kafka api 寫入；

請問這兩者各有什么優(yōu)劣呢？

回答
編輯回答
未命名

其它區(qū)別我說不上來，但個人理解flume是用于采集日志文件的，日志文件本身沒有調(diào)用kafka api的能力，所以需要用到flume、logstash、filebeat等工具來作采集，如果是應(yīng)用程序向kafka輸出信息的話，用kafka api應(yīng)該沒有問題的吧

2017年1月14日 21:36
編輯回答
吢涼

沒怎么用過flume，但是很明顯的，使用kafka api更加靈活，數(shù)據(jù)結(jié)構(gòu)，根據(jù)規(guī)則分配到不同partition，順序性等，都能實(shí)現(xiàn)。
flume應(yīng)該是在kafka api上包裝了一層，更加的方便實(shí)用。

2018年4月26日 12:27