南京大数据治理供应商指出，有些要求是本地大数据监控系统Flume无法满足的。因此，我们添加了许多基于开源flume的功能。

（1）缺陷的eventdeserializer

flume的每个源对应的反序列化器必须实现接口事件反序列化器，该接口定义了 readevents以及readevent 方法来从各种日志源读取事件。

Flume主要支持两种反序列化器:

针对Avro文件中的每条记录生成一个flume事件，并将基于Avro编码的二进制记录存储在事件体中。

（2） Linedeserializer:它是一个基于日志文件的反序列化器，

当日志记录本身被分割成多行（如堆栈异常日志）时，这个要求无法满足。

如果一个日志超过这个长度，它将不会被读取。当一个日志占用多行时，需要适当增加这个值，因为异常日志的堆栈长度明显比普通日志的堆栈长度长。在这里，您可以将其设置为8192。

execsource缺陷

Execsource tail - F适用于读取固定文件日志。最大的问题是它不支持文件断点延续功能。因此，flume filetail源代码是基于该源代码实现的。

spoolingdirsource缺陷

它用于监视文件目录中的更改，但会出现以下两个问题:首先，文件不能写入，但只能读取。其次，延迟相对较高，需要定期归档日志。此方法在项目中不使用。

系统管理问题

南京大数据治理供应商指出，Flume支持conf配置文件和zookeeper两种方式启动和加载配置文件。通过查看源代码，我们发现要解决这个问题，需要重写大量的源代码，这是一个巨大的任务。目前，我们还在思考如何结合实际情况巧妙地解决这个问题。