flume 自定义sink

---

http://flume.apache.org/FlumeDeveloperGuide.html#sink

---

看了 还是比较好上手的，简单翻译一下

---

sink的作用是从 Channel 提取 Event 然后传给流中的下一个 Flume Agent或者把它们存储在外部的仓库中。在Flume的配置文件中，一个 Sink 和一个唯一的 Channel 关联。有一个 SinkRunner 实例与每一个配好的 Sink 关联，当 Flume 框架调用 SinkRunner 的 start() 方法时，就创建一个新的线程来驱动这个 Sink （使用  SinkRunner 的实现Runnable接口的 PollingRunner 内部静态类来运行）。这个线程管理了 Sink 的生命周期。 Sink 需要实现 start() 和 stop() 方法。Sink 的 start() 方法需要初始化 Sink 并使它能够达到向目的地发送 Event 的状态。 Sink 的 process() 方法是处理从 Channel 传过来的 Event 和 发送 Event 的核心方法。 Sink 的 Stop() 方法需要做必要的清理工作（比如释放某些资源）。 Sink 也需要实现 Configurable 接口来处理自己的一些配置。

---

官网也给出了模板类：

 public class MySink extends AbstractSink implements Configurable {
     private String myProp;

     @Override
     public void configure(Context context) {
         String myProp = context.getString("myProp", "defaultValue");

         // Process the myProp value (e.g. validation)

         // Store myProp for later retrieval by process() method
         this.myProp = myProp;
     }

     @Override
     public void start() {
         // Initialize the connection to the external repository (e.g. HDFS) that
         // this Sink will forward Events to ..
     }

     @Override
     public void stop() {
         // Disconnect from the external respository and do any
         // additional cleanup (e.g. releasing resources or nulling-out
         // field values) ..
     }

     @Override
     public Status process() throws EventDeliveryException {
         Status status = null;

         // Start transaction
         Channel ch = getChannel();
         Transaction txn = ch.getTransaction();
         txn.begin();

         try {
             // This try clause includes whatever Channel operations you want to do
             Event event = ch.take();

             // Send the Event to the external repository.
             // storeSomeData(e);
             txn.commit();
             status = Status.READY;
         } catch (Throwable t) {
             txn.rollback();

             // Log exception, handle individual exceptions as needed
             status = Status.BACKOFF;

             // re-throw all Errors
             if (t instanceof Error) {
                 throw (Error) t;
             }
         } finally {
             txn.close();
         }

         return status;
     }
 }

---

拿来模板直接填充自己的逻辑代码即可，详细就可以直接参考HDFSSink或者HBaseSink等

---