elasticsearch 跨集群同步数据（多元统计在数据分析中的应用心得体会）

之前在工作的时候资源不足，先试验性的搭建了ELK集群，收集了一些应用服务的日志，望眼欲穿之后申请的ELK资源终于到位了（其实砍了不少），重新搭建了一个新的ELK集群，这个时候就存在一个老集群的数据如何导入新集群的问题了。

综合考虑了elasticsearch-dump ，snapshot， reindex，logstash，决定采用logstash来同步两个集群之间的数据，同步完毕之后再下线老的ELK集群。主要考虑老集群数据量不大的因素，迁移的便捷性方面等。

具体操作如下

在新ELK的logstash下新增一个同步的配置

input {
  elasticsearch {
    hosts => "192.168.3.25:9200"
    index => "logs-app-2020.*"
    user => xxxx
    password => xxxx
    docinfo => true
  }
}

output {
  elasticsearch {
    hosts  => ["192.168.3.80:9210","192.168.3.81:9210","192.168.3.82:9210"]
    user => xxxx
    password => xxxx
    index => "%{[@metadata][_index]}"
  }
}

执行之后可以在新集群下查看到老集群下的索引数据了

老集群

新集群

我们查看文档数（忽略大小，两个集群的分片不一致）是一致的，索引数据迁移成功