HDFS基础知识之数据目录和分布式存储

查看hdfs的namenode节点数据目录的方法是：

hdfs getconf -confKey dfs.namenode.aname.dir | awk -F ':' '{print $2}'

～～～～我是华丽的分隔线～～～

ceph出现request are blocked的异常：

查找block的请求，执行：

ceph health detail

查找osd对应的主机：

ceph osd find xxx或者是

ceph osd tree

重启osd:

/etc/init.d/ceph stop osd.X

/etc/init.d/ceph start osd.X

重启osd，系统会对osd执行recovery操作，recovery过程中，会断开block request。request将会重新请求mon节点，重新获得新的pg map，得到最新的数据访问位置。

ceph health detail

watch ceph -s

查看ceph集群状态。

～～～我是华丽的分隔线～～～

elasticsearch的端口：TCP 9200端口

logstash的端口：5044端口

Kibanan的端口：5601端口

kinana.yml里面配置elasticsearch:

elasticsearch.url: "http://x.x.x.x:9200"

Filebeat配置文件filebeat.yml配置elasticsearch:

output.elasticsearch:

hosts: ["x.x.x.x:9200"]

filebeat：数据采集和传输，主要是采集数据。

Logstash: 数据分析和传输，主要是传输数据。

elasticsearch: 数据存储和分析

Kibana:数据可视化和展示

elasticsearch的配置文件elasticsearch.yml中：

node.name配置成各自的IP或者主机名。

filebeat可以输出到logstash：

output.logstash:

hosts: ["x.x.x.x:5044"]

elasticsearch查看索引：

curl -XGET "http://x.x.x.x:9200/_cat/indices?v"

～～～我是华丽的分隔线～～～

MySQL的配置文件my.cnf：

[client]:代表客户端默认设置的内容。

[mysql]:代表我们使用mysql命令登录MySQL数据库时的默认设置。

[mysqld]:代表数据库自身的默认配置。

鼓励的话语：成功者不犹豫，犹豫者不成功。