Fluentd部署:如何监控Fluentd

今天的文章主要介绍一下如何监控Fluentd。监控的目的是确保日志采集能稳定高效运行。

  1. Fluentd内部运行指标
    Fluentd内部保存着一些运行指标,这些指标可通过REST api直接获取,也支持通过第三方工具,如Prometheus,来访问。Prometheus是官方推荐的监控工具。我们会在今天第二篇文章中简单介绍。
  2. 进程监控
    Fluentd运行后会产生两个ruby进程,需要确保这两个进程运行正常。对于td-agent,会是如下两个进程:
    /opt/td-agent/embedded/bin/ruby /usr/sbin/td-agent --daemon /var/run/td-agent/td-agent.pid --log /var/log/td-agent/td-agent.log

    在Linux系统上,可通过如下命令查看这两个进程的状态:

    $ ps w -C ruby -C td-agent --no-heading32342 ? Sl 0:00 /opt/td-agent/embedded/bin/ruby /usr/sbin/td-agent --daemon /var/run/td-agent/td-agent.pid --log /var/log/td-agent/td-agent.log32345 ? Sl 0:01 /opt/td-agent/embedded/bin/ruby /usr/sbin/td-agent --daemon /var/run/td-agent/td-agent.pid --log /var/log/td-agent/td-agent.log
  3. 端口监控
    根据配置不同,Fluentd会开启若干端口。可查看这些端口是否被正常使用。比如,默认的HTTP和Forward端口为:
    TCP 0.0.0.0 9880 (HTTP by default)TCP 0.0.0.0 24224 (Forward by default)
  4. 调试端口
    也可以通过配置开启Fluentd调试端口,这样的话,可通过fluent-debug命令来查看Fluentd运行状态。
    <source> @type debug_agent bind 127.0.0.1 port 24230</source>
    在Fluentd配置文件中增加上述配置,即可打开本地调试端口。
(0)

相关推荐

  • 号称下一代日志收集系统!来看看它有多强

    后面随着架构的优化与演进,又引入另一个轻量级的组件 Filebeat,Filebeat和Logstash一样属于日志收集处理工具,基于原先 Logstash-fowarder 的源码改造出来的.与Lo ...

  • Zabbix分布式监控系统

    Zabbix分布式监控系统 准备两台虚拟机,yum源使用zabbix文件夹 基础环境配置 主机名配置 # hostnamectl set-hostname zabbix-server # hostna ...

  • zabbix的日常监控-自动化监控(十一)

    自动化监控: ? 1 2 3 4 5 1.自动注册 1.1.zabbix agent自动添加 2.主动发现 2.1.自动发现Discover 2.2.zabbix api<br><b ...

  • K8s~为pod添加sidecar进行日志收集

    我们在k8s部署服务时,一般来说一个服务会对应一类pod,而pod通过rs实现副本集,而这些pod的日志一般有控制台stdout和文件的,一般会把这些日志最终输出到elasticsearch里,再通过 ...

  • Fluentd部署:通过Prometheus监控Fluentd

    本文简单介绍一下如何通过Prometheus监控Fluentd. Prometheus也是CNCF成员项目之一,所以Fluentd官方推荐使用Prometheus作为监控工具. 安装fluent-pl ...

  • Fluentd部署:错误排查

    本文介绍一下排查Fluentd运行时错误的几种方法. 查看日志 如果感觉Fluentd运行异常,请先查看日志.td-agent安装后,默认日志存放在/var/log/td-agent/td-agent ...

  • Fluentd部署:高可用配置

    对于高访问量的web站点或者服务,我们可以采用Fluentd的高可用配置模式. 消息分发语义 Fluentd设计初衷主要是用作事件日志分发系统的.这类系统支持几种不同的分发模式: 至多一次.消息被立即 ...

  • Fluentd部署:性能优化

    本文提供一些对于单Fluentd进程进行性能优化的建议.如果你的日志请求达到了5000条/秒,这里描述的技术点可用于调优. 检查操作系统配置 在安装Fluentd之前,进行操作系统参数优化.可参考这里 ...

  • Fluentd部署:多Workers进程模式

    本文介绍如何使用Fluentd的多worker模式处理高访问量的日志事件.此模式会运行多个worker进程以最大利用多核CPU. 原理 默认情况下,一个Fluentd实例会运行一个监控进程和一个工作进 ...

  • Fluentd部署:系统配置

    首先,本文"系统配置"指的是Fluentd的全局配置项,诸如开启RPC.使用多worker模式等.可在配置文件中通过<system>进行配置,或通过命令行进行配置. & ...

  • Fluentd部署:日志

    Fluentd是用来处理其他系统产生的日志的,它本身也会产生一些运行时日志.我们一起来了解一下Fluentd本身的日志机制. Fluentd包含两个日志层:全局日志和插件级日志.每个层次的日志都可以进 ...

  • 厦门大学|如何利用开源软件部署高校监控系统?

    监控对于系统运维的重要性不言而喻,监控可以通过一些征兆在问题出现之前得到通知,也可以在故障出现之后比用户更早得到提醒并介入处理,同时监控也是一个很好的资产视图,在网络安全管理中一个最重要的前提是摸清家 ...

  • Docker环境部署Prometheus Grafana监控系统

    原文链接:https://www.jianshu.com/p/dde0dc1761ec 文章转自:DevOps技术栈 一.Prometheus简介 Prometheus是由SoundCloud开发的开 ...