博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
rsyslog队列参数
阅读量:6541 次
发布时间:2019-06-24

本文共 6178 字,大约阅读时间需要 20 分钟。

hot3.png

global (

    maxMessageSize="32m"

    workDirectory="/data1/sinawap/rsyslog"        #定义工作目录。列队写磁盘文件的存储文件夹

    preserveFQDN="on"

    action.reportSuspension="on"

)

main_queue (

    queue.filename="mainQ"

    queue.type="linkedlist"        #选择使用内存队列模式

    queue.size="600000"        #队列大小

    queue.timeoutenqueue="1000"        #进队列超时时间(1000ms)

    queue.maxfilesize="512M"        #队列单文件尺寸大小

    queue.maxdiskspace="50G"        #限制磁盘队列大小,最大50G

    queue.dequeuebatchsize="50000"        #优化宽带,设置每批次传输元素量,尽可能每次传输更多的数据

    queue.workerthreads="4"        #队列工作线程数

    queue.workerthreadminimummessages="100000"

    queue.discardseverity="3"        #丢弃消息等级设定,数字越低丢的越多,设置为8代表禁止丢弃消息

    queue.highwatermark="480000"        #当内存队列数量达到设置的值时,开始回写磁盘

    queue.lowwatermark="120000"        #当内存队列小于设置的值时,停止回写磁盘

    queue.checkpointinterval="10"

    queue.timeoutshutdown="10"

    queue.timeoutactioncompletion="10"

    queue.timeoutworkerthreadshutdown="10"

    queue.saveonshutdown="on"

)

----------------------------------------------------------------分割线--------------------------------------------------------------------------

1、客户端

$ModLoad immark # provides --MARK-- message capability

$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)

$ModLoad imklog # kernel logging (formerly provided by rklogd)

$ModLoad lmregexp

#$ModLoad omhdfs

#$ModLoad imudp

#$UDPServerRun 514

$SystemLogRateLimitInterval 0

*.info;mail.none;authpriv.none; cron .none;local5.none;local6.none - /var/log/messages

authpriv.* - /var/log/secure

mail.* - /var/log/maillog

# Log cron stuff

cron .* - /var/log/cron

# Everybody gets emergency messages

*.emerg *

uucp,news.crit - /var/log/spooler

local7.* /var/log/boot .log

#real tran log

$ModLoad imfile #装载imfile模块

$InputFileName /data2/logs/ssologs .log #读取日志文件

$InputFileTag login.sina.com.cn: #日志写入日志附加标签字符串

$InputFileFacility local5 #日志类型

$InputFileSeverity info #日志等级

$InputFileStateFile ssologs.log_state #定义记录偏移量数据文件名

$InputFilePollInterval 1 #检查日志文件间隔(秒)

$InputFilePersistStateInterval 1 #回写偏移量数据到文件间隔时间(秒)

$InputRunFileMonitor #激活读取,可以设置多组日志读取,每组结束时设置本参数。以示生效。

#接收队列

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$MainMsgQueueType LinkedList #选择使用内存队列模式。

$MainMsgQueueFileName local5.main #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$MainMsgQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$MainMsgQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$MainMsgQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$MainMsgQueueMaxFileSize 200m #队列单文件尺寸大小。

$MainMsgQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$MainMsgQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$MainMsgQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止, #那么丢弃数据将无针对性,如果

$MainMsgQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$MainMsgQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。

#发送队列(可以部署多个)

$ActionForwardDefaultTemplate RSYSLOG_ForwardFormat #定义转发消息格式模板,使用系统默认转发格式。

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$ActionQueueType LinkedList #选择使用内存队列模式。

$ActionQueueFileName local5.forward #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$ActionQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$ActionQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$ActionQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$ActionQueueMaxFileSize 200m #队列单文件尺寸大小。

$ActionResumeRetryCount -1 #失败后重试次数,-1 代表无限。

$ActionQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$ActionQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$ActionQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止,

  #那么丢弃数据将无针对性,如果

$ActionQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$ActionQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。

local5.* @@10.69.56.39;RSYSLOG_ForwardFormat #发送local5类型数据,以系统默认格式转发到目标服务器。

2. 服务器端

$ModLoad immark # provides --MARK-- message capability

$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)

$ModLoad imklog # kernel logging (formerly provided by rklogd)

$ModLoad lmregexp

$ModLoad omhdfs

#$ModLoad imudp

#$UDPServerRun 514

*.info;mail.none;authpriv.none; cron .none;local5.none;local6.none - /var/log/messages

authpriv.* /var/log/secure

mail.* - /var/log/maillog

# Log cron stuff

cron .* - /var/log/cron

# Everybody gets emergency messages

*.emerg *

uucp,news.crit - /var/log/spooler

local7.* /var/log/boot .log

# TCP Syslog Server:

$ModLoad imtcp.so # load module

$InputTCPServerRun 514 # start up TCP listener at port 514

$InputTCPMaxSessions 1000

# UDP Syslog Server:

#接收队列

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$MainMsgQueueType LinkedList #选择使用内存队列模式。

$MainMsgQueueFileName local5.main #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$MainMsgQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$MainMsgQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$MainMsgQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$MainMsgQueueMaxFileSize 200m #队列单文件尺寸大小。

$MainMsgQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$MainMsgQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$MainMsgQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止, #那么丢弃数据将无针对性,如果

$MainMsgQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$MainMsgQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。

#发送队列(可以部署多个)

$ActionForwardDefaultTemplate RSYSLOG_ForwardFormat #定义转发消息格式模板,使用系统默认转发格式。

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$ActionQueueType LinkedList #选择使用内存队列模式。

$ActionQueueFileName local5.forward #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$ActionQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$ActionQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$ActionQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$ActionQueueMaxFileSize 200m #队列单文件尺寸大小。

$ActionResumeRetryCount -1 #失败后重试次数,-1 代表无限。

$ActionQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$ActionQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$ActionQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止,

  #那么丢弃数据将无针对性,如果

$ActionQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$ActionQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。

$ModLoad omprog

$template ssolog, "%fromhost-ip% %syslogtag% %msg%\n"

$ActionOMProgBinary /etc/dAppCluster/rsyslog .receiver.php

if $syslogfacility-text == 'local5' and $syslogtag startswith 'login.sina.com.cn' then :omprog:;ssolog

local5.* /data1/logs/rsyslog/ssologs .log;ssolog

转载于:https://my.oschina.net/MrYx3en/blog/531863

你可能感兴趣的文章
java笔记:SpringSecurity应用(二)
查看>>
vim命令
查看>>
php记录代码执行时间
查看>>
【C】strcpy()需谨慎使用;
查看>>
用Adobe Flash Professional CS6创建一个iOS应用程序
查看>>
简简单单几段代码让自己变成最合格的网站管理员
查看>>
Slim Text 0.0.9 发布, 代码开源!
查看>>
[置顶] 遵循Java EE标准体系的开源GIS服务平台之二:平台部署
查看>>
Session深度探索
查看>>
shell语法简单介绍
查看>>
wcf客户端终结点样本集合
查看>>
【Win 10 应用开发】RTM版的UAP项目解剖
查看>>
Java递归算法——阶乘
查看>>
ios开发应用内实现多语言自由切换
查看>>
转:iOS基于MVC的项目重构总结
查看>>
Tire树
查看>>
Multi-voltage和power gating的实现
查看>>
JavaScript面向对象 ~ 原型和继承(1)
查看>>
ubuntu下安装nginx时依赖库zlib,pcre,openssl安装方法
查看>>
spring cloud微服务分布式云架构--hystrix的使用
查看>>