# 日志系统

**Repository Path**: HushNow_H/logging-system

## Basic Information

- **Project Name**: 日志系统
- **Description**: C++ --- 基于多设计模式下的同步&异步⽇志系统
- **Primary Language**: C++
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-10-26
- **Last Updated**: 2023-10-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 日志系统

#### 介绍
C++ --- 基于多设计模式下的同步&异步⽇志系统

#### 项目介绍

此项目主要实现⼀个⽇志系统，其主要⽀持以下功能:

• ⽀持多级别⽇志消息

• ⽀持同步⽇志和异步⽇志

• ⽀持可靠写⼊⽇志到控制台、⽂件以及滚动⽂件中

• ⽀持多线程程序并发写⽇志

• ⽀持扩展不同的⽇志落地⽬标地



#### 开发环境

• VsCode

• CentOS7

• Makefile

• g++

#### 核心技术

• 类层次设计

• C++11

• 双缓冲区

• ⽣产消费模型

• 多线程

• 设计模式

• 多线程

• 智能指针

#### 模块介绍

1. 实用工具类的实现

   1）获取系统时间

   2）判断文件是否存在

   3）获取文件所在路径

   4）创建目录

2. 日志等级模块

   1）定义出日志系统所包含的所以日志等级

      UNKNOW = 0

      DEBUG, 调试等级的日志

      INFO, 提示等级的日志

      WARN, 警告等级的日志

      ERROR, 错误等级的日志

      FATAL, 致命错误等级的日志

      OFF, 设置成off时，所以日志都不能输出，等级最大

      每一个项目中都会设置一个默认的日志输出等级，只有输出的日志等级大于等于默认限制等级的时候才可以进行输出

   2）提供一个接口，将对应等级的枚举，转换为一个对应的字符串 

      如：DEBUG ---> "DEBUG"

3. 日志消息模块

   意义：中间存储一条日志消息所需的各项要素

   1）日志的输出时间：用于过滤日志输出时间

   2）日志等级：用于进行日志过滤分析

   3）源文件名称

   4）源代码行号：用于定义出现错误的代码位置

   5）线程ID：用于过滤出错的线程

   6）日志主体消息

   7）日志器名称（当前支持多日志器的同时使用）

4. 日志格式化模块

   作用：对日志消息进行格式化，组织称为指定格式的字符串
    - %d 日期
    - %T 缩进
    - %t 线程id
    - %p 日志级别
    - %c 日志器名称
    - %f 文件名
    - %l 行号
    - %m 日志消息
    - %n 换行

    [%d{%H:%M:%S}][%t][%c][%p][%f:%l]%T%m%n

    LogMsg
    {
        time_t _ctime = 111111
        LogLevel::value _level = DEBUG
        size_t _line = 53
        std::thread::id _tid = 12345678
        std::string _file = main.c
        std::string _logger = root
        std::string _payload= "套接字创建失败..."
    }

    [18:23:54][12345678][root][DEBUG][main.c:53]    套接字创建失败...\n

    格式化字符串控制了日志的输出格式

    定义格式化字符，是为了让日志系统进行日志格式化更加的灵活方便

    成员：
      1）格式化字符串

      2）格式化子项数组：对格式化字符串进行解析，保存了日志消息要素的排序

         不同的格式化子项，会从日志消息中取出指定的元素，转换为字符串

         [%d{%H:%M%S}][%f:%l] %m%n

         格式化子项：

           1）其他信息（非格式化字符）子项：[

           2）日期子项：%H:%M:%S

           3）其他信息子项：]

           4）其他信息子项：[

           5）文件名子项：

           6）其他信息子项：：

           7）其他信息子项：]

           8）消息主体子项：

           9）换行子项

           [12:53:24][main.c:53] 套接字创建失败...\n

        需要先完成的：格式化子项类的定义与实现

        格式化子项的实现思想：

          作用：从日志消息中取出指定的元素，追加到一块内存空间中

          class MsgFormatltem
          {
            public:
                void format(std::ostream &out, LogMsg &msg)
                {
                    out<<msg._payload;
                }
          }

        设计思想：

          1）抽象一个格式化子项基类

          2）基于基类，派生出不同的格式化子项子类

             主体消息、日志等级、时间子项、文件名、行号、日志器名称、线程ID、制表符、换行、其他

          这样就可以在父类中定义父类指针的数组，指向不同的格式化子项子类对象

5. 日志落地模块

   功能：将格式化完成后的日志消息字符串，输出到指定的位置

   扩展：支持同时将日志落地到不同的位置

   位置分类：

     1）标准输出

     2）将日志输出到指定文件中（事后进行日志分析）

     3）滚动文件（文件按照时间/大小进行滚动切换）

   扩展：支持落地方向的扩展

     用户可以自己编写一个新的落地模块，将日志进行其他方向的落地

   实现思想：

     1）抽象出落地模块类

     2）不同落地方向从基类进行派生

     3）使用工厂模式进行创建与表示的分离

6. 日志器模块

   功能：对前边所有模块进行整合，向外提供接口完成不同等级日志的输出

   管理的成员：

      1）格式化模块对象

      2）落地模块对象数组（一个日志器可能会向多个位置进行日志输出）

      3）默认的输出限制等级（大于等于限制等级的日志才能输出）

      4）互斥锁（保证日志输出过程是线程安全的，不会出现交叉日志）

      5）日志器名称（日志器的唯一标识，以便于查找）

   提供的操作：

      debug等级日志的输出操作（分别会封装日志消息LogMsg--各个接口日志等级不同）

      info等级日志的输出操作

      warn等级日志的输出操作

      error等级日志的输出操作

      fatal等级日志的输出操作

   实现：

      1）抽象Logger基类（派生出同步日志器类&异步日志器类）

      2）因为两种不同的日志器，只有落地方式不同，因此将落地操作给抽象出来

         不同的日志器调用各自的落地操作进行日志落地

      模块关联中使用基类指针对子类日志器对象进行日志管理和操作

7. 异步线程模块

   思想：

      为了避免因为写日志的过程阻塞，导致业务线程在写日志的时候影响效率，

      因此异步的思想就是不让业务线程进行日志的实际落地操作，而是将日志消息放到缓冲区（一块指定的内存）中

      接下来有一个专门的异步线程，去针对缓冲区中的数据进行处理（实际的落地操作）

   实现：

      1、实现一个线程安全的缓冲区

      2、创建一个异步工作线程，专门负责缓冲区中日志消息的落地操作

   缓冲区详细设计：

      1、使用队列，缓存日志消息，逐条处理

         要求：不能涉及到空间的频繁申请与释放，否则会降低效率

         结果：设计一个环形队列（提前将空间申请好，然后对空间循环利用）

         问题1：这个缓冲区的操作会涉及到多线程，因此缓冲区的操作必须保证线程安全

         线程安全实现：对于缓冲区的读写加锁

           因为写日志操作，在实际开发中，并不会分配太多资源，所以工作线程只需要一个日志器有一个就行

           涉及到的锁冲突：生产者与生产者的互斥 & 生产者与消费者的互斥

         问题2：锁冲突较为严重，因为所以线程之间都存在互斥关系

           解决方案：双缓冲区，一个任务写入缓冲区，一个任务处理缓冲区

                    异步工作线程将任务处理缓冲区中的任务处理完毕后，然后交换缓冲区（或者其中的数据）

                    只有在交换的时候，生产者与消费者才会产生一次锁冲突