昆明数据 数据资讯 mysql数据库日志文件怎么管理？

mysql数据库日志文件怎么管理？

作者: kmidc 发布: 2024-12-17 09:35:47 39阅读 0评论

一、mysql数据库日志文件怎么管理？

　一.错误日志　　错误日志在Mysql数据库中很重要，它记录着mysqld启动和停止，以及服务器在运行过程中发生的任何错误的相关信息。　　1.配置信息　　--log-error=[file-name]用来指定错误日志存放的位置。　　如果没有指定[file-name]，默认hostname.err做为文件名，默认存放在DATADIR目录中。　　也可以将log-error配置到my.cnf文件中，这样就省去了每次在启动mysqld时都手工指定--log-error.例如:　　[mysql@test2]$ vi /etc/my.cnf　　# The MySQL server

二、如何查看mysql数据库操作记录日志？

MySQL 8.0 重新定义了错误日志输出和过滤，改善了原来臃肿并且可读性很差的错误日志。比如增加了 JSON 输出，在原来的日志后面以序号以及 JSON 后缀的方式展示。比如我机器上的 MySQL 以 JSON 保存的错误日志 mysqld.log.00.json：[root@centos-ytt80 mysql80]# jq . mysqld.log.00.json{ "log_type": 1, "prio": 1, "err_code": 12592, "subsystem": "InnoDB", "msg": "Operating system error number 2 in a file operation.", "time": "2019-09-03T08:16:12.111808Z", "thread": 8, "err_symbol": "ER_IB_MSG_767", "SQL_state": "HY000", "label": "Error"}{ "log_type": 1, "prio": 1, "err_code": 12593, "subsystem": "InnoDB", "msg": "The error means the system cannot find the path specified.", "time": "2019-09-03T08:16:12.111915Z", "thread": 8, "err_symbol": "ER_IB_MSG_768", "SQL_state": "HY000", "label": "Error"}{ "log_type": 1, "prio": 1, "err_code": 12216, "subsystem": "InnoDB", "msg": "Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71", "time": "2019-09-03T08:16:12.111933Z", "thread": 8, "err_symbol": "ER_IB_MSG_391", "SQL_state": "HY000", "label": "Error"}以 JSON 输出错误日志后可读性和可操作性增强了许多。这里可以用 Linux 命令 jq 或者把这个字串 COPY 到其他解析 JSON 的工具方便处理。只想非常快速的拿出错误信息，忽略其他信息。[root@centos-ytt80 mysql80]# jq '.msg' mysqld.log.00.json"Operating system error number 2 in a file operation.""The error means the system cannot find the path specified.""Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71""Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.""Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue."使用 JSON 输出的前提是安装 JSON 输出部件。

INSTALL COMPONENT 'file://component_log_sink_json';

完了在设置变量 SET GLOBAL log_error_services = 'log_filter_internal; log_sink_json';

格式为：过滤规则；日志输出；[过滤规则]日志输出；查看安装好的部件mysql> select * from mysql.component;+--------------+--------------------+---------------------------------------+| component_id | component_group_id | component_urn |+--------------+--------------------+---------------------------------------+| 2 | 1 | file://component_log_sink_json |+--------------+--------------------+---------------------------------------+3 rows in set (0.00 sec)

现在设置 JSON 输出，输出到系统日志的同时输出到 JSON 格式日志。mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_sink_json';Query OK, 0 rows affected (0.00 sec)

来测试一把。我之前已经把表 a 物理文件删掉了。mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

现在错误日志里有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log

2019-09-03T08:16:12.111808Z 8 [ERROR] [MY-012592] [InnoDB] Operating system error number 2 in a file operation.

2019-09-03T08:16:12.111915Z 8 [ERROR] [MY-012593] [InnoDB] The error means the system cannot find the path specified.

2019-09-03T08:16:12.111933Z 8 [ERROR] [MY-012216] [InnoDB] Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71

2019-09-03T08:16:12.112227Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:16:14.902617Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

JSON 日志里也有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log.00.json

{ "log_type" : 1, "prio" : 1, "err_code" : 12592, "subsystem" : "InnoDB", "msg" : "Operating system error number 2 in a file operation.", "time" : "2019-09-03T08:16:12.111808Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_767", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 1, "err_code" : 12593, "subsystem" : "InnoDB", "msg" : "The error means the system cannot find the path specified.", "time" : "2019-09-03T08:16:12.111915Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_768", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 1, "err_code" : 12216, "subsystem" : "InnoDB", "msg" : "Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71", "time" : "2019-09-03T08:16:12.111933Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_391", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:12.112227Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:14.902617Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

那可能有人就问了，这有啥意义呢？只是把格式变了，过滤的规则我看还是没变。那我们现在给第二条日志输出加过滤规则先把过滤日志的部件安装起来

INSTALL COMPONENT 'file://component_log_filter_dragnet';

mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_filter_dragnet;log_sink_json';

Query OK, 0 rows affected (0.00 sec)

只保留 error，其余的一律过滤掉。SET GLOBAL dragnet.log_error_filter_rules = 'IF prio>=WARNING THEN drop.';

检索一张误删的表mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

查看错误日志和 JSON 错误日志发现错误日志里有一条 Warning，JSON 错误日志里的被过滤掉了。2019-09-03T08:22:32.978728Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

再举个例子，每 60 秒只允许记录一个 Warning 事件mysql> SET GLOBAL dragnet.log_error_filter_rules = 'IF prio==WARNING THEN throttle 1/60.';Query OK, 0 rows affected (0.00 sec)

多次执行mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.

现在错误日志里有三条 warning 信息

2019-09-03T08:49:06.820635Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:49:31.455907Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:50:00.430867Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

mysqld.log.00.json 只有一条{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:49:06.820635Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "and_n_more" : 3, "label" : "Warning" }

总结，我这里简单介绍了下 MySQL 8.0 的错误日志过滤以及 JSON 输出。MySQL 8.0 的component_log_filter_dragnet 部件过滤规则非常灵活，可以参考手册，根据它提供的语法写出自己的过滤掉的日志输出。

三、如何使用MySQL日志来还原数据库 | 数据库恢复指南

引言

在数据库管理中，数据的安全性和稳定性一直是最重要的考虑因素之一。然而，即使在最严谨的数据库管理下，意外数据丢失的情况仍然可能发生。在这种情况下，了解如何使用MySQL日志来还原数据库将会成为一项关键技能。

什么是MySQL日志？

MySQL日志是MySQL数据库引擎记录其活动的重要工具。它包括了多种类型的日志，如二进制日志、错误日志和慢查询日志。其中，二进制日志（binary log）尤为重要，因为它记录了对数据的写操作，包括插入、更新和删除等。

当数据库遇到问题时

当数据库遇到问题，例如意外删除数据，而我们需要将数据库还原到之前的状态时，可以使用MySQL的日志来进行数据库恢复。

使用二进制日志还原数据库

使用二进制日志进行数据库恢复主要分为以下几个步骤：

  1. 首先，了解你需要恢复到哪个时间点，这将有助于确定使用哪个二进制日志文件。
  2. 然后，停止MySQL服务器，将数据库恢复到指定时间点之前的状态。
  3. 接着，使用mysqlbinlog工具来解析二进制日志文件，找出需要的恢复时间段。
  4. 最后，通过执行解析后的日志，来还原数据库到指定时间点的状态。

注意事项

在进行数据库恢复时，需要注意以下几点：

  • 确保在恢复数据库之前，对当前数据库进行备份，以防止不可逆的错误发生。
  • 谨慎选择恢复的时间点，确保不会造成其他数据的丢失或错误。
  • 在执行恢复操作时，最好在测试环境中进行，并在恢复成功后再在生产环境中执行。

结论

掌握如何使用MySQL日志来还原数据库是数据库管理中的一项重要技能。通过本文的介绍，希望能帮助读者更好地理解数据库恢复的方法和步骤，从而保证数据的安全性和稳定性。

感谢您阅读本文，希望本文能带来对数据库管理和数据恢复方面的帮助。

四、mysql误删数据库怎么恢复？

你好，如果您没有备份数据库，恢复数据将变得更加困难。以下是一些尝试恢复数据的方法：

1. 使用MySQL的binlog文件进行恢复

MySQL在运行时会记录所有对数据库的更改，这些更改记录在binlog文件中。如果您将binlog文件保留得足够久，可以使用它们来恢复您的数据库。您可以使用以下命令列出可用的binlog文件：

SHOW BINARY LOGS;

然后可以使用以下命令查看指定binlog文件的内容：

mysqlbinlog [binlog文件名] > [输出文件名]

2. 使用第三方工具进行恢复

有许多第三方工具可以帮助您恢复MySQL数据库，例如MySQL data recovery、MySQL data recovery toolkit、Recover MySQL database等等。这些工具可能需要您购买或下载。

3. 使用MySQL的数据恢复服务

如果您没有备份数据库并且无法使用其他方法进行恢复，您可以考虑联系MySQL官方数据恢复服务来尝试恢复数据。这是一种付费服务，费用因情况而异，具体取决于损坏的程度和数据库的大小。

重要提示：在尝试使用以上方法进行恢复之前，一定要停止MySQL服务和写入任何新数据。这可以防止已删除数据的覆盖。

五、如何查看MySQL数据库日志？

MySQL数据库日志简介

在MySQL数据库中，日志是记录数据库活动和事件的重要工具。它可以帮助您跟踪数据库操作，排除故障并进行性能优化。MySQL主要包括错误日志、查询日志、慢查询日志和二进制日志。

查看MySQL错误日志

MySQL错误日志记录着MySQL服务器启动、运行过程中的警告和错误信息。您可以通过以下步骤查看错误日志：

  1. 登录MySQL服务器： mysql -u 用户名 -p
  2. 执行以下SQL命令以查看错误日志路径：
    SHOW VARIABLES LIKE 'log_error';
  3. 使用系统文件浏览器或命令行工具前往日志文件路径，并打开/查看错误日志文件。

查看MySQL查询日志和慢查询日志

查询日志记录了所有对MySQL数据库的查询操作，而慢查询日志则特别记录执行时间超过指定时间的查询。这两者对于优化数据库性能非常重要。

要启用查询日志和慢查询日志，您需要编辑MySQL配置文件：
sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf
在文件中找到相应的配置项并设置为：
general_log = 1
slow_query_log = 1

保存文件后，重启MySQL服务：
sudo service mysql restart

接着您可以通过以下命令查看查询日志和慢查询日志具体路径：
SHOW VARIABLES LIKE 'general_log_file';
SHOW VARIABLES LIKE 'slow_query_log_file';

查看MySQL二进制日志

MySQL二进制日志包含了对数据库执行的所有更改操作，这对于进行数据库恢复和复制非常有用。

要查看二进制日志，可以使用mysqlbinlog命令：
mysqlbinlog [日志文件名]

以上就是MySQL数据库日志的相关内容，希望对您有所帮助。

感谢您阅读本文，如果您有任何问题或建议，请随时与我们联系。

六、MySQL数据库日志文件：如何管理和优化MySQL的日志记录

概述

MySQL作为最流行的关系型数据库管理系统之一，其日志文件扮演着至关重要的角色。本文将讨论MySQL的日志类型、日志文件的作用，以及如何管理和优化MySQL的日志记录。

MySQL日志类型

MySQL有多种类型的日志，包括错误日志、查询日志、慢查询日志、二进制日志和事务日志。这些日志记录了数据库服务器的活动和交互，对于故障排查、性能优化和数据恢复至关重要。

日志文件的作用

日志文件记录了数据库服务器的活动，可以帮助管理员跟踪和分析系统的运行状况。错误日志记录了MySQL服务器启动和运行过程中的错误信息，查询日志记录了所有对数据库的查询操作，慢查询日志用于记录执行时间超过特定阈值的查询，而二进制日志和事务日志则对数据的变更进行记录。

管理和优化日志记录

合理管理和优化MySQL的日志记录对于系统性能和安全至关重要。管理员可以通过配置MySQL的参数文件，如my.cnf文件，来开启或关闭特定类型的日志；可以定期清理日志文件，避免日志文件过大影响性能；也可以根据具体情况调整日志记录级别和格式。

总结

MySQL的日志文件对于数据库管理至关重要，通过合理管理和优化日志记录，能够帮助管理员更好地监控系统运行状况，提高系统性能，以及在故障发生时进行快速定位和修复。

感谢您阅读本文，希望本文能够帮助您更好地理解和管理MySQL的日志文件，从而提升数据库管理的效率和质量。

七、如何将syslogng的日志写入MySQL数据库？

我在使用syslog-ng搭建日志服务器中已经讲了如何将syslog-ng配置为中心日志服务器，下面介绍如何将syslogng的日志写入mysql数据库系统：Gentoo-20071、修改/etc/syslog-ng/syslog-ng.conf，添加CODE:source s_remote {udp(ip(0.0.0.0) port(514));}

;destination r_mysql {program("/usr/bin/mysql -usyslogadmin -psyslogadmin syslog

八、MySQL数据库日志：全面了解MySQL的日志功能及其作用

介绍

MySQL是一种广泛使用的开源关系型数据库管理系统，其日志功能是数据库系统中非常重要的一部分。MySQL的日志包括了多种类型，它们记录着数据库的操作、错误和状态信息，对数据库的性能优化、故障恢复以及安全性等方面起着至关重要的作用。

日志类型

MySQL主要包括以下几种类型的日志：

  • 错误日志：记录了MySQL服务器遇到的严重错误信息，是排错和故障排除的重要工具。
  • 查询日志：包含了所有对MySQL数据库的查询操作，可以用于分析数据库的查询性能和行为。
  • 慢查询日志：记录了执行时间超过指定阈值的查询，有助于识别和优化慢查询操作。
  • binlog日志：记录了对数据库的修改操作，用于数据备份、复制和恢复。
  • 重做日志和回滚日志：用于事务处理，记录了数据修改的情况，确保数据库的一致性和持久性。

作用

MySQL的日志功能在数据库管理中起着至关重要的作用：

  • 帮助诊断和解决数据库问题，如排查错误、调优性能。
  • 保证数据库的安全性，记录数据库操作，追踪恶意操作。
  • 支持数据库的备份、恢复和复制。
  • 辅助分析数据库的性能和行为，优化查询操作。
  • 确保事务处理的一致性和持久性。

结语

综上所述，MySQL的日志功能是数据库管理中不可或缺的一部分，它们记录了数据库的运行状态和操作，对于数据库的性能、安全和恢复至关重要。深入了解和合理利用MySQL的日志功能，对于数据库系统的管理和优化具有重要意义。

感谢您阅读本文，希望能帮助您更加全面地了解MySQL数据库日志的作用和重要性。

九、mysql主从日志格式？

statement：历史比较悠久。会记录完整的sql语句。binlog空间比较小，跨库操作丢失数据。针对一些函数uuid，rand() 不安全性 （SBR，statement based replication）

row：安全性很高，不会出现丢失数据的情况。binlog空间占用比较大，会记录每行操作的语句。mysql5.6 binlog_rows_query_log_events 开启也可以看到完整sql语句了。在生产中建议使用row这种binlog记录格式 （RBR，row based replication）

十、怎么查看mysql日志？

1、首先确认你日志是否启用了mysql>show variables like 'log_bin'。

2、如果启用了，即ON，那日志文件就在mysql的安装目录的data目录下。

3、怎样知道当前的日志mysql> show master status。

4、看二进制日志文件用mysqlbinlog，shell>mysqlbinlog mail-bin.000001或者shell>mysqlbinlog mail-bin.000001 | tail，Windows 下用类似的。

MySQL的日志操作：

1、首先，登陆mysql后，执行sql语句：show variables like 'log_bin'。

2、#错误日志log-errol开启方式：在my.ini的[mysqld]选项下：添加代码：log-error=E:\log-error.txt。

记录内容：主要是记录启动、运行或停止mysqld时出现的致命性问题，都是系统级的错误记录。

3、#查询日志：log，开启方式：在my.ini的[mysqld]选项下：添加代码：log=E:/mysql_log.txt。

4、#二进制日志：log-bin，开启方式：在my.ini的[mysqld]选项下：添加代码：log-bin=E:/mysql_log_bin，记录内容：主要是记录所有的更改数据的语句，可使用mysqlbinlog命令恢复数据。

本文来自网络，不代表昆明数据立场，转载请注明出处：http://www.kmidc.net/news/12413.html
4赞

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部