mysql之在 MySQL 中执行超大 (20 GB) .sql 文件的更高速度选项

zhoujg 阅读:37 2024-02-27 23:08:18 评论:0

我的公司收到了一个超过 20 GB 的 .sql 文件,以响应政府对数据的请求。我没有很多选项可以以不同的格式获取数据,因此我需要有关如何在合理的时间内导入数据的选项。我正在使用 Navicat 的批处理执行工具在高端服务器(Win 2008 64 位,MySQL 5.1)上运行它。它已经运行了 14 个小时,并且没有接近完成的迹象。

有没有人知道这种交易的任何更高速度的选择?或者,鉴于大文件大小,这是我应该期待的吗?

谢谢

请您参考如下方法:

我猜你的意思是它是由 mysqldump 生成的文件作为数据库的备份,所以它主要包含CREATE TABLEINSERT声明。

(但严格来说,SQL 脚本可以包含任何内容,例如长期运行的存储过程的定义和执行、导致死锁的查询等。我假设情况并非如此。)

考虑到您有备份文件并且无法更改文件类型,您可以采取以下措施来加快恢复速度:

  • 禁用外键检查: SET FOREIGN_KEY_CHECKS=0 (记得重新启用
    然后)。也禁用唯一检查: SET UNIQUE_CHECKS=0
  • 确保您的 key_buffer_size 如果您使用 MyISAM 表,则设置得尽可能大。默认为 8MB,最大为 4GB。我会尝试 1GB。

    这些最初的提示来自 Baron Schwartz 的帖子:http://lists.mysql.com/mysql/206866
  • 确保您的 innodb_buffer_pool_size 如果您使用 InnoDB 表,则设置得尽可能大。默认为 8MB,最大为 4GB。我会尝试 1GB。
  • 套装 innodb_flush_log_at_trx_commit = 2 如果您使用 InnoDB 表,则在恢复期间。
  • @Mark B 在下面向 disable keys 添加了一个很好的建议在恢复期间。这是你如何做到的:
    ALTER TABLE <table-name> DISABLE KEYS; 
    ...run your restore... 
    ALTER TABLE <table-name> ENABLE KEYS; 
    

    但该命令一次仅影响一张表。您必须为每个表发出单独的命令。也就是说,通常情况下一个表比其他表大得多,因此您可能只需要禁用该大表的键。

    此外,如果包含您的恢复的 SQL 脚本删除并重新创建表,这将绕过禁用键。在创建表之后和插入行之前,您必须找到某种方法来插入禁用键的命令。您可能需要通过 sed 发挥创意在将 SQL 脚本提供给 mysql 客户端之前对其进行预处理。
  • 使用 Percona Server 版本的 mysqldump,带有 --innodb-optimize-keys选项。

  • 标签:mysql
    声明

    1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

    关注我们

    一个IT知识分享的公众号