首页 > 问答 > 关键词  > mysql最新资讯  > 正文

MySQL统计库表大小都是多少

2020-06-30 15:25 · 稿源:数据库干货铺

统计每个库每个表的大小是数据治理的其中最简单的一个要求,本文将从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况。

1、统计预估数据量

mysql数据字典库information_schema里记录了统计的预估数据量(innodb引擎表不准确,MyISAM引擎表准确)及数据大小、索引大小及表碎片的大小等信息。

如果想了解每个库及表的大概数据量级,可以直接查information_schema.tables进行统计即可。例如:

SELECTtable_schema,table_name,table_rows,data_length+index_length+data_freedata_sizeFROMinformation_schema.`TABLES`WHEREtable_schemaIN('db1','db2');

其中data_size单位为B

如上文所述,统计信息里的数据条数及size是根据部分数据抽样统计的值,与实际大小存在差异,且表越大,差异越明显,如果想知道每张表的实际情况,需用后续的方法。

2、统计实际数据量

想要统计每张表的实际大小就得去遍历每个表算出对的记录数,通过查看表空间大小(每个表独立表空间)查看每个表的size。通过以下步骤即可达到精确统计的目的。

创建路径

创建一个工作路径,保存脚本及临时文件等

mkdir-p/usr/local/data_size

创建统计库及表

在需要统计的数据库实例上创建统计库

SQL>createdatabasebak_db;

创建统计的存储过程

SQL>usebak_db;
SQL>CREATEPROCEDURE`p_db_size`()BEGINDECLAREv_idINT;DECLAREv_maxidINT;DECLAREv_tbnameVARCHAR(50);DECLAREv_dbnameVARCHAR(50);DECLAREv_sql_updVARCHAR(200);SETv_id=(SELECTMIN(id)FROMbak_db.tb_size);SETv_maxid=(SELECTMAX(id)FROMbak_db.tb_size);WHILEv_id<=v_maxid
DOSETv_tbname=(SELECTtbnameFROMbak_db.tb_sizeWHEREid=v_id);SETv_dbname=(SELECTdbnameFROMbak_db.tb_sizeWHEREid=v_id);SETv_sql_upd=CONCAT('updatebak_db.tb_sizesettb_rows=(selectcount(*)from',v_dbname,".",v_tbname,")whereid=",v_id);SET@v_sql_upd:=v_sql_upd;PREPAREstmtFROM@v_sql_upd;EXECUTEstmt;DEALLOCATEPREPAREstmt;SETv_id=v_id+1;ENDWHILE;END;

创建脚本

vimdata.sh/*插入如下内容*/#!/bin/bash
cd/usr/local/data_sizedu-s/data/mysql/mysql3306/data/db1/*|grep-v".frm"|grep-v".opt">/usr/local/data_size/data_size
du-s/data/mysql/mysql3306/data/db2/*|grep-v".frm"|grep-v".opt">>/usr/local/data_size/data_size

#后面4步是拼接成sql
awk'{print"insertintobak_db.tb_size(size,tb_route)values("""$0}'/usr/local/data_size/data_size>/usr/local/data_size/data_size1
awk'{print$0";"}'/usr/local/data_size/data_size1>/usr/local/data_size/data_size.sql
sed-i"s#\t#,'#g"/usr/local/data_size/data_size.sql
sed-i"s#;#');#g"/usr/local/data_size/data_size.sql

#创建统计表
/usr/local/mysql5.7/bin/mysql-uroot-p'Test#123456'-h192.168.28.132-e"droptableifexistsbak_db.tb_size;CREATETABLEIFNOTEXISTSbak_db.tb_size(idINT(11)NOTNULLPRIMARYKEYAUTO_INCREMENT,sizeINT,tb_routeVARCHAR(200),tbnameVARCHAR(50),dbnameVARCHAR(50),tb_rowsINT(11));"

#导入数据
/usr/local/mysql5.7/bin/mysql-uroot-p'Test#123456'-h192.168.28.132-e"usebak_db;truncatetablebak_db.tb_size;source/usr/local/data_size/data_size.sql;"

#生成库名及表名,当然该步骤也可以从数据字段中获取
/usr/local/mysql5.7/bin/mysql-uroot-p'Test#123456'-h192.168.28.132-e"usebak_db;UPDATEbak_db.tb_sizeSETtbname=REPLACE(SUBSTRING_INDEX(tb_route,'/',-1),'.ibd','');"
/usr/local/mysql5.7/bin/mysql-uroot-p'Test#123456'-h192.168.28.132-e"UPDATEbak_db.tb_sizeSETdbname=LEFT(SUBSTRING_INDEX(tb_route,'/',-2),INSTR(SUBSTRING_INDEX(tb_route,'/',-2),'/')-1);"
sleep10#如果之前的步骤在主库金学习学习,则建议暂停一段时间以免后面统计的时候无法获得表及内容,如果前面的步骤都在从库,则可以省略该步骤
echo'startcallprocedure'
#调用存储过程统计每个表的记录条数
/usr/local/mysql5.7/bin/mysql-uroot-p'Test#123456'-h192.168.28.132-e"usebak_db;callbak_db.p_db_size();"

#把表及数据导出
/usr/local/mysql5.7/bin/mysqldump-uroot-p'Test#123456'-h192.168.28.132--single-transactionbak_dbtb_size>/usr/local/data_size/tb_size.sql

#将表及结果导入主库(从库相当于删除在重建了一次)
/usr/local/mysql5.7/bin/mysql-uroot-p'Test#123456'-h192.168.28.128-e"usebak_db;source/usr/local/data_size/tb_size.sql;"

结果如下:

可以看出精确值与统计信息里的值差异还是很大的,且表越大 差异越明显。

TIPS: 本文精确统计的脚本还有许多优化空间,写的比较仓促,大家可以按需自行调整,水平有限,欢迎斧正。如有问题,欢迎与我沟通。

本文转载自微信公众号【数据库干货铺】。

举报

  • 相关推荐
  • 大家在看
  • EasyVideoTrans:快速将英文视频转换为中文视频

    EasyVideoTrans 是一个专注于视频翻译的在线工具,旨在通过高效的技术手段将英文视频内容快速转换为中文视频。该产品利用先进的文本翻译技术和强大的GPU加速,为用户提供快速、高质量的视频翻译服务。其主要优点包括:1. 高效转换:利用GPU加速,大幅提升视频翻译速度。2. 高质量翻译:文本翻译质量高,减少人工校对和翻译时间。3. 个性化定制:支持字幕编辑、翻译引擎选择和对话人声个性化。4. 灵活操作:支持从任意步骤开始,随时可以人工介入更改。5. 所见即所得:所有操作提供WEB界面,参数配置直观易用。

  • Kardn:个性化社交搜索伴侣

    Kardn是一个利用先进的AI技术,帮助用户发现和连接他人的平台。其使命是让每个人都能被发现,感到被包容和连接。无论是寻找朋友、伴侣、队友还是特别的人,Kardn都能提供真实的社区体验。

  • IMAGDressing:交互式模块化服装生成

    IMAGDressing是一个交互式模块化服装生成模型,旨在为虚拟试穿系统提供灵活和可控的定制化服务。该模型通过结合CLIP的语义特征和VAE的纹理特征,使用混合注意力模块将这些特征整合到去噪UNet中,确保用户可以控制编辑。此外,IMAGDressing还提供了IGPair数据集,包含超过30万对服装和穿着图像,建立了标准的数据组装流程。该模型可以与ControlNet、IP-Adapter、T2I-Adapter和AnimateDiff等扩展插件结合使用,增强多样性和可控性。

  • Waveform.ai:使用AI语音表单收集数据

    Waveform.ai 是一个利用人工智能技术通过语音表单收集数据的平台。它通过自然语言交互的方式,帮助用户在客户访谈、员工调查、市场研究和潜在客户生成等方面进行数据收集。该平台的主要优点包括:1. 更全面和深入的信息收集:通过AI驱动的调查,能够收集到更全面和有洞察力的数据,从而进行更深入的分析和做出更明智的决策。2. 更高的响应率:通过AI驱动的语音表单与用户进行自然互动,提高调查的响应率和用户满意度。3. 反映品牌身份:可以个性化语音和个性,以反映品牌身份,创造一致且难忘的用户体验。4. 时间和成本效益:与传统的人工数据收集方法相比,节省时间和降低成本,同时保持准确性和可靠性。

  • AI Magicx Coder:智能代码分析与实时预览

    AI Magicx Coder 是一款旨在革新编程体验的在线工具。它通过智能代码分析、实时预览和多模型支持等功能,帮助开发者提高代码质量和效率。产品背景信息显示,AI Magicx Coder 已经吸引了超过35,000名用户,并且获得了用户的高度评价。其主要优点包括代码问题的自动扫描和高亮显示、实时代码预览、与多种大型语言模型的无缝集成以及生成详细的代码文档。

  • Mistral-Nemo-Instruct-2407:大型语言模型,支持多语言和代码数据

    Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型(LLM),是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练,显著优于大小相似或更小的现有模型。其主要特点包括:支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头(GQA)、2^17词汇量(约128k)、旋转嵌入(theta=1M)。该模型在多种基准测试中表现出色,如HellaSwag(0-shot)、Winogrande(0-shot)、OpenBookQA(0-shot)等。

  • Mistral-Nemo-Base-2407:12B参数的大型语言模型

    Mistral-Nemo-Base-2407是由Mistral AI和NVIDIA联合训练的12B参数大型预训练生成文本模型。该模型在多语言和代码数据上进行了训练,显著优于相同或更小规模的现有模型。其主要特点包括:Apache 2.0许可证发布,支持预训练和指令版本,128k上下文窗口训练,支持多种语言和代码数据,是Mistral 7B的替代品。模型架构包括40层、5120维、128头维、14364隐藏维、32头数、8个kv头(GQA)、词汇量约128k、旋转嵌入(theta=1M)。该模型在多个基准测试中表现出色,如HellaSwag、Winogrande、OpenBookQA等。

  • Zavata:AI面试官,智能招聘助手

    Zavata 是一款利用先进人工智能技术进行招聘面试的在线平台。它通过自动化安排面试、AI驱动的面试、实时反馈等功能,帮助雇主和候选人享受无缝且个性化的招聘体验。主要优点包括:1. 24/7 AI面试官:SIA(智能面试助手)全天候提供服务,不受时区限制。2. 数据驱动决策:平台提供详细报告和性能指标,帮助雇主做出更明智的招聘决策。3. 工作流程集成:与现有ATS和其他HR工具无缝集成,确保数据流畅。4. 个性化面试:提供个性化和对话式的面试体验,让候选人感到被重视和尊重。5. 可操作的洞察:每次面试后提供即时、数据驱动的反馈和综合报告。6. 公平评估:系统通过多模态数据检测潜在作弊行为,提供可靠和无偏见的评估。

  • CommandAI:命令行工具与AI的结合

    CommandAI 是一款结合了命令行工具和人工智能的桌面客户端软件。它通过提供强大的命令行接口,使得用户能够更高效地执行各种任务。该产品的主要优点包括:1. 高效性:通过命令行快速执行任务,提升工作效率。2. 智能化:集成AI技术,能够智能识别用户需求并提供相应解决方案。3. 灵活性:支持多种编程语言和脚本,满足不同用户的需求。4. 易用性:安装简单,用户界面友好,易于上手。5. 扩展性: 支持插件扩展,用户可以根据需要添加更多功能。

  • Depth.io:深度分析用户行为,优化产品体验

    Depth是一款AI产品管理工具,通过分析用户在产品中的行为,提供全面的反馈,帮助团队更好地迭代产品。它不仅能够观察产品的每一方面,从用户体验建议到新功能的开发,还能优化会员计划和特权展示,提升用户参与度和理解。此外,Depth还关注视频播放的可用性问题,如视频链接失效、加载延迟等,确保用户能够流畅地消费视频内容。

  • Mistral NeMo:最先进的12B模型,支持多语言应用

    Mistral NeMo 是由 Mistral AI 与 NVIDIA 合作构建的 12B 模型,具有 128k 个令牌的大型上下文窗口。它在推理、世界知识和编码准确性方面处于领先地位。该模型专为全球多语言应用程序设计,支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等多种语言。Mistral NeMo 还使用了新的分词器 Tekken,提高了文本和源代码的压缩效率。此外,该模型经过指令微调,提升了遵循精确指令、推理、处理多轮对话和生成代码的能力。

  • DreamPal.art:AI生成的聊天助手

    DreamPal 是一个基于人工智能技术的聊天助手,旨在通过生成自然语言对话来模拟真实人类的交流体验。其主要优点包括:1. 自然语言理解:能够理解用户的输入并生成相应的回复。2. 多语言支持:支持多种语言,方便不同地区的用户使用。3. 隐私保护:强调用户隐私,新号码需要验证以保护隐私。4. 反馈机制:提供反馈功能,帮助改进用户体验。5. AI生成对话:所有对话均由AI生成,不涉及真实人类。

  • ToyPal:一款通过个性化AI故事让玩具栩栩如生的心形音箱

    ToyPal是一款独特的心形音箱,通过个性化的AI故事让玩具变得生动有趣。它不仅能够提供丰富的睡前故事,还能帮助家长更轻松地教育孩子,使学习变得更加有趣。这款产品的主要优点包括其创新的互动方式、个性化的故事内容以及对儿童教育的积极影响。

  • GPT-4o mini:成本效益高的智能模型

    GPT-4o mini 是 OpenAI 推出的一款成本效益极高的小型智能模型。它在多模态推理和文本智能方面超越了其他小型模型,并支持与 GPT-4o 相同的语言范围。该模型在数学推理和编码任务上表现出色,能够处理大量上下文信息,并支持快速、实时的文本响应。GPT-4o mini 的推出旨在使智能技术更广泛地应用于各种应用场景,降低成本,提高可访问性。

  • Archie:AI驱动的产品架构师

    Archie是一个AI驱动的产品架构师,旨在帮助用户设计和规划软件应用程序。它通过利用多个大型语言模型(LLMs)的力量,专注于不同的产品生命周期部分,从而压缩工作量并降低成本。Archie的主要优点包括: 1. **提高准确性**:确保需求完整且准确,减少软件缺陷。 2. **增强创造力**:通过AI的智能调用,用户可以更专注于创意而非提示工程。 3. **全面性**:Archie会检测并建议增强项目价值和健全性的内容,包括合规性、安全性等。 4. **效率**:将传统需要数月的工作压缩到几分钟内完成。 5. **用户友好**:提供与项目的聊天功能,允许用户提问、提出请求。

  • Loops:深度因果洞察,助力产品增长

    Loops 是一款专注于数据驱动的产品增长工具,通过因果推断模型帮助企业识别关键机会,优化关键绩效指标(KPIs)。它能够实时追踪和识别KPIs的变化,提供根本原因分析,并通过模拟A/B测试来衡量变化的影响。Loops 的技术优势在于能够快速识别和分析数据中的潜在机会,从而帮助企业做出更有针对性的决策,提升产品性能和用户体验。

  • Swapper:AI时尚模特和电商助手

    Swapper是一款AI驱动的时尚模特和电商助手,旨在通过高质量的AI视频生成技术帮助企业节约成本。它提供专业的AI时尚模特,满足各种模特需求,显著降低模特费用,促进利润增长。此外,Swapper还能在不同场景中自由切换拍摄场景,减少拍摄周期,节省预算。Swapper的主要功能包括产品商业拍卖、服装颜色变换等,能够高效准确地满足设计需求,减少重复拍摄的成本。

  • UXWizz:自托管网站分析平台

    UXWizz是一个自托管的网站分析平台,旨在帮助用户在不分享数据给大公司的情况下,通过强大的分析工具理解访问者行为并改进网站。它提供深入的智能分析功能,支持热图、会话回放等功能,帮助用户发现并解决用户体验问题。UXWizz自2012年开发以来,一直根据用户反馈不断改进,提供高质量的支持和易于维护的系统。

  • Flow Studio:AI视频生成器

    Flow Studio 是一个基于人工智能技术的视频生成平台,专注于为用户提供高质量、个性化的视频内容。该平台利用先进的AI算法,能够在短时间内生成3分钟的视频,效果优于Luma、Pika和Sora等同类产品。用户可以通过选择不同的模板、角色和场景,快速创建出具有吸引力的视频内容。Flow Studio 的主要优点包括生成速度快、效果逼真、操作简便等。

  • Intelligent Canvas:AI驱动的团队协作平台

    Intelligent Canvas 是 Miro 推出的一款 AI 驱动的团队协作平台。它通过集成智能小部件、模板和集成功能,帮助团队更高效地进行创意、迭代和交付。主要优势包括:1. AI辅助内容生成:利用 AI 将想法转化为产品简报和摘要,无需复杂提示。2. 快速构建结构和清晰度:AI 可以在几分钟内生成图表、简报和摘要。3. 智能小助手:提供即时的 AI 辅助帮助,如敏捷教练、产品领导者等。4. 智能小部件:用于团队互动,如点投票、投票和估算。5. 智能模板:自动化工作流程,如路线图、冲刺计划和回顾会议。6. 单一视图决策:提供单一视图,整合所有工具、内容、文档和数据,加快决策速度。

今日大家都在搜的词:

热文

  • 3 天
  • 7天