当前位置: 首页 > news >正文

Linux编程:使用 CSV 与 UnQLite 进行数据存储的比较分析

文章目录

    • 0. 引言
    • 1. CSV 文件存储方案
    • 2. UnQLite 数据库存储方案
    • 3. CSV 和 UnQLite 的优缺点分析
      • CSV 的优缺点
      • UnQLite 的优缺点
    • 4. 总结

0. 引言

在前文 Linux编程: C++程序线程CPU使用率监控与分析小工具 中,我们设计了两种数据存储方案:CSV 文件存储UnQLite 数据库存储。两种方案各有特点,本文将通过一个示例代码演示 CSV 和 UnQLite 的存储差异。

详细的代码实现请查看代码仓库 thread-monitor。

1. CSV 文件存储方案

首先来看一个简单的 C++ 程序,它使用 CSV 文件来存储 CPU 使用数据。

cpu_monitor_csv.cpp

#include <fstream>
#include <iostream>
#include <string>
#include <thread>
#include <vector>
#include <chrono>// 模拟的 CPU 数据结构
struct CpuUsageData {int thread_id;int user_percent;int kernel_percent;
};// 模拟 CPU 数据采集函数
std::vector<CpuUsageData> getCpuUsageData() {// 实际使用中,这些数据应从 /proc 文件系统读取return {{1, 10, 20}, {2, 15, 25}, {3, 5, 10}};
}// 将 CPU 数据写入 CSV 文件
void writeToCsv(const std::string &filename, const std::vector<CpuUsageData> &data) {std::ofstream file(filename, std::ios::app);if (!file.is_open()) {std::cerr << "无法打开文件: " << filename << std::endl;return;}for (const auto &entry : data) {file << entry.thread_id << "," << entry.user_percent << "," << entry.kernel_percent << "\n";}file.close();
}int main() {const std::string csv_filename = "cpu_usage.csv";// 创建并初始化 CSV 文件的表头std::ofstream file(csv_filename);file << "Thread ID,User %,Kernel %\n";file.close();while (true) {auto data = getCpuUsageData();  // 获取 CPU 数据writeToCsv(csv_filename, data); // 写入 CSV 文件std::this_thread::sleep_for(std::chrono::seconds(1)); // 每秒采样一次}return 0;
}

2. UnQLite 数据库存储方案

接下来是一个使用 UnQLite 数据库来存储 CPU 使用数据的示例。

cpu_monitor_unqlite.cpp

#include <iostream>
#include <string>
#include <thread>
#include <vector>
#include <chrono>
#include "unqlite.h"// 模拟的 CPU 数据结构
struct CpuUsageData {int thread_id;int user_percent;int kernel_percent;
};// 模拟 CPU 数据采集函数
std::vector<CpuUsageData> getCpuUsageData() {// 实际使用中,这些数据应从 /proc 文件系统读取return {{1, 10, 20}, {2, 15, 25}, {3, 5, 10}};
}// 将数据存储到 UnQLite 数据库
void storeToUnqlite(const std::string &db_filename, const std::vector<CpuUsageData> &data) {unqlite *pDb;int rc = unqlite_open(&pDb, db_filename.c_str(), UNQLITE_OPEN_CREATE);if (rc != UNQLITE_OK) {std::cerr << "无法打开 UnQLite 数据库: " << db_filename << std::endl;return;}for (const auto &entry : data) {std::string key = "thread_" + std::to_string(entry.thread_id);std::string value = std::to_string(entry.user_percent) + "," + std::to_string(entry.kernel_percent);rc = unqlite_kv_store(pDb, key.c_str(), -1, value.c_str(), value.size());if (rc != UNQLITE_OK) {std::cerr << "无法存储数据到 UnQLite 数据库: " << key << std::endl;}}unqlite_close(pDb);
}int main() {const std::string db_filename = "cpu_usage.db";while (true) {auto data = getCpuUsageData();            // 获取 CPU 数据storeToUnqlite(db_filename, data);        // 存储到 UnQLite 数据库std::this_thread::sleep_for(std::chrono::seconds(1)); // 每秒采样一次}return 0;
}

3. CSV 和 UnQLite 的优缺点分析

通过这两个示例程序,我们可以看到 CSV 和 UnQLite 存储 CPU 使用数据的主要区别:

CSV 的优缺点

优点:

  • 简单易用:CSV 是一种纯文本格式,易于读取和编写。使用标准的 C++ 库即可实现,不需要额外的依赖。
  • 跨平台兼容:CSV 文件是文本文件,可以在不同的平台和系统之间轻松共享和读取。

缺点:

  • 数据冗余和效率问题:对于大量数据,CSV 文件会变得非常大,读取和写入速度较慢。
  • 缺乏查询能力:CSV 文件仅支持简单的顺序访问,不具备复杂的查询和检索功能。
  • 管理复杂性:数据量较大时,需要进行文件轮换(如文件大小超过 10MB 时),增加了代码复杂性和管理负担。

UnQLite 的优缺点

优点:

  • 高效存储和检索:作为嵌入式 NoSQL 数据库,UnQLite 能够高效地存储和检索数据,非常适合嵌入式设备或资源受限的环境。
  • 支持复杂数据结构:UnQLite 支持多种数据类型(如字符串、二进制数据、JSON 对象等),适合存储和管理复杂的数据结构。
  • 自动化数据管理:UnQLite 提供自动化的数据管理能力,例如无需手动轮换日志文件,降低了文件管理的复杂性。

缺点:

  • 依赖外部库:使用 UnQLite 需要额外的库支持,这增加了程序的复杂性和维护成本。
  • 跨平台支持问题:虽然 UnQLite 是跨平台的,但在每个目标平台上都需要编译和链接库文件。

4. 总结

选择 CSV 还是 UnQLite,取决于具体的应用需求。如果只是简单地存储和查看数据,CSV 是一个轻量级的选择;如果需要高效存储和快速检索数据,UnQLite 是更好的选择。

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • Java中‘==’ 和 equals()的区别
  • GeoScene Pro教程(001):软件功能产品介绍
  • Win11配置Pytorch深度学习环境(GPU版本)
  • 鸿蒙HarmonyOS实战:IPC与RPC设备内进程通信
  • 【ROS2】launch启动文件:基础
  • pyyaml:Python 中的 YAML 处理大师
  • 【数学建模】TOPSIS法(优劣解距离法)
  • JimuReport 积木报表 v1.8.0 版本发布,开源可视化报表
  • fpga图像处理实战-图像旋转
  • ctfhub-web-整数型SQL注入
  • 网站上线流程完全手册:域名、服务器与CDN
  • 牛客周赛 Round 57 ABCDFG
  • python中如何将小数显示为分数
  • 秃姐学AI系列之:NiN + 代码实现
  • 数学基础 -- 微积分之近似误差计算
  • 《Javascript数据结构和算法》笔记-「字典和散列表」
  • 「前端早读君006」移动开发必备:那些玩转H5的小技巧
  • 【vuex入门系列02】mutation接收单个参数和多个参数
  • Android优雅地处理按钮重复点击
  • C# 免费离线人脸识别 2.0 Demo
  • ES6系列(二)变量的解构赋值
  • GitUp, 你不可错过的秀外慧中的git工具
  • IDEA 插件开发入门教程
  • Javascript设计模式学习之Observer(观察者)模式
  • java小心机(3)| 浅析finalize()
  • java中的hashCode
  • js如何打印object对象
  • Logstash 参考指南(目录)
  • mongodb--安装和初步使用教程
  • ng6--错误信息小结(持续更新)
  • PyCharm搭建GO开发环境(GO语言学习第1课)
  • Python 使用 Tornado 框架实现 WebHook 自动部署 Git 项目
  • 安装python包到指定虚拟环境
  • 警报:线上事故之CountDownLatch的威力
  • 可能是历史上最全的CC0版权可以免费商用的图片网站
  • 巧用 TypeScript (一)
  • 思否第一天
  • 文本多行溢出显示...之最后一行不到行尾的解决
  • 我有几个粽子,和一个故事
  • 主流的CSS水平和垂直居中技术大全
  • 【运维趟坑回忆录 开篇】初入初创, 一脸懵
  • Redis4.x新特性 -- 萌萌的MEMORY DOCTOR
  • SAP CRM里Lead通过工作流自动创建Opportunity的原理讲解 ...
  • 如何正确理解,内页权重高于首页?
  • ​创新驱动,边缘计算领袖:亚马逊云科技海外服务器服务再进化
  • ‌分布式计算技术与复杂算法优化:‌现代数据处理的基石
  • # 服务治理中间件详解:Spring Cloud与Dubbo
  • #etcd#安装时出错
  • (06)金属布线——为半导体注入生命的连接
  • (160)时序收敛--->(10)时序收敛十
  • (2024.6.23)最新版MAVEN的安装和配置教程(超详细)
  • (C++20) consteval立即函数
  • (C语言)fgets与fputs函数详解
  • (Windows环境)FFMPEG编译,包含编译x264以及x265
  • (二)【Jmeter】专栏实战项目靶场drupal部署