当前位置： 首页 > news >正文

Postgresql源码（136）syscache/relcache 缓存及失效机制

news 来源：原创 2024/9/28 3:01:04

相关

《Postgresql源码（45）SysCache内存结构与搜索流程分析》

0 总结速查

syscache：缓存系统表的行。通用数据结构，可以缓存一切数据（hash + dlist）。可以分别缓存单行和多行查询。

  1. syscache使用CatCache数组，定义了一些常用查询的结果集缓存，数据放到CatCache里面的dlist中存放。
  2. syscache查询接口
    • SearchSysCache系列接口时，key须按照cacheinfo的定义来查询
      • pg_class支持where relname = ? and relnamespace = ?的查询：SearchSysCache2(RELNAMENSP,k1,k2)。
      • pg_class支持where oid = ?的查询：SearchSysCache1(RELOID,k1)。
    • SearchSysCacheList系列接口时，可以使用少于定义的key去查询，例如
      • SearchSysCacheList1(AMPROCNUM, ObjectIdGetDatum(opfamilyoid));
      • SearchSysCacheExists4(AMPROCNUM, ObjectIdGetDatum(opfamily), ObjectIdGetDatum(opcintype), ObjectIdGetDatum(opcintype), Int16GetDatum(procno))
  3. syscache的查询条件（1个或多个健）组合成key，key经过hash后落到某一个dlist上，在用key按顺序遍历dlist确定哪个是想要的，dlist自带lru机制，访问到的会调整到前面。

relcache：缓存RelationData。

  1. relcache就是一张hash表保存RelationIdCache结构。
  2. RelationIdCache结构在进程初始化时分三阶段初始化：创建RelationIdCache hash表、从pg_filenode.map文件导入oid→relfilenode、从pg_internal.init文件导入RelationData（包括RelationData、RelationData->rd_rel、RelationData->rd_attr`）。

失效机制

  1. 进程本地，维护了数组存放失效消息，在事务提交时决定写共享内存或只失效自己。
  2. 进程本地，每一层子事务都会维护一个Group结构（InvalidationMsgsGroup），指向消息数组中的几条属于自己的失效消息。
  3. 进程本地，每一个Group结构中，都会维护一个当前query的group（CurrentCmdInvalidMsgs）、之前消息的group（PriorCmdInvalidMsgs），在事务提交、回滚时，可以分别处理：
    • 事务提交：当前的和之前的都需要发送共享内存，被其他进程消费。
    • 事务回滚：当前的不管了；之前的需要失效本地缓存，不发送到共享内存。
  4. 失效时机：子事务/事务提交/回滚AtEOXact_Inval、AtEOSubXact_Inval、CommandCounterIncrement。

在这里插入图片描述

1 系统表

系统表记录的元数据用来组织整库的数据结构。

例如：create table t1(a int, b int)

  • 在pg_class中记录表名、表文件、行统计信息等等信息：说明表名存在，如何找到表文件等。
  • 在pg_attribute中记录列名、列类型等信息：说明表有哪些列、列类型等。
  • 在pg_type中增加一条和表名同名的复合类型：声明一个新的复合类型(a int, b int)，类型名同表名。

2 系统表缓存

系统表是需要被高频访问的，所以PG为系统表设计了两种进程级缓存：

  1. syscache：缓存系统表tuple → 缓存行数据。
  2. relcache：缓存系统表RelationData（表模式信息） → 缓存表结构。

两种缓存保存的都是高频访问数据，可以充分利用cpu的cache，进一步减少访问延迟。

缓存为什么要放到进程本地？因为每个进程执行的业务可能完全不同，缓存的数据也会有差异，并且进程天然隔离，做到本地简单、高效。如果放到共享内存中，并发读写需要有非常精细的控制，肯定要引入锁、atomic等同步机制，得不偿失。

3 syscache(catalog cache)

syscache 以一个数组的形式存放在内存中，每一个数组位置存放一个CatCache，每一个CatCache直观上可以看做一个固定SQL的结果集，具体的数据结构参考这里：

《Postgresql源码（45）SysCache内存结构与搜索流程分析》
在这里插入图片描述

cacheinfo数组中保存着上面提到的这些“SQL”例如：


static const struct cachedesc cacheinfo[] = {.........[RELNAMENSP] = {RelationRelationId,ClassNameNspIndexId,KEY(Anum_pg_class_relname, Anum_pg_class_relnamespace),128},[RELOID] = {RelationRelationId,ClassOidIndexId,KEY(Anum_pg_class_oid),128},.........

功能上可以看做：

  • RELNAMENSP
    • 等价为：select * from pg_class where relname = ? and relnamespace = ?
    • 走索引：ClassNameNspIndexId
  • RELOID
    • 等价为：select * from pg_class where oid = ?
    • 走索引：ClassOidIndexId

查询出来的结果（tuple）存放在CatCache的dlist中，CatCache还支持一批数据缓存，具体在上面文章中介绍，不再展开。

初始化流程：

void
InitCatalogCache(void)
{int			cacheId;SysCacheRelationOidSize = SysCacheSupportingRelOidSize = 0;for (cacheId = 0; cacheId < SysCacheSize; cacheId++){SysCache[cacheId] = InitCatCache(cacheId,cacheinfo[cacheId].reloid,cacheinfo[cacheId].indoid,cacheinfo[cacheId].nkeys,cacheinfo[cacheId].key,cacheinfo[cacheId].nbuckets);SysCacheRelationOid[SysCacheRelationOidSize++] =cacheinfo[cacheId].reloid;SysCacheSupportingRelOid[SysCacheSupportingRelOidSize++] =cacheinfo[cacheId].reloid;SysCacheSupportingRelOid[SysCacheSupportingRelOidSize++] =cacheinfo[cacheId].indoid;}qsort(SysCacheRelationOid, SysCacheRelationOidSize,sizeof(Oid), oid_compare);SysCacheRelationOidSize =qunique(SysCacheRelationOid, SysCacheRelationOidSize, sizeof(Oid),oid_compare);qsort(SysCacheSupportingRelOid, SysCacheSupportingRelOidSize,sizeof(Oid), oid_compare);SysCacheSupportingRelOidSize =qunique(SysCacheSupportingRelOid, SysCacheSupportingRelOidSize,sizeof(Oid), oid_compare);CacheInitialized = true;
}

4 relcache

hash表缓存最常用的数据结构RelationData：

typedef struct RelationData
{RelFileLocator rd_locator;	/* relation physical identifier */SMgrRelation rd_smgr;		/* cached file handle, or NULL */int			rd_refcnt;		/* reference count */ProcNumber	rd_backend;		/* owning backend's proc number, if temp rel */bool		rd_islocaltemp; /* rel is a temp rel of this session */bool		rd_isnailed;	/* rel is nailed in cache */bool		rd_isvalid;		/* relcache entry is valid */bool		rd_indexvalid;	/* is rd_indexlist valid? (also rd_pkindex and* rd_replidindex) */bool		rd_statvalid;	/* is rd_statlist valid? */
...
...Form_pg_class rd_rel;		/* RELATION tuple */TupleDesc	rd_att;			/* tuple descriptor */Oid			rd_id;			/* relation's object id */LockInfoData rd_lockInfo;	/* lock mgr's info for locking relation */
...
...
} RelationData;

4.1 重要数据文件

pg_filenode.map

问题：在backend进程启动过程中，需要使用一张系统表，代码中是知道系统表具体oid的，oid对应磁盘上哪个文件，正常需要在pg_class中查询relfilenode，但是pg_class表还没加载。所以现在需要提供一个系统表oid → relfilenode的映射关系，可以找到一些最基础的系统表。

解法：pg_filenode.map提供了表oid到relfilenode的映射关系。

pg_relation_filenode函数可以查询表对应的relfilenode
在这里插入图片描述

pg_internal.init

问题：要构造一个RelationData需要访问pg_class、pg_arrtibute、pg_type等等系统表的数据，才能构造出来。但进程启动阶段，一些基础系统表的RelationData 如果每次扫描表再去构造效率会很差。

解法：pg_internal.init提供了预先计算好的系统表的 RelationData 结构。

4.2 初始化一阶段：RelationCacheInitialize

创建hash表RelationIdCache

RelationCacheInitializectl.keysize = sizeof(Oid);ctl.entrysize = sizeof(RelIdCacheEnt);RelationIdCache = hash_create("Relcache by OID", INITRELCACHESIZE,&ctl, HASH_ELEM | HASH_BLOBS);RelationMapInitialize();shared_map.magic = 0;		/* mark it not loaded */local_map.magic = 0;shared_map.num_mappings = 0;local_map.num_mappings = 0;active_shared_updates.num_mappings = 0;active_local_updates.num_mappings = 0;pending_shared_updates.num_mappings = 0;pending_local_updates.num_mappings = 0;

4.3 初始化二阶段：RelationCacheInitializePhase2

  • 读共享库的pg_filenode.map
  • 读共享库的pg_internal.init
void
RelationMapInitializePhase2(void)
{load_relmap_file(true, false);......if (!load_relcache_init_file(true)){// 失败了要兜底！formrdesc("pg_database", DatabaseRelation_Rowtype_Id, true,Natts_pg_database, Desc_pg_database);formrdesc("pg_authid", AuthIdRelation_Rowtype_Id, true,Natts_pg_authid, Desc_pg_authid);formrdesc("pg_auth_members", AuthMemRelation_Rowtype_Id, true,Natts_pg_auth_members, Desc_pg_auth_members);formrdesc("pg_shseclabel", SharedSecLabelRelation_Rowtype_Id, true,Natts_pg_shseclabel, Desc_pg_shseclabel);formrdesc("pg_subscription", SubscriptionRelation_Rowtype_Id, true,Natts_pg_subscription, Desc_pg_subscription);#define NUM_CRITICAL_SHARED_RELS	5	/* fix if you change list above */}
}

load_relmap_file加载pg_filenode.map

数据

typedef struct RelMapFile
{int32		magic;			/* always RELMAPPER_FILEMAGIC */int32		num_mappings;	/* number of valid RelMapping entries */RelMapping	mappings[MAX_MAPPINGS];pg_crc32c	crc;			/* CRC of all above */
} RelMapFile;(gdb) p shared_map
$1 = {magic = 5842711, num_mappings = 50, mappings = {{mapoid = 1262, mapfilenumber = 1262}, {mapoid = 2964, mapfilenumber = 2964}, {mapoid = 1213, mapfilenumber = 1213}, ......{mapoid = 1260, mapfilenumber = 1260},  {mapoid = 6115, mapfilenumber = 6115}, {mapoid = 0, mapfilenumber = 0}}, crc = 1938758537}

load_relcache_init_file加载pg_internal.init

在这里插入图片描述

4.4 初始化三阶段：RelationCacheInitializePhase3

  • 读非共享库的pg_filenode.map
  • 读非共享库的pg_internal.init
void
RelationMapInitializePhase3(void)
{load_relmap_file(false, false);if (IsBootstrapProcessingMode() ||!load_relcache_init_file(false)){// 失败了兜底！needNewCacheFile = true;formrdesc("pg_class", RelationRelation_Rowtype_Id, false,Natts_pg_class, Desc_pg_class);formrdesc("pg_attribute", AttributeRelation_Rowtype_Id, false,Natts_pg_attribute, Desc_pg_attribute);formrdesc("pg_proc", ProcedureRelation_Rowtype_Id, false,Natts_pg_proc, Desc_pg_proc);formrdesc("pg_type", TypeRelation_Rowtype_Id, false,Natts_pg_type, Desc_pg_type);#define NUM_CRITICAL_LOCAL_RELS 4	/* fix if you change list above */}
}

数据

typedef struct RelMapFile
{int32		magic;			/* always RELMAPPER_FILEMAGIC */int32		num_mappings;	/* number of valid RelMapping entries */RelMapping	mappings[MAX_MAPPINGS];pg_crc32c	crc;			/* CRC of all above */
} RelMapFile;(gdb) p local_map
{magic = 5842711, num_mappings = 17, mappings = {{mapoid = 1259, mapfilenumber = 1259}, {mapoid = 1249, mapfilenumber = 1249}, {mapoid = 1255, mapfilenumber = 1255}, ......{mapoid = 3455, mapfilenumber = 3455}, {mapoid = 0, mapfilenumber = 0}}, crc = 3752523506}

5 缓存同步

失效消息处理是通过共享内存和轮询的机制实现的。

5.1 进程本地失效消息记录

本地的操作在事务操作之前，不应该通知任何其他进程，所以机制上会先把需要失效的信息记录到进程本地InvalMessageArrays数组中，等事务提交时在做统一处理，这里先看下本地进程如何保存失效消息的。

例如relcache失效入口之一：

  • CacheInvalidateRelcache
    • PrepareInvalidationState
      • 构造TransInvalidationInfo结构，与子事务绑定
      • TransInvalidationInfo中记录了当前的InvalidationMsgsGroup和上一个InvalidationMsgsGroup。
      • InvalidationMsgsGroup里面记录了数组的起始位置和结束位置。
    • RegisterRelcacheInvalidation
      • AddRelcacheInvalidationMessage
        • 检查InvalMessageArrays数组中没有这一条
        • AddInvalidationMessage
          • 插入InvalMessageArrays数组中，并更新InvalidationMsgsGroup中记录的位置。

注意：InvalidationMsgsGroup的作用就是记录InvalMessageArrays数组中的起始、终止位置。

进程本地保存失效消息数据结构：
在这里插入图片描述
（为什么交nestmsg：最后一条失效消息的下一个）

5.2 进程提交、回滚时对失效消息的处理

见注释：

void
AtEOXact_Inval(bool isCommit)
{...if (isCommit){if (transInvalInfo->RelcacheInitFileInval)RelationCacheInitFilePreInvalidate();// 把当前的失效消息追加到prior中AppendInvalidationMessages(&transInvalInfo->PriorCmdInvalidMsgs,&transInvalInfo->CurrentCmdInvalidMsgs);// 顶层事务提交时：共享内存发送失效消息ProcessInvalidationMessagesMulti(&transInvalInfo->PriorCmdInvalidMsgs,SendSharedInvalidMessages);if (transInvalInfo->RelcacheInitFileInval)RelationCacheInitFilePostInvalidate();}else{// 顶层事务回滚时：只需要把自己的失效掉，不需要发送出去ProcessInvalidationMessages(&transInvalInfo->PriorCmdInvalidMsgs,LocalExecuteInvalidationMessage);}...
}

注意，当进程回滚时，为什么要把自己本地的失效掉？因为事务内的一些写、读操作，可能已经cache了一些会被回滚调的数据，cache没有mvcc机制，这里必须把回滚调（不可见）的数据失效掉，否则后面在读到这些数据就是脏读了。

5.3 CommandCounterIncrement触发本地失效

一个事务中执行了多个命令，但直到事务最终提交之前，这些更改都是暂时的。意味着在事务提交之前，肯定不会将失效消息发送到共享队列。但是，即使事务最终回滚，每个命令执行后的本地缓存仍需要反映这些暂时的更改，保证事物内的后续查询能拿到正确的结果。

CommandCounterIncrementAtCCI_LocalCacheCommandEndInvalidationMessages// 先把当前query造成的失效消息做 到 本地ProcessInvalidationMessages(&transInvalInfo->CurrentCmdInvalidMsgs, LocalExecuteInvalidationMessage)// 把当前的失效消息 追加到 历史消息中 PriorCmdInvalidMsgsAppendInvalidationMessages(&transInvalInfo->PriorCmdInvalidMsgs,&transInvalInfo->CurrentCmdInvalidMsgs);

5.4 为什么TransInvalidationInfo有两个Group？

InvalidationMsgsGroup记录消息队列中的起止位置，这几个消息是当前Group管理的。

TransInvalidationInfo中记录了两个Group?当前CurrentCmdInvalidMsgs、历史PriorCmdInvalidMsgs。

  • 当前的失效消息需要再每个命令执行后，应用到本地，保证事物内的后续SQL能查到正确的缓存数据。
  • 当前的失效消息在事务回滚时，不需要处理，只需要把历史PriorCmdInvalidMsgs做到本地即可。

typedef struct TransInvalidationInfo
{/* Back link to parent transaction's info */struct TransInvalidationInfo *parent;/* Subtransaction nesting depth */int			my_level;/* Events emitted by current command */InvalidationMsgsGroup CurrentCmdInvalidMsgs;/* Events emitted by previous commands of this (sub)transaction */InvalidationMsgsGroup PriorCmdInvalidMsgs;/* init file must be invalidated? */bool		RelcacheInitFileInval;
} TransInvalidationInfo;

相关文章：

  • Debain docker容器离线安装ping命令
  • LIMS系统在设备管理中的核心价值
  • Windows下安装 LLama-Factory 保姆级教程
  • 学习C++的第七天！
  • C# 里，常用的数据类型转换说明，以及简单示例
  • 猫头虎带你解决：error Error: certificate has expired
  • 7.lambda表达式
  • g++的一些常用标识
  • 基于飞腾平台的OpenCV的编译与安装
  • linux网络编程9
  • 数据结构2——单链表
  • 【C++】类型转换
  • 人工智能开发实时语音识别系统应用
  • USB2.0主机设备检测过程以及信号分析
  • 【算法业务】互联网风控业务中的拒绝推断场景算法应用分享（涉及半监督算法、异常检测、变分自编码、样本权重自适应调整、迁移学习等）
  • 网络传输文件的问题
  • 【399天】跃迁之路——程序员高效学习方法论探索系列（实验阶段156-2018.03.11）...
  • EOS是什么
  • Git的一些常用操作
  • k个最大的数及变种小结
  • php ci框架整合银盛支付
  • Python打包系统简单入门
  • Vue 2.3、2.4 知识点小结
  • WePY 在小程序性能调优上做出的探究
  • 创建一种深思熟虑的文化
  • 关于 Cirru Editor 存储格式
  • 简单实现一个textarea自适应高度
  • 前端每日实战：70# 视频演示如何用纯 CSS 创作一只徘徊的果冻怪兽
  • 深入浏览器事件循环的本质
  • 使用 QuickBI 搭建酷炫可视化分析
  • 为视图添加丝滑的水波纹
  • 一道闭包题引发的思考
  • 智能合约Solidity教程-事件和日志（一）
  • 你对linux中grep命令知道多少？
  • 【干货分享】dos命令大全
  • JavaScript 新语法详解：Class 的私有属性与私有方法 ...
  • k8s使用glusterfs实现动态持久化存储
  • ​【数据结构与算法】冒泡排序：简单易懂的排序算法解析
  • # Spring Cloud Alibaba Nacos_配置中心与服务发现（四）
  • $var=htmlencode(“‘)；alert(‘2“)； 的个人理解
  • (1) caustics\
  • (70min)字节暑假实习二面（已挂）
  • (附源码)springboot宠物管理系统 毕业设计 121654
  • （附源码）ssm高校志愿者服务系统 毕业设计 011648
  • （六）什么是Vite——热更新时vite、webpack做了什么
  • (转)Android学习系列(31)--App自动化之使用Ant编译项目多渠道打包
  • （转）大型网站的系统架构
  • .gitignore不生效的解决方案
  • .gitignore文件使用
  • .net core MVC 通过 Filters 过滤器拦截请求及响应内容
  • .NET delegate 委托 、 Event 事件
  • .net Signalr 使用笔记
  • .net 简单实现MD5
  • .NET 自定义中间件 判断是否存在 AllowAnonymousAttribute 特性 来判断是否需要身份验证
  • .NET/C# 使用反射注册事件