在dble目录下出现的文件“Memoryxxxxx.xxx.temp.db”文件是什么？

[Dinosauria]

这些文件是什么？作用是？

[Dinosauria]

temp.db文件的目的：

用于临时存储后端节点返回的大量数据，避免dble发生OOM而宕机。

temp.db的文件命名规则：Memory{random}.{index}.temp.db

• 以Memory为前缀
• {random}：为随机数，相同随机数表示是同一个复杂处理生成的
• {index}：为dble全局的文件序号
• 以temp.db为后缀

上面图片中, 'Memory1624350811.148787.temp.db'，1624350811为随机数表示同一个复杂处理生成的，全局自增序号到了148787，表示Dble已生成过十万个临时文件了

中间结果集在Dble中暂存的场景：

A、B表，分别对应后端库为(dn1、dn2)和(dn3、dn4)

1. 例1，join查询，执行select * from A join B的时候，需要等A、B表所有节点的结果集返回后(这里产生了中间结果集需要暂存), 才能做两表的笛卡尔乘积，得到最终的结果。
2. 例2，order by查询，执行select * from A order by name，需要获取dn1、dn2节点返回的数据(这里产生了中间结果集需要暂存)，在Dble层面在做一次排序处理，得到最终的结果。
3. 例3，子查询，执行select * from A where name in(select name from B)，需要等子查询B返回所有的name结果后(这里产生了中间结果集需要暂存)，然后填充in条件，再下发外层sql，得到最终的结果。

此外，还有count()、distinct等场景.

根据Explain sql看，Dble会暂存中间结果集的条件

Explain sql的结果Type列中只要满足存在以下任意算子：

• AGGREGATE
• DISTINCT
• ORDER
• NOT_IN
• JOIN
• DIRECT_GROUP
• NEST_LOOP

认识Explain

中间结果集在dble中暂存和释放

• 暂存：Dble将中间结果集优先暂存至dble堆内存中，当中间结果集超过预留内存大小时，会将其重新写入内存映射文件(temp.db)中.
• 释放：在查询被中断(包括此连接断开)时，Dble会自行移除内存中存储的数据和删除这些内存映射文件.

相关的参数：

根据复杂场景设置对应的session级别的预留内存大小：

1. order处理时的预留内存，设置参数orderMemSize，默认4M.
2. join处理时的预留内存，设置参数joinMemSize参数的大小，默认4M.
3. 其他(如：临时表的数据、count()、distinct等)处理的预留内存，设置参数otherMemSize参数的大小，默认4M.

mappedFileSize参数是指单个内存映射文件的大小，默认64M。

具体见：Dble处理中间结果集过大时内存使用