hdf5数据库的并行读写,是怎么回事?
一、hdf5数据库的并行读写是怎么回事
关键点在于告知数据位置(hyperslab)。比如说我要把我100*100的矩阵分成10*10的block,我需要告诉代码我的分配规则。比如说,rank0 写在名列前茅行名列前茅列,rank1写在名列前茅行第二列,我就可以写col=rank%10,row=rank/10,(从0计数),写的时候每个processor会告知,mydata,myrank,myposition,然后并行的时候每个核的数据就会被写在相应的位置。
给个fortran的例子,
CALL h5sselect_hyperslab_f (filespace, H5S_SELECT_SET_F, offset, count, error, stride,block_size)
这里filespace 告知在文件里开辟的内存id,第二个内置参数,告诉怎样写,后面offset,count,stride,block什么的全都用于描述位置,你可以横着写,数着写,跳着写,转着圈写。。。一般我只用两个参数就能描述清楚了,因为我搞的是结构网格,一开始还不理解为什么那么多种写数据的花型。直到后面写作业用到非结构网格,这个时候描述数据位置就尤其重要了,因为你需要让相邻processor处理的数据物理空间也尽量靠近,这样才能减少block之间的信息交互,然后提高计算速度。
延伸阅读:
二、并发锁
在一定条件下,MyISAM也支持查询和操作的并发进行。
MyISAM存储引擎有一个系统变量concurrent_insert,专门用以控制其并发插入的行为,其值分别可以为0、1或2。
当concurrent_insert设置为0时,不允许并发插入。
当concurrent_insert设置为1时,如果MyISAM允许在一个读表的同时,另一个进程从表尾插入记录。这也是MySQL的默认设置。
当concurrent_insert设置为2时,无论MyISAM表中有没有空洞,都允许在表尾插入记录,都允许在表尾并发插入记录。
可以利用MyISAM存储引擎的并发插入特性,来解决应用中对同一表查询和插入锁争用。例如,将concurrent_insert系统变量为2,总是允许并发插入;同时,通过定期在系统空闲时段执行OPTIONMIZE TABLE语句来整理空间碎片,收到因删除记录而产生的中间空洞。
猜你喜欢LIKE
相关推荐HOT
更多>>siri的工作原理是怎样的?
Siri是苹果公司开发的一种智能个人助手,通过语音识别和自然语言处理技术,可以帮助用户完成各种任务,如发送消息、预定餐厅、调整日程等。那么...详情>>
2023-10-16 22:16:20Go的golang.org/x/系列包和标准库包有什么区别?
1、来源和维护不同golang.org/x/系列包:这个系列的包也被称为”Go扩展库”,是由Go团队和社区共同维护的。这些包并不包含在Go的发行版中,但是...详情>>
2023-10-16 21:03:28行动召唤(Call to Action)的基本设计原则是什么?
行动召唤,或者更常见的英文缩写CTA(Call to Action),是一种强制性的设计元素,旨在引导用户进行特定的行为。这些行为可能包括购买产品、注...详情>>
2023-10-16 19:31:00系统类型中的标准、VHD和VHDX是什?
系统类型中的标准、VHD和VHDX是什么系统类型中的标准、VHD和VHDX是指计算机系统中的不同类型和格式。标准系统类型是指常见的操作系统,如Window...详情>>
2023-10-16 18:39:06热门推荐
时间序列和回归分析有什么本质区别?
沸什么是敏捷开发之Scrum框架?
热Tornado的核心是什么?
热XP(极限编程)有哪些缺点?
新siri的工作原理是怎样的?
机器学习算法中GBDT 和XGBOOST 的区别有哪些?
Go的golang.org/x/系列包和标准库包有什么区别?
无线AP和无线路由器有什么区别?
C语言“悬空指针”和“野指针”是什么意思?
行动召唤(Call to Action)的基本设计原则是什么?
Access 与Excel 最重要的区别是什么?
系统类型中的标准、VHD和VHDX是什?
COOKIE和SESSION有什么区别?
为什么说Java不适合编写桌面应用?