千锋教育-做有情怀、有良心、有品质的职业教育机构

400-811-9990
手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

上海
  • 北京
  • 郑州
  • 武汉
  • 成都
  • 西安
  • 沈阳
  • 广州
  • 南京
  • 深圳
  • 大连
  • 青岛
  • 杭州
  • 重庆
当前位置:郑州千锋IT培训  >  技术干货  >  hdf5数据库的并行读写,是怎么回事?

hdf5数据库的并行读写,是怎么回事?

来源:千锋教育
发布人:xqq
时间: 2023-10-16 14:47:15

一、hdf5数据库的并行读写是怎么回事

关键点在于告知数据位置(hyperslab)。比如说我要把我100*100的矩阵分成10*10的block,我需要告诉代码我的分配规则。比如说,rank0 写在名列前茅行名列前茅列,rank1写在名列前茅行第二列,我就可以写col=rank%10,row=rank/10,(从0计数),写的时候每个processor会告知,mydata,myrank,myposition,然后并行的时候每个核的数据就会被写在相应的位置。

给个fortran的例子,

CALL h5sselect_hyperslab_f (filespace, H5S_SELECT_SET_F, offset, count, error, stride,block_size)

这里filespace 告知在文件里开辟的内存id,第二个内置参数,告诉怎样写,后面offset,count,stride,block什么的全都用于描述位置,你可以横着写,数着写,跳着写,转着圈写。。。一般我只用两个参数就能描述清楚了,因为我搞的是结构网格,一开始还不理解为什么那么多种写数据的花型。直到后面写作业用到非结构网格,这个时候描述数据位置就尤其重要了,因为你需要让相邻processor处理的数据物理空间也尽量靠近,这样才能减少block之间的信息交互,然后提高计算速度。

延伸阅读:

二、并发锁

在一定条件下,MyISAM也支持查询和操作的并发进行。
MyISAM存储引擎有一个系统变量concurrent_insert,专门用以控制其并发插入的行为,其值分别可以为0、1或2。
当concurrent_insert设置为0时,不允许并发插入。
当concurrent_insert设置为1时,如果MyISAM允许在一个读表的同时,另一个进程从表尾插入记录。这也是MySQL的默认设置。
当concurrent_insert设置为2时,无论MyISAM表中有没有空洞,都允许在表尾插入记录,都允许在表尾并发插入记录。
可以利用MyISAM存储引擎的并发插入特性,来解决应用中对同一表查询和插入锁争用。例如,将concurrent_insert系统变量为2,总是允许并发插入;同时,通过定期在系统空闲时段执行OPTIONMIZE TABLE语句来整理空间碎片,收到因删除记录而产生的中间空洞。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

什么是敏捷开发之Scrum框架?

2023-10-16

机器学习算法中GBDT 和XGBOOST 的区别有哪些?

2023-10-16

C语言“悬空指针”和“野指针”是什么意思?

2023-10-16

最新文章NEW

Access 与Excel 最重要的区别是什么?

2023-10-16

为什么说Java不适合编写桌面应用?

2023-10-16

开发环境,架构,数据库,协议是什么意思?

2023-10-16

相关推荐HOT

更多>>

快速通道 更多>>

最新开班信息 更多>>

网友热搜 更多>>