软件系统的数据检索设计

2016-01-11 16:55   来源: 互联网

随着业务量加大,数据检索量也会日益增多,为了减轻数据库压力,本系统采用ElasticSearch来实现数据检索功能。

简单来说,Elasticsearch 是一个实时的分布式存储、搜索、分析的引擎,它可以近乎实时的存储、检索数据,本身扩展性很好,可以扩展到上百台服务器,处理PB级别(大数据时代)的数据,ElasticSearch的检索流程如下:

1727600147260.jpg 

数据检索流程图

1) 执行refresh操作将mem buffer中的数据写入到新的segment并写入os cache,然后打开本segment以供search使用,最后再次清空mem buffer。

2) 一个commit point被写入磁盘,这个commit point中标明所有的index segment。

3) filesystem cache(os cache)中缓存的所有的index segment文件被fsync强制刷到磁盘os disk,当index segment被fsync强制刷到磁盘上以后,就会被打开,供查询使用。

translog被清空和删除,创建一个新的translog。


责任编辑:lijh
分享到:
0
【慎重声明】凡本站未注明来源为"中国财商新闻网"的所有作品,均转载、编译或摘编自其它媒体,转载、编译或摘编的目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。如因作品内容、版权和其他问题需要同本网联系的,请在30日内进行!
网站地图 | 网站简介 | 免责声明 | 投诉与建议 | sitemap |