在开发API的时候,有时候数据太多了,就需要分页读取。

基于偏移量的分页(Offset-based)

这种方式就是会提供一个每页笔数(page size)来定义返回条目的最大数,提供一个页数(page number)来表示从哪里开始读取数据。

例如:
SELECT * FROM "CampusResumes" ORDER BY "Name" DESC LIMIT 5 OFFSET 10;
这句话的意思就是从该表中读取数据,按照Name字段降序排序,从第10笔数据后开始读取,一共读取5笔(可能不足5笔)。

这就相当于page size = 5,page number = 3的分页读取。

 

Offset-based分页方式实现起来非常的简单,对用户来说体验也比较好。但是还有有一些劣势的:

* 对于大规模的数据集,效率不够高。因为数据库需要进行count和skip操作。
* 如果数据经常发生变化,那么结果不可信。在查询的时候如果插入或删除了数据,那么某条数据可能会出现两次或者翻页的时候越界了。
* 在分布式系统中实现起来略麻烦。这种情况下,你可能需要扫描不同的数据碎片,然后才能得到想要的数据。
总体来说,当允许结果出现误差的时候,Offset-based分页还是很好用的。

 

基于游标的分页(Cursor-based)

为了解决Offset-based分页的那些问题,可以采用Cursor-based分页。


这种方式是这样的:客户端首先发送请求,请求里提供所需数据的数量。然后服务器响应请求,返回这些数量的数据(如果有这么多数据的话),同时还会返回一个游标(Cursor)。在下一次请求中,客户端除了发送请求数据的数量之外,还把这个cursor也传送过去,这个cursor就表示这次所要读取的数据的开始位置。

这看起来和Offset-based分页差别不大,但是却更有效率。数据库里面的数据可以根据cursor值来获取。

例如:
SELECT * FROM "CampusResumes" WHERE "Id" > 15 ORDER BY "Id" LIMIT 5;
这个例子里,上次请求返回的cursor(Id字段)值为15,这次要获取Id比15大的连续的5条数据。

这里的Id字段本身就是一个索引,所以查询起来非常快。

在这次请求的响应里,可以把本次结果的最后一条的Id作为cursor再返回去:



所以返回的cursor值为23,以供下次读取。

 

Cursor-based翻页的优点是:

* 性能好。因为cursor字段通常都是索引列,查起来很快。
* 一致性。添加和删除数据并不影响返回的结果,翻页时同一笔数据也只会被返回一次。
Cursor-based翻页通常适用于大量和动态的数据集,但是它也有一些缺点:

* 无法跳转到指定的页。Cursor-based翻页只能一页一页遍历结果。
* 结果必须基于一个唯一并且顺序的字段。不可以让添加记录到任意位置。
* 实现起来比Offset-based复杂一点,尤其对客户端来说。
对于Cursor字段的选择:

* Id,顺序的主键。
* 时间戳。
* 加密字符串。它们看起来像随机字符串,但实际上通常是Cursor里加入了额外的信息。
总体来说Cursor-based翻页还是更适合于高吞吐的应用,这种情况下客户端通常需要扫描整个数据集。

 

翻页的最佳实践

* 设定每页的最大笔数限制。
* 针对大数据集,尽量不要使用Offset-based分页。
* 分页的默认排序,通常会把新的数据先返回,旧的数据往后翻。
* 没分页的API尽量去实现分页。
* 分页的时候,最好把下一页的链接一同返回,并鼓励客户端使用这个链接,参考HATEOAS。这样以后你改变翻页策略的时候,客户端不会爆掉。
* 不要在Cursor里加入敏感信息。

友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信