学无先后,达者为师

网站首页 编程语言 正文

Hive在内存不足以存储所有数据时,会使用外存,而Impala也是如此:错

作者:黄佳俊、 更新时间: 2022-02-04 编程语言

内存使用:
Hive: 在执行过程中如果内存放不下所有数据,则会使用外存,以保证Query能顺序执行完。每一轮MapReduce结束,中间结果也会写入HDFS中,同样由于MapReduce执行架构的特性,shuffle过程也会有写本地磁盘的操作。
Impala: 在遇到内存放不下数据时,当前版本0.1是直接返回错误,而不会利用外存,以后版本应该会进行改进。这使用得Impala目前处理Query会受到一定的限制,最好还是与Hive配合使用。Impala在多个阶段之间利用网络传输数据,在执行过程不会有写磁盘的操作(insert除外)。

原文链接:https://blog.csdn.net/weixin_48419914/article/details/122441532

栏目分类
最近更新