二、TextFile 格式 1，基本介绍 （1）TextFile 是 Hive 的默认数据存储格式，基于行存储。 （2）TextFile 的主要特点是磁盘存储开销大，数据解析开销大。 磁盘存储开销大：因为存储的是原始文件内容，没有使用压缩，所以存储开销会比较大。 数据解析开销大......
为了高效存储和处理数据，Hive 支持多种数据存储格式。本文将介绍几种常见的 Hive 数据存储格式及其优缺点。通过合理选择存储格式，可以提高数据存储和查询的效率，满足不同的业务需求。 一、存储格式介绍 1，基本介绍 （1）常见的 Hive 数据存储格式主要如下......
1，问题描述 （1）最近打算开发一个 Spark 项目，为了将 Scala 框架添加到这个项目中，过去我只需在项目名称上右键菜单中点击“添加框架支持”（Add Framework Support…）即可。 （2）而新版的 IntelliJ IDEA（我这里使用的是 2023.2.6）右键菜单找不到“添加框架支持”......
在进行前端开发过程中，少不了要写一些 Mock 数据。而利用 Mock 插件，可以让我们开发时不用在代码中写死 Mock 数据。而要联调时，只需关闭插件中对应接口的 Mock 即可。下面将介绍这个插件的安装和使用。 1，插件介绍与安装 （1）“Mock:Intercept and directly return data”是一款......
在大数据处理的过程中，Hive 是一种常用的工具。然而，在处理大规模数据时，数据倾斜问题往往会导致查询性能下降，甚至查询失败。本文将介绍 Hive 数据倾斜的原因，并提供几种有效的解决方案。 一、数据倾斜原因分析 1，可能会触发 Hive 数据倾斜的情况......
1，问题描述 （1）最近发现当我使用本地模式通过 Hive 客户端执行类似如下的 Hive 查询时，任务执行正常： select max(id) from t1; （2）而如果通过 beeline 客户端执行，则会报如下错误，无法成功执行。 Error: Error while processing statement: FAILED: Execution Error......
要训练 AI 模型，我们除了直接可以在物理机上训练数据集外，也可在 Docker 容器中进行训练。并且由于 Docker 的可移植性，能让我们十分方便地进行安装部署、环境配置、备份还原等操作。本文分别通过 docker commit 和 Dockerfile 这两种方式演示如何制作一个 PyTorch + YOLOv5 + Jupyter 的算法镜像......
1，问题描述 （1）我们知道在建表时使用用 comment 关键字可以给字段，以及表本身增加注释： create table t5( age int comment '年龄' ) comment '测试'; （2）但创建后查看这个表的信息，可能会发现我们添加的中文注释都是乱码： 2，问题原因 （1）中文乱码的原因是因为 hive 数据库里面的表都是 latin1 编码......
一、日志依赖包冲突解决 1，问题描述 当我们每次进入 hive 命令行的时候都会出现下面这么一坨日志，十分影响体验： 2，解决办法 （1）通过红框内容可以看出，这是由于 hive 中的一个日志依赖包和 hadoop 中的日志依赖包冲突，所以需要删除一个......
在企业中，Hive 最常见的应用场景是离线数据统计分析。文件将通过样例演示如何进行离线数据统计。 八、案例实操：离线数据统计分析 1，需求说明 （1）使用 Flume 按天把直播 App 产生的日志数据采集到 HDFS 中的对应日期目录下，使用 Hive SQL 统计每天数据的相关指标......