在进行前端开发过程中，少不了要写一些 Mock 数据。而利用 Mock 插件，可以让我们开发时不用在代码中写死 Mock 数据。而要联调时，只需关闭插件中对应接口的 Mock 即可。下面将介绍这个插件的安装和使用。 1，插件介绍与安装 （1）“Mock:Intercept and directly return data”是一款......
在大数据处理的过程中，Hive 是一种常用的工具。然而，在处理大规模数据时，数据倾斜问题往往会导致查询性能下降，甚至查询失败。本文将介绍 Hive 数据倾斜的原因，并提供几种有效的解决方案。 一、数据倾斜原因分析 1，可能会触发 Hive 数据倾斜的情况......
1，问题描述 （1）最近发现当我使用本地模式通过 Hive 客户端执行类似如下的 Hive 查询时，任务执行正常： select max(id) from t1; （2）而如果通过 beeline 客户端执行，则会报如下错误，无法成功执行。 Error: Error while processing statement: FAILED: Execution Error......
要训练 AI 模型，我们除了直接可以在物理机上训练数据集外，也可在 Docker 容器中进行训练。并且由于 Docker 的可移植性，能让我们十分方便地进行安装部署、环境配置、备份还原等操作。本文分别通过 docker commit 和 Dockerfile 这两种方式演示如何制作一个 PyTorch + YOLOv5 + Jupyter 的算法镜像......
1，问题描述 （1）我们知道在建表时使用用 comment 关键字可以给字段，以及表本身增加注释： create table t5( age int comment '年龄' ) comment '测试'; （2）但创建后查看这个表的信息，可能会发现我们添加的中文注释都是乱码： 2，问题原因 （1）中文乱码的原因是因为 hive 数据库里面的表都是 latin1 编码......
一、日志依赖包冲突解决 1，问题描述 当我们每次进入 hive 命令行的时候都会出现下面这么一坨日志，十分影响体验： 2，解决办法 （1）通过红框内容可以看出，这是由于 hive 中的一个日志依赖包和 hadoop 中的日志依赖包冲突，所以需要删除一个......
在企业中，Hive 最常见的应用场景是离线数据统计分析。文件将通过样例演示如何进行离线数据统计。 八、案例实操：离线数据统计分析 1，需求说明 （1）使用 Flume 按天把直播 App 产生的日志数据采集到 HDFS 中的对应日期目录下，使用 Hive SQL 统计每天数据的相关指标......
JetBrains 的 IntelliJ 系列产品，如 IntelliJ IDEA、PyCharm、DataGrip、CLion 等，以其强大的功能和优雅的设计受到了广大开发者的喜爱。本文以 IntelliJ IDEA 为例演示如何免费激活这些产品。 1，确定软件版本 （1）打开网站，选择状态为 Online 的网址，并点击进去......
在 MySQL 中，能实现排序功能的只有 ORDER BY 语句。在 Hive 中，除了 ORDER BY 外，还有 SORT BY、DISTRIBUTE BY 和 CLUSTER BY。它们区别如下： ORDER BY：全局排序 SORT BY：局都排序 DISTRIBUTE BY：只负责分区 CLUSTER BY：等于 DISTRIBUTE BY + SORT BY 下面我将通过样例详细介绍各个排序......
二、行传列 1，函数说明 行转列就是把多行数据转为一列数据。针对行转列这种需求主要需要使用到 CONCAT_WS()、COLLECT_SET() 、COLLECT_LIST() 函数： CONCAT_WS() 函数可以实现根据指定的分隔符拼接多个字段的值，最终转化为一个带有分隔符的字符串......