1，小文件问题说明 （1）Hadoop 的 HDFS 和 MapReduce 都是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。 针对 HDFS 而言，每一个小文件在 namenode 中都会占用 150 字节的内存空间，最终会导致集群中虽然存储了很多个文件......
1，问题描述 （1）MapReduce 任务执行时，我们在控制台上是看不到任务中的日志信息的。因为我们相当于是通过一个客户端把任务提交到集群里面去执行了，所以日志是存在在集群里面的。 （2）如果要查看日志信息，先进入到 yarn 的 web 界面，访问 8088 端口，点击对应任务的 history 链接......
1，问题描述 （1）如果一个 mapreduce 任务处理的数据量比较大的话，这个任务会执行很长时间，可能几十分钟或者几个小时都有可能。假设一个场景，任务执行了一半时我们发现我们的代码写的有问题，需要修改代码重新提交执行。这个时候之前的任务就没有必要再执行了......
1，下载 B 站视频 （1）我们知道无论是 B 站的手机、平板客户端，还是 PC 客户端都有缓存功能，可以选择各种清晰度的视频下载到本地。 （2）但是视频下载下来的文件是加密后的 m4s 格式，而且视频和音频是分开的，我们直接使用普通的视频播放器会发现无法播放......
1，动态分区裁剪介绍 （1）当我们针对多个表进行 Join 的时候，动态分区裁剪功能会基于运行时（runtime）推断出来的信息，当 on 后面的查询条件满足一定要求后就会自动对表中的数据进行裁剪（过滤），减少 Join 时参与的数据量，进而提高效率......
自适应查询执行（Adaptive Query Execution），简称为 AQE。它是对 Spark 执行计划的优化，它可以基于任务运行时统计的数据指标动态修改 Spark 的执行计划。我在前面的文展中介绍了自适应调整 Shuffle 分区数量、动态调整 Join 策略这两个功能点，本文接着介绍其中的最后一个动态优化倾斜的 Join......
自适应查询执行（Adaptive Query Execution），简称为 AQE。它是对 Spark 执行计划的优化，它可以基于任务运行时统计的数据指标动态修改 Spark 的执行计划。自适应查询执行主要带来了下面这 3 点优化功能： 自适应调整 Shuffle 分区数量。 动态调整 Join 策略。 动态优化倾斜的 Join。 本文接着介绍其中的第二个动态调整 Join 策略......
八月头条：Python 正在追赶 Java 的记录 本月，Python 的排名首次超过 18%。上一次有语言超过 18% 还是 2016 年 11 月的 Java。Java 也是有史以来排名最高的语言：2001 年 6 月达到了 26.49%。排名第二的 C++ 目前落后 Python 正好是 8%，而第一名和第二名之间的差距......
自适应查询执行（Adaptive Query Execution），简称为 AQE。它是对 Spark 执行计划的优化，它可以基于任务运行时统计的数据指标动态修改 Spark 的执行计划。自适应查询执行主要带来了下面这 3 点优化功能： 自适应调整 Shuffle 分区数量。 动态调整 Join 策略......
1，HuggingChat 介绍 （1）HuggingChat 是国外知名机器学习社区 Huggingface 发布的开源 AI 聊天机器人，完全免费。 （2）HuggingChat 这款机器人类似于 ChatGPT，用户可以请求自然语言或以特定格式生成文本。HuggingChat 响应速度快，性能与 GPT-3.5-turbo 大致相当......