在多台 Linux 主机之间进行 SSH 免密登录除了可以提高工作效率，并简化管理任务外，一些技术组件的集群化部署也需要服务器之间能够免密登录，比如 Hadoop 主节点需要通过 SSH 远程登录从节点以启动从节点中的进程，所以需要配置主节点到所有从节点的免密码登录。下面我将通过样例演示该功能如何实现......
Amazon Elastic Compute Cloud（EC2）是 Amazon Web Services（AWS）提供的弹性计算服务，允许用户在云中运行虚拟服务器。默认情况下，AWS EC2 实例只允许通过 SSH 密钥进行身份验证，但有时候我们希望通过密码登录以方便管理。本文演示如何在 EC2 实例上开启 root 密码 SSH 登录......
为了洞察开发者及其技术的最新趋势，行业中领头的 Java IDE IntelliJ IDEA、Kotlin 编程语言背后的软件工具开发公司 JetBrains 在调研了来自全球 26,348 位开发者后，最新发布了《2023 开发者生态系统现状》。下面我们来看看这份报告里面有哪些内容吧......
十四、案例实操4：最近一小时广告点击量 1，需求说明 （1）实时统计各个广告最近一小时内各分钟的点击量，结果类似如下： 1 2 3 (1,List((17:02,137), (17:03,242),........ (18:02,36))) (2,List((17:02,146), (17:03,249),........ (18:02,27))) ......
十三、案例实操3：广告点击量实时统计 1，需求说明 （1）实时统计每天各地区各城市各广告的点击总流量，并将其存入 MySQL。 （2）该需求实现步骤如下： 单个批次内对数据进行按照天维度的聚合统计 结合 MySQL 数据跟当前批次数据更新原有的数据......
十二、案例实操2：广告黑名单 1，需求说明 （1）我们需要实现实时的动态黑名单机制，即将每天对某个广告点击超过 100 次的用户拉黑（黑名单保存到 MySQL 中） （2）该需求实现步骤如下： 读取 Kafka 数据之后，对 MySQL 中存储的黑名单数据做校验。 校验通过则对给用户点击广告次数累加......
十一、案例实操1：模拟生成广告点击数据 1，基本介绍 （1）在使用 Spark Streaming 进行实时数据处理之前，我们需要写编写一个实时数据生成器。该生成器会自动地不断生成广告点击数据并推送到 Kafka 中。每条记录的内容格式如下： 1 时间戳 地区名称......
十、优雅的关闭作业程序 1，基本介绍 （1）流式任务需要 7*24 小时执行，但是有时涉及到升级代码需要主动停止程序。如果需要优雅的关闭 Spark Streaming，则在程序中执行如下代码即可，其中 stop 方法参数说明如下： 第一个 true 意思是 Spark context 需要被停止......
在 Spark Streaming 中，我们常常需要将处理后的数据发送到各种不同的目的地，比如文件系统、数据库、消息队列等，用于展示、存储或进一步分析。本文将演示一些常见的 DStream 输出操作。 九、DStream 数据输出 1，基本介绍 输出操作指定了对流数据经转化操作得到的数据所要执行的操作......
前面的文章中，我介绍了 Spark Streaming 的有状态转换操作，如 updateStateByKey 和 mapWithState。本文将介绍滑动窗口转换操作。滑动窗口允许我们在一个可调整大小的时间窗口内对数据进行操作和分析，这在实时数据流处理中非常实用。 八、DStream 有状态转换操作3：滑动窗口转换操作......