二、Rate 输入源 1，基本介绍 Rate 是一个虚拟数据源，该输入源以固定的速率生成固定格式的数据，通常用来测试 Structured Streaming 的性能。 2，使用样例 （1）下面样例我们从虚拟数据源"rate"读取数据......
一月头条：C# 成为 2023 年的年度编程语言 这是 C# 在 TIOBE 指数历史上首次荣获年度编程语言奖。恭喜！C# 在排行榜中稳居前 10 名已经长达 20 多年了，如今它正在迎头赶上四大主流语言，成为一年内涨幅最大的语言（+1.43%），当之无愧地获得了这个奖项。涨幅排名第二的是......
一、基本概念介绍 1，什么是 Structured Streaming （1）Structured Streaming 是 Spark 从 2.0 开始引入的一套新的流式计算模型。该组件进一步降低了处理数据的延迟时间，它实现了“有且仅有一次（Exectly Once）” 语义，可以保证数据被精准消费。 默认情况下，在内部 Structured Streaming 查询使用微批处理引擎......
在多台 Linux 主机之间进行 SSH 免密登录除了可以提高工作效率，并简化管理任务外，一些技术组件的集群化部署也需要服务器之间能够免密登录，比如 Hadoop 主节点需要通过 SSH 远程登录从节点以启动从节点中的进程，所以需要配置主节点到所有从节点的免密码登录。下面我将通过样例演示该功能如何实现......
Amazon Elastic Compute Cloud（EC2）是 Amazon Web Services（AWS）提供的弹性计算服务，允许用户在云中运行虚拟服务器。默认情况下，AWS EC2 实例只允许通过 SSH 密钥进行身份验证，但有时候我们希望通过密码登录以方便管理。本文演示如何在 EC2 实例上开启 root 密码 SSH 登录......
为了洞察开发者及其技术的最新趋势，行业中领头的 Java IDE IntelliJ IDEA、Kotlin 编程语言背后的软件工具开发公司 JetBrains 在调研了来自全球 26,348 位开发者后，最新发布了《2023 开发者生态系统现状》。下面我们来看看这份报告里面有哪些内容吧......
十四、案例实操4：最近一小时广告点击量 1，需求说明 （1）实时统计各个广告最近一小时内各分钟的点击量，结果类似如下： 1 2 3 (1,List((17:02,137), (17:03,242),........ (18:02,36))) (2,List((17:02,146), (17:03,249),........ (18:02,27))) ......
十三、案例实操3：广告点击量实时统计 1，需求说明 （1）实时统计每天各地区各城市各广告的点击总流量，并将其存入 MySQL。 （2）该需求实现步骤如下： 单个批次内对数据进行按照天维度的聚合统计 结合 MySQL 数据跟当前批次数据更新原有的数据......
十二、案例实操2：广告黑名单 1，需求说明 （1）我们需要实现实时的动态黑名单机制，即将每天对某个广告点击超过 100 次的用户拉黑（黑名单保存到 MySQL 中） （2）该需求实现步骤如下： 读取 Kafka 数据之后，对 MySQL 中存储的黑名单数据做校验。 校验通过则对给用户点击广告次数累加......
十一、案例实操1：模拟生成广告点击数据 1，基本介绍 （1）在使用 Spark Streaming 进行实时数据处理之前，我们需要写编写一个实时数据生成器。该生成器会自动地不断生成广告点击数据并推送到 Kafka 中。每条记录的内容格式如下： 1 时间戳 地区名称......