Tianhui Michael Li 和 Ariel M’ndange-Pfupfu 将在今年 10 月 10、12 和 14 号组织一个在线经验分享课程：Spark 分布式计算入…
Spark SQL 是 Spark 生态系统中处理结构化格式数据的模块。它在内部使用 Spark Core API 进行处理，但对用户的使用进行了抽象。这篇文章深入浅出地告诉你 S…
我们的业务场景与出行息息相关，由于业务早期采用的数仓方案存在时延高、效率低等问题，我们开始寻找新的数仓解决方案。本文介绍我们的方案选型与实践经验总结，希望能给你带来参考价值。旧方案…
最近需要实现一段 Spark SQL 逻辑，对数据集进行抽样指定的行数。由于数据集较大，刚开始的逻辑是，取窗口函数随机排序后 row_number 的前 n 行。但运行速度较慢，所…
问题：如何使用 java 大数据处理框架进行日志分析？解决方案：使用 hadoop：读取日志文件到 hdfs使用 mapreduce 分析日志使用 hive 查询日志使用 spar…
apache spark 和 hadoop 在数据处理方法上存在差异：hadoop：分布式文件系统，批处理，使用 mapreduce 计算。spark：统一数据处理引擎，实时处理和…
java 大数据处理框架在实际应用中的案例研究包含以下两点：apache spark 用于实时流式数据处理，可检测并预测设备故障。hadoop mapreduce 用于批量数据处理…
spark streaming 和 flink 都是流处理框架，具有不同的特性：编程模型：spark streaming 基于 spark rdd 模型，而 flink 拥有自己的…
摘要：本文整理自字节跳动基础架构工程师魏中佳在本次 CommunityOverCode Asia 2023 中的《字节跳动 MapReduce - Spark 平滑迁移实践》主题演…
作者：米哈游大数据开发 近年来，容器、微服务、Kubernetes 等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将 AI、大数据等类型的企业应用部署运行在云…
哈喽大家好，我是了不起。PySpark是一个非常复杂的系统，我们初次接触就会感觉有很多的名词或者简称，今天就带大家看一下常见的类库和名词的解释，也是方便大家统一收藏，方便后续查找，…
背景 Spark 是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万，每天的 Shuffle 读…
在Linux系统中实现容器化的大规模数据分析平台，我们可以利用Hadoop和Spark这两个强大的开源工具。Hadoop是一个分布式计算框架，适用于处理大规模数据集。它提供了分布式…
这张图解释了 Apache Spark DataFrame 写入 API 的流程。它始于对写入数据的 API 调用，支持的格式包括 CSV、JSON 或 Parquet。流程根据选…
pyspark除了官方的文档，网上的教程资料一直很少，但基于调度平台下，使用pyspark编写代码非常高效，程序本身是提交到spark集群中，性能上也是毫无问题的，在本文中，我们将…
摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型…
Apache Spark是一个流行的大数据处理框架，它能够轻松地处理多种数据源的数据。在本文中，我们将学习如何使用Spark来分析MySQL数据库中的数据。首先，您需要将Spark…
准备Spark 下载Spark 💡这里以Spark 3.3.3为例。 前往Apache Spark官网下载spark-3.3.3-bin-hadoop3.tgz。 解压Spark …
准备Spark 下载Spark 💡这里以Spark 3.3.3为例。 前往Apache Spark官网下载spark-3.3.3-bin-hadoop3.tgz。 解压Spark …
在Spark日常工作中，Shell脚本可以大大提高工作效率，简化常见任务的执行。本文将介绍Shell脚本在Spark日常工作中的应用，包括查看YARN作业日志、执行Spark任务日…