标签
#hadoop
10 篇文章
-
Druid 集群搭建的重要坑
Druid 集群搭建过程中遇到的问题总结。包括数据可视化页面加载失败、数据导入卡顿、服务无法访问、内存溢出等各类问题的排查和解决方案。
-
Druid 数据摄入笔记
Druid 数据摄入的官方文档整理。包括数据格式支持（JSON/CSV/TSV）、dataSchema 组件结构、DataSchema/ioConfig/tuningConfig 配置。
-
Druid 的发送数据和查询数据
关于向 Druid 导入和查询数据的整理笔记。通过 Hadoop 数据源导入 JSON 格式数据，配置 schema 和聚合指标，用 curl 命令展示数据发送和查询流程。
-
HDFS 的安装和部署
HDFS 集群部署完整步骤。包括环境准备、JDK 和 Hadoop 安装、SSH 信任配置、HDFS 配置文件编辑、格式化与启动流程。
-
Zookeeper 集群环境安装过程
Zookeeper 集群部署完整指南。包括下载解压、环境变量配置、zoo.cfg 配置、集群部署（奇数台机器）、分布式安装、启动与验证流程。
-
大数据生态技术体系概览：Hadoop、Hive、Spark 的关系与对标
大数据技术生态的全景解读。从存储（HDFS）、计算（MapReduce/Spark/Tez）、查询（Hive/Impala）、学习（Mahout）多角度讲解技术栈及演进路线。
-
基于 Spark 的文本情感分析
基于 Spark 构建的文本情感分析系统实现。从数据预处理、特征提取、模型训练到分类预测的完整流程，使用 Naïve Bayes 和 SVM 算法。
-
MongoDB + Spark: 完整的大数据解决方案
MongoDB 与 Spark 的完整大数据解决方案。包括 Spark 生态系统架构、MongoDB vs HDFS 对比、Spark-MongoDB 连接器、实时运价系统案例。
-
工厂任务错误的处理方法记录
在数据处理工厂中遇到的常见问题和解决方法记录，涉及空值过滤、粘贴操作陷阱、LEFT JOIN条件使用和任务重跑等问题。
-
hive查询任务出现no reduce operator错误解决办法
解决Hive在执行简单查询时出现"no reduce operator"错误，通过设置fetch任务转换参数来解决问题。