Apache Hadoop - Download

好东西

一旦我完成了初始设置，它实际上就像魔术一样起作用。我将数据分割到三个本地虚拟机上（是的，我知道，不是云规模的，但这是我拥有的全部），Hadoop 处理分配就像什么都没有一样。它如何分解任务并跨节点协调？光滑的。我在五分钟内对 5GB 日志文件进行了简单的字数统计 - 我的旧脚本花了一个多小时。存储组件 (HDFS) 让一切井然有序，处理引擎 (MapReduce) 也没有抱怨过一次。老实说，看到它如何自动管理机器之间的通信让我感觉自己正在窥视大型科技的幕后。

不太好的

但是哇，学习曲线是真实的。文档很少，尤其是对于 Windows 用户而言。没有安装程序向导或引导设置 - 您只是收到配置文件并告诉您“祝你好运”。我花了两天时间来解决环境变量和端口冲突。不要让我开始调试失败；这些日志是神秘的，除非您以前见过它们。此外，它不是为交互式使用而构建的。如果您期待像 Jupyter 笔记本这样的开箱即用的东西，您会失望的。这不是一个用于休闲数据处理的工具——它适合那些想要在较低层次上了解分布式系统的人。

底线

如果您认真对待处理大型数据集并希望了解真正的大数据基础架构如何工作，那么 Apache Hadoop - Windows 版下载值得您头痛。它是免费的、经过验证的、并且可以扩展。但如果您只是想清理一些 CSV 或运行快速数据透视表，请跳过它。你最好做一些更简单的事情。这个适合那些喜欢卷起袖子从头开始构建东西的开发者。