近年来，大数据越来越火热，不论是如今新兴的Facebook, Google, Uber, Amazon, Airbnb 等互联网公司，还是 Microsoft, Cisco, IBM 等传统的老牌技术公司，甚至是咨询公司、投行、传统实业企业等，对大数据专业人才的需求都在不断增长中。

想要从事大数据领域工作，在简历中有一些必不可少的关键词，包括：Hadoop, MapReduce, Distributed System, Spark 等。目前，市场上对一枚 Hadoop 工程师的标价至少在年薪 115k 以上。

Hadoop是一个对海量数据进行处理的分布式系统架构。Hadoop的框架最核心的设计就是：HDFS 和 MapReduce。

HDFS为海量的数据提供了存储，而 MapReduce为海量的数据提供了计算。

而关于Spark, 如果说 Hadoop 是一个工具箱，那么Spark就只是一种工具，所以，只要你学会了Hadoop，Spark的上手也是非常快的!

运用 Hadoop 可以做一些什么实战项目呢?

首先，我们可以基于 Haoop 框架，运用面试算法中常用的 top k 算法，来进行热门话题的筛选，比如，“微博今日热门话题” “今日头条” 等。

难度再升级一点，我们也可以运用 Hadoop 框架，结合更多的数据，例如用户自身的搜索和浏览习惯数据，来做一个推荐系统： Netflix Recommender System。