Spark和Python结合PySpark初学者指南

Apache Spark开发人员每年的平均年薪为110,000美元。毫无疑问，Spark在这个行业中已经被广泛使用。由于其丰富的库集，Python今天被大多数数据科学家和分析专家使用。

将Python与Spark集成是开源社区的主要礼物。 Spark是用Scala语言开发的，与Java非常相似。它将程序代码编译为用于Spark大数据处理的JVM的字节码。为了支持Spark和Python，Apache Spark社区发布了PySpark。在本文中，我们将讨论以下主题：

1、Apache Spark简介及其功能

2、为什么选择Python？

3、使用Python设置Spark（PySpark）

4、PySpark SparkContext和数据流

5、PySpark KDD用例

Apache Spark是Apache Software Foundation开发的用于实时处理的开源集群计算框架。 Spark提供了一个接口，用于编程具有隐式数据并行和容错功能的集群。

下面是Apache Spark的一些特性，它比其它的大数据框架的优势在于：

1、速度：比传统的大型数据处理框架快100倍。

2、强大的缓存：简单的编程层提供了强大的缓存和磁盘持久性功能。

3、部署：可以通过Mesos，通过Yarn的Hadoop或Spark自己的

这篇好文章是转载于：学新通技术网