目前最新的Spark 1.1.0版本中MLlib主要还是对核心算法的支持，辅助处理模块还很不完善。源代码包和其功能的对应关系如下：
| classification/clustering/regression/tree | 分类算法、回归算法、决策树、聚类算法 |
| optimization | 核心算法的优化方法实现 |
| stat | 基础统计 |
| feature | 预处理 |
| evaluation | 算法效果衡量 |
| linalg | 基础线性代数运算支持 |
| recommendation | 推荐算法 |
MLlib中的vector和线性代数运算
不知道大家有没有注意到一个问题，就是MLlib底层的矩阵运算使用了breeze库，breeze库提供了vector/matrix的实现 以及相应计算的接口（linalg）。但是在MLlib里面同时也提供了vector和linalg等的实现（目前只是对breeze做了一层包装）。在 所有的MLlib的函数里面的参数传递都是使用Mllib自己的vector，而且在函数内的矩阵计算又通过 toBreeze.toDenseVector变成breeze的形式进行运算。这样做的目的一是保持自己函数接口的稳定性，不会因为breeze的变化 而变化；另外一个就是可以把distributed matrix作为一种matrix的实现而被使用。
6，开发环境
Spark集群（standalone、yarn-client、yarn-cluster、单机调试环境）。
我主要使用Scala开发，IDE为Intellij IDEA，安装Scala插件。
开发一个project可以使用maven或者sbt编译，都可以通过IDEA创建相应的工程。 Maven编译的话和Java的maven工程没啥区别，主要是修改pom.xml文件；使用sbt编译的话，主要是修改build.sbt文件。
build.sbt的格式网上有很多资料了，简单说下需要注意的问题：
1) 必须每隔一行写新的内容；
2) libraryDependencies 后面%%和%的区别：artifactId后面带/不带版本号；
3) libraryDependencies 后面可以使用”provided”使其在assembly打包的时候不被打入包中。
开发一个基于Spark和MLlib的机器学习Job，主要依赖的两个libraryDependencies就是spark-core和spark-mllib。
其实使用Scala开发Spark程序最重要的一点就是要知道你写的代码中哪些是RDD的操作，哪些是在RDD内部的操作，哪些是 transform，哪些是actions，哪个地方会形成一个stage。这些搞清楚之后就明白了哪些code是在Driver上执行的，哪些是在 executor上并行执行的。另外就是哪些资源相关的参数，像executor-memory和num-executors等。