数据科学/数据工程热门工具

之前有小伙伴问到过，在如今的大数据时代，哪些工具是数据科学家，数据工程师或者数据分析师最常使用的热门工具呢？当公司招人的时候，想要在简历上看到哪些工具呢？这篇文章寿司就从自己的角度来介绍一下寿司认为的热门工具。以下介绍不分先后顺序：

Snowflake

Snowflake作为最近非常火的工具，出现在了越多越多公司招聘要求上。简而言之，Snowflake是基于云计算的数据云公司，是简化的数据仓库，可以储存并且计算数据。Snowflake的优点包括但不限于，可以共享数据架构，并且有高度可扩展性。作为数据打工人，不少人每天的日常都会使用Snowflake

Spark

Apache Spark也是如今非常火的开源大数据处理框架。平台拥有海量算力，可以同时完成处理任务和分发数据。 Spark 可以使用大多数主要编程语言，比如java，Python和R等，并通过其内存数据引擎快速处理。

PySpark

PySpark实际上就是Spark和Python的组合使用。作为 Apache Spark 的接口，PySpark 是一个库，它帮助使用 Python 编写代码的人使用 Apache Spark。处理引擎用于内存计算、优化、分布式处理等。网上现在有非常多关于如何快速学习并使用PySpark的介绍，寿司在这里就先不介绍了，如果感兴趣欢迎留言给我们再介绍。

Databricks

Databricks是Apache Spark的创立者创建的，是一个统一了数据工程和数据科学的平台。Databricks可以从各种数据格式或者数据库中读取data，并且可以在Notebook中编写Python/R/SQL等常用编程语言命令，并执行结果，此外还有比较好的可视化处理。寿司认为Databricks是一个非常强大的工具，并且可以帮助团队简化很多流程。

DataRobot

DataRobot算是最近新兴的一款自动机器学习工具，可以构建模型并且提出建议。它的优势包括可以快速构建机器学习模型，高预测准确率以及可以提供给用户不同选择以供比较。目前来说还是一个比较冷门的工具。

以上就是寿司总结的比较热门的数据工具，欢迎小伙伴们分享自己觉得很好用的工具！如果对以上提到的哪种工具感兴趣，也欢迎大家留言告诉我们，我们会更进一步的分享！