python 数据分析 用到哪些工具

1. python 数据分析 用到哪些工具

未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。

2. 常用的数据分析工具有哪些？

1.QUEST
QUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点：
提供了专门在大型数据库上进行各种开采的功能：关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。
各种开采算法具有近似线性（O(n)）计算复杂度，可适用于任意大小的数据库。
算法具有找全性，即能将所有满足指定类型的模式全部寻找出来。
为各种发现功能设计了相应的并行算法。
2.MineSet
MineSet是由SGI公司和美国Standford大学联合开发的多任务数据挖掘系统。MineSet集成多种数据挖掘算法和可视化工具，帮助用户直观地、实时地发掘、理解大量数据背后的知识。MineSet有如下特点：
MineSet以先进的可视化显示方法闻名于世。
提供多种 萃诰蚰J健0 ǚ掷嗥鳌⒒毓槟J健⒐亓 嬖颉⒕劾喙椤⑴卸狭兄匾 取?br>
支持多种关系数据库。可以直接从Oracle、Informix、Sybase的表读取数据，也可以通过SQL命令执行查询。
多种数据转换功能。在进行挖掘前，MineSet可以去除不必要的数据项，统计、集合、分组数据，转换数据类型，构造表达式由已有数据项生成新的数据项，对数据采样等。
操作简单、支持国际字符、可以直接发布到Web。
3.DBMiner
DBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统，它的前身是DBLearn。该系统设计的目的是把关系数据库和数据开采集成在一起，以面向属性的多级概念为基础发现各种知识。DBMiner系统具有如下特色：
能完成多种知识的发现：泛化规则、特性规则、关联规则、分类规则、演化知识、偏离知识等。
综合了多种数据开采技术：面向属性的归纳、统计分析、逐级深化发现多级规则、元规则引导发现等方法。

3. python 数据分析 用什么软件

1.安装Jupyter notebook（或者安装pycharm直接下载安装皆可，linux和windows同样适用）
#如果是ubuntu16.04 默认已经安装了python2和python3
#需要另行安装pip，python2的pip安装
sudo apt-get python-pip

#如果安装python3的pip
sudo apt-get python3-pip
12345671234567
#安装开发工具Jupyter notebook
sudo pip3 install jupyter1212

注意，只能安装一个jupyter notebook，默认只能包含一个内核，如python3或者python2,请根据自己开发需求。 
特殊需求： 
需要python3和python2共存的，请看我另几篇文章。Windows下Python多版本共存

2.在线安装(windows/linux)主要的数据分析工具（轮子）

注意：Ubuntn中，默认的pip 是指python2的，pip3才是python3的，如果安装python3的轮子，请将pip替换成pip3，反之亦然。 
数据分析(为了避免依赖冲突，请按顺序安装)
sudo pip3 install numpy
sudo pip3 install pandas
#安装matplotlib需要先安装libpng和freetype
sudo apt-get install libpng-dev
#如果不知到需要下载工具的全称，可以用来查找需要工具的关键词sudo apt search freetype
sudo apt-get install libfreetype6-dev
sudo pip3 install matplotlib
sudo pip3 install scipy
#文本处理工具
sudo pip3 install gensim
#机器学习
sudo pip3 install scikit-learn123456789101112123456789101112

安装完成某个轮子之后，应该是这样的 


以此方法安装，随着知识领域的扩展和经验的增加，我们会发现更多更有趣的轮子。

查看已经安装的轮子
pip3 list11



3.离线安装(windows/linux)数据分析工具（轮子）

直接在上述网址下载对应的.whl(虽然本网址http://www.lfd.uci.edu/~gohlke/pythonlibs/只有win的= =，但是方法适合任何平台，离线包可以去官网下载，如https://pypi.python.org/pypi/scipy/) 
pip3 install 下载的本地路径/numpy-1.11.1+mkl-cp35-cp35m-win_amd64.whl 
pip3 install 下载的本地路径/numpy-1.11.1-cp27-cp27mu-manylinux1_x86_64.whl

4.主要的大数据分析轮子介绍

博主比较懒，已经存在的介绍就不赘述了，直接上送包下载地址，且该地址对包有了大意的介绍。

4. 好用的数据分析工具有哪些？

数据分析再怎么说也是一个专业的领域，没有数学、统计学、数据库这些知识的支撑，对于我们这些市场、业务的人员来说，难度真的不是一点点。从国外一线大牌到国内宣传造势强大的品牌，我基本试用了一个遍，总结一句话“人人都是数据分析师”这个坑实在太大，所有的数据分析工具无论宣传怎样，都有一定的学习成本，尤其是要深入业务实际。今天就我们用过的几款工具简单总结一下，与大家分享。
1、Tableau
这个号称敏捷BI的扛把子，魔力象限常年位于领导者象限，界面清爽、功能确实很强大，实至名归。将数据拖入相关区域，自动出图，图形展示丰富，交互性较好。图形自定义功能强大，各种图形参数配置、自定义设置可以灵活设置，具备较强的数据处理和计算能力，可视化分析、交互式分析体验良好。确实是一款功能强大、全面的数据可视化分析工具。新版本也集成了很多高级分析功能，分析更强大。但是基于图表、仪表板、故事报告的逻辑，完成一个复杂的业务汇报，大量的图表、仪表板组合很费事。给领导汇报的PPT需要先一个个截图，然后再放到PPT里面。作为一个数据分析工具是合格的，但是在企业级这种应用汇报中有点局限。

2、PowerBI
PowerBI是盖茨大佬推出的工具，我们也兴奋的开始试用，确实完全不同于Tableau的操作逻辑，更符合我们普通数据分析小白的需求，操作和Excel、PPT类似，功能模块划分清晰，上手真的超级快，图形丰富度和灵活性也是很不错。但是说实话，毕竟刚推出，系统BUG很多，可视化分析的功能也比较简单。虽然有很多复杂的数据处理功能，但是那是需要有对Excel函数深入理解应用的基础的，所以要支持复杂的业务分析还需要一定基础。不过版本更新倒是很快，可以等等新版本。

3、Qlik
和Tableau齐名的数据可视化分析工具，QlikView在业界也享有很高的声誉。不过Qlik Seanse产品系列才在大陆市场有比较大的推广和应用。真的是一股清流，界面简洁、流程清晰、操作简单，交互性较好，真的是一款简单易用的BI工具。但是不支持深度的数据分析，图形计算和深度计算功能缺失，不能满足复杂的业务分析需求。

最后将视线聚焦国内，目前搜索排名和市场宣传比较好的也很多，永洪BI、帆软BI、BDP等。不过经过个人感觉整体宣传大于实际。
4、永洪BI
永洪BI功能方面应该是相对比较完善的，也是拖拽出图，有点类似Tableau的逻辑，不过功能与Tableau相比还是差的不是一点半点，但是操作难度居然比Tableau还难。预定义的分析功能比较丰富，图表功能和灵活性较大，但是操作的友好性不足。宣传拥有高级分析的数据挖掘功能，后来发现就集成了开源的几个算法，功能非常简单。而操作过程中大量的弹出框、难以理解含义的配置项，真的让人很晕。一个简单的堆积柱图，就研究了好久，看帮助、看视频才搞定。哎，只感叹功能藏得太深，不想给人用啊。

5、帆软BI
再说号称FBI的帆软BI，帆软报表很多国人都很熟悉，功能确实很不错，但是BI工具就真的一般般了。只能简单出图，配合报表工具使用，能让页面更好看，但是比起其他的可视化分析、BI工具，功能还是比较简单，分析的能力不足，功能还是比较简单。帆软名气确实很大，号称行业第一，但是主要在报表层面，而数据可视化分析方面就比较欠缺了。

6、Tempo
另一款工具，全名叫“Tempo大数据分析平台”，宣传比较少，2017年Gartner报告发布后无意中看到的。是一款B/S架构的工具，申请试用很便捷，填写信息后就有咨询小姐姐开通使用账号并告知你一些使用注意事项，还有在线使用答疑人员服务很到位~
第一次试用也是一脸懵逼，不知道该点那！不过抱着试一试的心态稍微点了几下之后，操作居然越来越流畅。也是拖拽式操作，数据可视化效果比较丰富，支持很多便捷计算，能满足常用的业务分析。最最惊喜的是它还支持可视化报告导出PPT，PDF，PNG，彻底解决了分析结果输出汇报的问题。深入了解后，才发现他们的核心居然是“数据挖掘”，算法十分丰富，也是拖拽式操作，我一个文科的分析小白，居然跟着指导和说明做出了一个数据预测的挖掘流程，简直不要太惊喜，巨有成就感呢。掌握了Tempo的基本操作逻辑后，发现他的易用性真的很不错，功能完整性和丰富性也很好。不过就是宣传方面比较少，是个低调的平台呢。

经过多家产品的试用，个人感觉无论功能怎样的工具，都需要一定的学习成本，因为数据分析毕竟是一个专业的领域，每一个工具都有自己的设计逻辑和操作方式，只是有难有易罢了！在选择工具的时候，需要结合自己的实际业务需求出发，进行总结和对比。可以申请试用哦！

5. 在线数据分析工具有哪些？

数据分析工具（SpeedBI数据分析云）可以在线使用，也可以线下部署。
SpeedBI数据分析云不仅可无缝对接金蝶/用友等主流ERP，更针对不同行业的数据分析预设分析模型，同时针对财务复杂运算而自主开发行计算自定义功能，更灵活地满足运算复杂的财务分析需求。
而SpeedBI数据分析云制作的数据可视化分析报表，通过自定义式运用图像化分析图表、颜色线条等因素，可根据用户实际需求完成更直观易懂，也更具个性化的数据可视化分析报表。




最后，不得不提一句SpeedBI数据分析云拖拉拽式操作方式，不仅降低了新手掌握难度，避免企业因为员工变动而耽误数据分析，同时SpeedBI数据分析云的多维动态分析功能更为数据分析提供了更多观察可能性——在浏览状态下，自定义字段与维度组合，从而得到浏览者所需的数据观察分析角度。

6. 做数据分析里有哪些Python能做，而MATLAB不能做的

我个人会一些 Python 和 MATLAB，我主要使用 C++ 实现智能算法来进行数据分析。就我所知，这些语言都能胜任所有的数据分析任务，区别无非就是难易程度；你所需要的做的是尽可能的使用你已经最为熟练的语言，并且把精力专注于理论、算法和实际建模上。
是的，基本上什么语言都可以实现智能算法；智能算法本身只和相关理论、算法设计与实际建模有关，和具体语言无关。但是不同的语言，由于其提供的工具包不同，导致实现算法的难易程度有别。就我所知，MATLAB 和 Python 在数据分析这个领域提供的数据包几乎一样多，都很全。所以我建议你继续加强你自己熟悉的 MATLAB，有时间感兴趣的话，可以考虑尝试学习 Python。
如果你真的想从事人工智能、数据挖掘这个大领域，我建议你把精力从最基础的编程语言提高到对其基本原理、算法设计和实际建模上来。这样可能更有裨益。学会了这三样，哪怕用 C++ 这种类库少的可怜的语言，你都能很轻松的完成数据分析。反过来，假如你不熟悉这些，只会用工具包跑一个结果的话，你不仅对方法不甚理解，更可怕的是你可能并没有依据具体问题进行建模；这样的结果，只能是一种不太入门的水平。这是我的看法。
PS: 看了大家的答案，我觉得我的回答局限在数据分析核心算法这个层面上；如果需要完成一个从头到尾的数据分析系统，必然如
@路强
所说的，Python 会更胜一筹。但我还是要强调核心算法在完整的数据分析系统中也是重中之重这一点，所以我还是极力建议提高对方法本身的理解。

7. python数据分析的包 哪些

　IPython
　　
 
　　IPython 是一个在多种编程语言之间进行交互计算的命令行 shell，最开始是用 python 开发的，提供增强的内省，富媒体，扩展的 shell
语法，tab 补全，丰富的历史等功能。IPython 提供了如下特性：

　　更强的交互 shell(基于 Qt 的终端)

　　一个基于浏览器的记事本，支持代码，纯文本，数学公式，内置图表和其他富媒体

　　支持交互数据可视化和图形界面工具

　　灵活，可嵌入解释器加载到任意一个自有工程里

　　简单易用，用于并行计算的高性能工具

　　由数据分析总监，Galvanize 专家 Nir Kaldero 提供。

　　
 
　　GraphLab Greate 是一个 Python 库，由 C++ 引擎支持，可以快速构建大型高性能数据产品。

　　这有一些关于 GraphLab Greate 的特点：

　　可以在您的计算机上以交互的速度分析以 T 为计量单位的数据量。

　　在单一平台上可以分析表格数据、曲线、文字、图像。

　　最新的机器学习算法包括深度学习，进化树和 factorization machines 理论。

　　可以用 Hadoop Yarn 或者 EC2 聚类在你的笔记本或者分布系统上运行同样的代码。

　　借助于灵活的 API 函数专注于任务或者机器学习。

　　在云上用预测服务便捷地配置数据产品。

　　为探索和产品监测创建可视化的数据。

　　由 Galvanize 数据科学家 Benjamin Skrainka 提供。

　　Pandas

　　pandas 是一个开源的软件，它具有 BSD 的开源许可，为 Python
编程语言提供高性能，易用数据结构和数据分析工具。在数据改动和数据预处理方面，Python 早已名声显赫，但是在数据分析与建模方面，Python
是个短板。Pands 软件就填补了这个空白，能让你用 Python 方便地进行你所有数据的处理，而不用转而选择更主流的专业语言，例如 R 语言。

　　整合了劲爆的 IPyton 工具包和其他的库，它在 Python 中进行数据分析的开发环境在处理性能，速度，和兼容方面都性能卓越。Pands
不会执行重要的建模函数超出线性回归和面板回归;对于这些，参考 statsmodel 统计建模工具和 scikit-learn 库。为了把 Python
打造成顶级的统计建模分析环境，我们需要进一步努力，但是我们已经奋斗在这条路上了。

　　由 Galvanize 专家，数据科学家 Nir Kaldero 提供。

　　PuLP

　　线性编程是一种优化，其中一个对象函数被最大程度地限制了。PuLP 是一个用 Python
编写的线性编程模型。它能产生线性文件，能调用高度优化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，来求解这些线性问题。

　　由 Galvanize 数据科学家 Isaac Laughlin 提供

　　Matplotlib

　　
 
　　matplotlib 是基于 Python 的
2D(数据)绘图库，它产生(输出)出版级质量的图表，用于各种打印纸质的原件格式和跨平台的交互式环境。matplotlib 既可以用在 python 脚本，
python 和 ipython 的 shell 界面 (ala MATLAB? 或 Mathematica?)，web 应用服务器，和6类 GUI
工具箱。

　　matplotlib 尝试使容易事情变得更容易，使困难事情变为可能。你只需要少量几行代码，就可以生成图表，直方图，能量光谱(power
spectra)，柱状图，errorcharts，散点图(scatterplots)等，。

　　为简化数据绘图，pyplot 提供一个类 MATLAB 的接口界面，尤其是它与 IPython
共同使用时。对于高级用户，你可以完全定制包括线型，字体属性，坐标属性等，借助面向对象接口界面，或项 MATLAB 用户提供类似(MATLAB)的界面。

　　Galvanize 公司的首席科学官 Mike Tamir 供稿。

　　Scikit-Learn

　　
 
　　Scikit-Learn 是一个简单有效地数据挖掘和数据分析工具(库)。关于最值得一提的是，它人人可用，重复用于多种语境。它基于
NumPy，SciPy 和 mathplotlib 等构建。Scikit 采用开源的 BSD 授权协议，同时也可用于商业。Scikit-Learn
具备如下特性：

　　分类(Classification) – 识别鉴定一个对象属于哪一类别

　　回归(Regression) – 预测对象关联的连续值属性

　　聚类(Clustering) – 类似对象自动分组集合

　　降维(Dimensionality Reduction) – 减少需要考虑的随机变量数量

　　模型选择(Model Selection) –比较、验证和选择参数和模型

　　预处理(Preprocessing) – 特征提取和规范化

　　Galvanize 公司数据科学讲师，Isaac Laughlin提供

　　Spark

　　
 
　　Spark 由一个驱动程序构成，它运行用户的 main 函数并在聚类上执行多个并行操作。Spark
最吸引人的地方在于它提供的弹性分布数据集(RDD)，那是一个按照聚类的节点进行分区的元素的集合，它可以在并行计算中使用。RDDs 可以从一个 Hadoop
文件系统中的文件(或者其他的 Hadoop 支持的文件系统的文件)来创建，或者是驱动程序中其他的已经存在的标量数据集合，把它进行变换。用户也许想要 Spark
在内存中永久保存 RDD，来通过并行操作有效地对 RDD 进行复用。最终，RDDs 无法从节点中自动复原。

　　Spark 中第二个吸引人的地方在并行操作中变量的共享。默认情况下，当 Spark
在并行情况下运行一个函数作为一组不同节点上的任务时，它把每一个函数中用到的变量拷贝一份送到每一任务。有时，一个变量需要被许多任务和驱动程序共享。Spark
支持两种方式的共享变量：广播变量，它可以用来在所有的节点上缓存数据。另一种方式是累加器，这是一种只能用作执行加法的变量，例如在计数器中和加法运算中。

8. 常见的大数据分析工具有哪些？

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash