这个要分好几块来讲,首先我要说明的是大数据项目也是要有很多依赖的模块的动态数据应用。每个模块的软件不一样,下面分别聊一下。
一、大数据处理
这个是所谓大数据项目中最先想到的模块动态数据应用。主要有spark,hadoop,es,kafka,hbase,hive等。
当然像是flume,sqoop也都很常用动态数据应用。
这些软件主要是为了解决海量数据处理的问题动态数据应用。软件很多,我只列几个经典的,具体可以自行吉印通。
二、机器学习相关
大部分大数据项目都和机器学习相关动态数据应用。因此会考虑到机器学习的一些软件,比如说sklearn,spark的ml,当然还有自己实现的代码。
三、web相关技术
大部分项目也都跑不了一个web的展示,因此web就很重要的,java的ssh,python的django都可以,这个看具体的项目组习惯了动态数据应用。
四、其它
还有一些很常用的东西,个人感觉不完全算是大数据特定使用范围动态数据应用。反正我在做大数据项目的时候也都用到了。
比如说数据存储:redis,mysql动态数据应用。
数据可视化:echart,d*js动态数据应用。
图数据库:neo*j动态数据应用。
再来说说大数据平台的软件或者工具:
1、 数据库,大数据平台类,星环,做Hadoop生态系列的大数据平台公司动态数据应用。Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。
2、 大数据存储硬件类,浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先动态数据应用。
*、 云计算,云端大数据类,阿*,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云动态数据应用。实力不差,符合阿*的气质,很有野心。
*、 数据应用方面这个有很多,比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等动态数据应用。
帆软是商业智能和数据分析平台提供商,从报表工具到商业智能,有十多年的数据应用的底子,在这个领域很成熟,目前处于快速成长期,但是很低调,是一家有技术有实力而且对客户很真诚的公司动态数据应用。