您现在的位置:首页 > >

大数据处理技术

发布时间:

1.大数据

    容量(volume)速度(velocity)数据多样性(variety of Big Data)

2.大数据的解决方法
充足的储存能力?虚拟化存储高速度的计算*台?多核处理器,网络计算机,内存内计算高新能的运算*台 ?容错系统处理各种数据的能力 ?分布式计算及时定制化信息传递 ?移动设备,可视化范例,实时报警

关键技术:分布式与并行计算,Hadoop。
虚拟化:分区,隔离,封装


3.云计算
    IaaS?将硬件,存储和网络作为服务提供?eg:虚拟机,负*胶馄鳎绺郊哟娲aaS?编写,运行程序?eg:Windows Azure 谷歌应用程序引擎(GAE)SaaS?IaaS,PaaS必须先运行起来,方能用。

4.并行计算技术
    集群和网格大规模并行处理(MPP)?eg:EMC Greenplum, ParAccel高性能计算(HPC)

5.Spark

官方Spark: http://spark.apache.org/
入门简介:http://blog.jobbole.com/89446/


    实现语言?Scala整合了内存计算的基元SparkSQL?支持通过SQL或者Hive查询语言来查询数据Streaming?支持对流数据的实时处理MLlib?机器学*库Graphx?图处理


热文推荐
猜你喜欢
友情链接: 大学学习资料 人文社科 经营营销资料 工程资料大全 IT文档 自然科学