网站首页 > 博客文章 正文
Hadoop作为早期的大数据框架,主要处理了海量数据的存储、计算工作,使用MR计算模型稳定性、吞吐量较好,但由于中间环节需要落地,所以计算效率不高,而计算引擎Spark正是解决海量数据计算效率等问题的,采用了DAG计算模型加上优先基于内存处理所以速度较快,另外Spark作为整体技术栈还涉及到实时场景、图计算等其他技术方向。总之,目前大数据的基本使用是以Hadoop为基础应用进行了数据存储,采用其他计算引擎在集群中进行计算,它们相互配合形成整个的技术解决方案的重要部分。
你可以看看我下面写到介绍Spark的文章,详细说明了spark的优缺点.
Spark特点及缺点? - 拥抱大数据的回答 - 知乎 https://www.zhihu.com/question/26844217/answer/1183564018
对于语言的选择(是java还是python)
从事大数据开发,Python和Java都要学习,首先要学习Java语言,Java是大数据的基础编程语言,除此之外还有一门必须的语言---Scala,它是专门用于大数据Spark开发的.当到了大数据高级阶段在做一些与大数据分析,人工智能,机器学习相关的工作时才会用到Python,换句话说对于大数据Java,Scala是基础必须要学,而Python等学到大数据高级时再学也可以.
做大数据,如果细说的话需要用到好几种,java,sql,scala,python,但是主要使用的是java与scala.
hadoop生态圈框架使用的都是java语言,spark,flink等目前流行的运算框架使用的是scala语言,进行数据仓库建设管理或相关开发使用的是hql(跟sql的语法结构非常相似),进行高级的机器学习,人工智能方向研发可以使用python语言.
如果你要从头学习大数据,肯定要先学习java,因为hadoop生态圈建设是大数据开发的基础.
如果你想学习大数据开发,建议不要自学,我前面写了文章分析过为什么小白不建议自学,想快速进入开发行业,目前来看,捷径就是找个培训机构.
猜你喜欢
- 2024-09-29 Spark整合Ray思路漫谈(spark整合springboot)
- 2024-09-29 Flink:再爱我一次(再爱我我一次)
- 2024-09-29 Apache Flink会超越Apache Spark么?
- 2024-09-29 阿里一面:说一下Flink跟Spark Streaming的区别
- 2024-09-29 数据中台-大数据技术之一文说清如何选择Spark和Flink
- 2024-09-29 Spark Streaming VS Flink(streamingassets是什么意思)
- 2024-09-29 Flink与Spark集群架构对比(flink jar包和flink集群的关系)
- 2024-09-29 Spark VS Flink:功能比较记录(spark和flink哪个更好入门)
- 2024-09-29 面试被问Flink和Spark Streaming的区别,要怎么回答?
- 2024-09-29 聊聊批计算、流计算、Hadoop、Spark、Storm、Flink等等
你 发表评论:
欢迎- 366℃用AI Agent治理微服务的复杂性问题|QCon
- 358℃初次使用IntelliJ IDEA新建Maven项目
- 353℃手把手教程「JavaWeb」优雅的SpringMvc+Mybatis整合之路
- 351℃Maven技术方案最全手册(mavena)
- 348℃安利Touch Bar 专属应用,让闲置的Touch Bar活跃起来!
- 346℃InfoQ 2024 年趋势报告:架构篇(infoq+2024+年趋势报告:架构篇分析)
- 344℃IntelliJ IDEA 2018版本和2022版本创建 Maven 项目对比
- 342℃从头搭建 IntelliJ IDEA 环境(intellij idea建包)
- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)