优酷数据架构师:搭建Hadoop平台三步走

  • 时间:
  • 浏览:3

  Hadoop中国技术峰会2013是国内基于Hadoop平台的第一次全产业链的大数据行业技术峰会,大会将围绕Hadoop生态系统展开全方位的技术分享、专题讨论与成果展示。大会议题将涉及以下七大方面:Hadoop技术创新、Hadoop基础架构部署与优化、虚拟化与Hadoop、Hadoop在互联网领域的应用、Hadoop在非互联网行业的应用、Hadoop与企业现有IT架构的整合、大数据创业与投资。

  在此次大会即将召开之际,IT168记者有幸采访到了本次大会的组委会专家,优酷土豆集团数据平台架构师傅杰。其当事人专注于大数据基础平台架构及安全研究,并积累了充沛的平台运营经验,共同也擅长Hadoop平台性能调优及诊断各种MapReduce作业。

  新手怎么才能 才能 入门Hadoop?

  2.深入了解Hadoop原理,比如HDFS、MapReduce。并思考目前所在企业有哪些应用上能 用Hadoop处理;

  平台发展期:这种阶段主只要在集团内部内部结构进行推广,伴随着会遇到各种各样的需求,以及处理各种各样的大间题,修正相关流程,使平台进入有有有一一两个多稳定、高可用的水平;

  傅杰老师给出的建议是:

  4.搭建环境实战,比怎么才能 否 试着跑有有有一一两个多wordcount。

  3.阅读Hadoop相关书籍。据悉,目前傅杰老师翻译的《Hadoop实战手册》将在年底出版,这本书也很适合新手阅读;

  平台稳定期:这种阶段主只要从优化资源入手,内部内部结构培训调优作业,统计资源消耗合理性,构建自动化优化流程。

  Haoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168、ITPUB、ChinaUnix协办,渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题,旨在通过开放、广泛的分享和交流,着力于有益于中国企业用户提高应用Hadoop的能力和水平,降低Hadoop技术应用门槛和投资预算门槛,推广大数据的应用价值。

  作为本次Hadoop中国技术峰会的组委会专家, 傅杰老师在本次大会上讲分享的内容是,优酷土豆的实时计算生态,从日志挂接到实时转发、再从实时计算到具体业务,着重会谈到各个组件之间的媒体媒体合作,以及安全大间题的处理。“近两年Hadoop技术在各大互联网公司太久使用的比较深入,但每个企业的所有人 的侧重点又太久不一样,大会上能 说是组织了一次大交流会,让各行各业的Hadoop使用者聚在共同交流。”

  “现阶段大伙主要在调研Hadoop1.X 到Hadoop2.0的升级方案,预计明年初对Hadoop进行升级。今年大伙也搭建了基于Storm的实时计算平台、kafka消息系统,推广到集团的线上业务中,也逐步流程化的运营起来了。”傅杰老师介绍说。

  “按照这种顺序去执行,当完成有有有一一两个多具体业务场景的已经 ,你就会有一定的经验了。个新技术入门简单,太久有有有一一两个多工具的熟练技巧在于你是算是无缘无故 使用。对Hadoop也是一样,入门根据每当事人的背景不同太久只上能 1-2天,但真要融汇还是上能 实践。”

  据傅杰老师介绍,目前Hadoop在国内有很好的发展态势,各大企业对Hadoop的需求也比较旺盛,共同,应用Hadoop的行业也太久。但目前所处的大间题是,Hadoop的优秀技术人才比较短缺。那末 对于想踏入Hadoop领域的新手来说,应怎么才能 才能 入门呢?

  平台搭建期:这种阶段主要处理太久技术大间题,比如安全大间题、整体规划,以及制定相关流程;

作者:王晓东

原文链接:优酷数据架构师:搭建Hadoop平台三步走

  优酷土豆怎么才能 才能 打造Hadoop平台



点击进入Haoop中国技术峰会

文章讲的是

  更多精彩尽在2013年11月22~23日的Hadoop中国技术峰会(China Hadoop Summit 2013),北京永泰福朋喜来登酒店。

  目前傅杰老师主要负责优酷土豆集团大数据基础平台建设,以支撑集团太久业务团队的存储与计算需求,含有 Hadoop平台、日志挂接系统、实时计算系统、消息系统以及天机镜系统等。据了解,Hadoop平台在优酷的发展,主要有以下哪几块阶段:

  1.无缘无故 关注Hadoop官方网站;

来源:IT168