第三期美图互联网技术沙龙举行 聚焦“大数据架构与实践”

2016年11月26日，由美图主办的第3期美图互联网技术沙龙在厦门举行。本期沙龙以“大数据架构与实践”为主题，美图高级技术经理卢荣斌和腾讯开发工程师赵诗远作为嘉宾，向参与沙龙的150多位高端人才分享了在“大数据道路上”的实践经验和总结，并就大数据产品应用和数据平台建设等领域的专业问题进行交流。

美图：大数据平台架构演进与实践

大数据无疑是当下最火热的话题之一，从之前的概念化到现在的大规模应用，大数据时代已经悄然来临。每天有数千万的用户在使用美图产品产生海量的数据，目前美图已经积累了超过十亿用户数据量。而且随着美图的发展，基于数据的需求越来越多并持续快速膨胀，如何应用海量的用户数据为用户创造优质的产品体验，是美图技术专家不断在思考和实践的重点。

卢荣斌重点分享了美图的基础数据架构从0到1的演进过程，美图实现数据的收集、清洗与存储的方式，美图构建的应对快速增长的产品与运营数据需求的基础服务，以及美图在搭建数据平台过程中，如何解决遇到的挑战。

卢荣斌介绍，在数据整体用户量级比较小的时候，美图采用的是rsync和shell的方式来解决数据统计问题。这种方式能够快速满足用户需求，但缺点相对比较明显，如单点的存储容量和计算资源问题，以及不能满足实时性方面的需求。为了修正这些缺点，美图采用的其中一种方法是构建Agent采集器，尽量保证数据采集不侵入数据服务，并且构建了一套比较完善的维护Agent的方式，进行Agent的自动化更新。

随着数据量的不断发展和扩充，美图自身也形成了一套移动数据平台，来解决移动端基础数据需求，并且建立了一套统计开放平台，来满足美图各个移动端基于自身产品的独立的数据需求。

腾讯：基于用户画像数据的多维分析平台

腾讯在数据结构和数据应用也是走在行业的前沿。腾讯开发工程师赵诗远介绍，基于海量的用户群和用户行为数据，腾讯能够提取出大量的用户画像“标签”，再由分析、运营人员根据这些“标签”提取用户的特征数据来进行针对性的运营和分析工作。这个过程，要求数据平台能够提供支持海量维度组合下快速准确的查询能力。

赵诗远从架构和应用方面，分享腾讯了Glacier多维分析平台如何将海量的用户画像数据同日常分析报表结合，提供即时的多维分析查询功能。

打造华南区域技术交流平台

作为国内领先的互联网公司，美图每个季度定期邀请优质互联网公司的技术大咖莅临沙龙，围绕着最热门的技术话题进行交流和分享。美图此举，旨在带动厦门乃至华南地区的技术交流氛围，搭建高质量技术交流圈。腾讯、熊猫TV、网宿科技等知名互联网公司的技术专家都曾受邀参与沙龙。