首页 产品 运营 查看内容

腾讯大讲堂走进北航活动小结

2014-7-28 23:09| 发布者: tianzc| 查看: 366| 评论: 0

摘要:   早年业界一直盛传腾讯内部的大讲堂课程含金量极高,在今年腾讯开放大战略下,这有口皆碑的内部高端分享课程终于走出深圳,走向业界。腾讯大讲堂首站来到北京航空航天大学,首次活动现场极为火爆,超过700人到场 ...
  早年业界一直盛传腾讯内部的大讲堂课程含金量极高,在今年腾讯开放大战略下,这有口皆碑的内部高端分享课程终于走出深圳,走向业界。腾讯大讲堂首站来到北京航空航天大学,首次活动现场极为火爆,超过700人到场旁听,把整个会场挤得水泄不通。
  本次活动由CSDN、《程序员》和腾讯共同举办,暨TUP第十六期:智慧腾讯,梦想互联——1亿在线背后的技术挑战,邀请到了腾讯即通平台部高级技术总监、T4级技术专家、腾讯软件开发通道分会会长庄泗华,下面为讲座内容整理回顾,让我们一起提高、学习。


庄泗华 腾讯即通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长。中科院计算技术研究所硕士,2004年毕业加入腾讯,是腾讯培养出的第一位T4专家级毕业生。一直致力于QQ IM后台海量服务系统的研发和运营工作。负责过QQ群聊系统、QQ接入与基础通信服务系统等后台系统的研发和运营,见证了QQ在线从800万到1.4亿的整个过程。


苛刻的数字考验,近乎百分百的要求
  众所周知,海量互联网服务能力是世界公认的技术难题。经过十多年的发展,腾讯在海量互联网服务方面已有不少技术积累。演讲以QQ IM后台服务为例,重现了QQ在线用户从百万级到亿级的整个过程中遇到的技术挑战,分享众多在海量互联网后台服务研发运营方面不为人知的秘密。QQ现在面临7亿活动账户,每日1.4亿用户同时在线。QQ过万台IM服务器和百亿级的关系链对数每天接受千亿级的服务请求考验。在这些苛刻的数字面前,腾讯要保证99.99%这一极高的可用性。从10万到1.4亿,整个过程经历过很多波折,吸取了很多教训,因此腾讯对海量服务的理解是长期积累的结果。
从十万级到百万级在线,第一代架构难支持
  QQ在最早期1.0时代,由于用户量较少,十万级在线,并且业务功能非常简单,例如登陆、添加好友、在线状态获取等,因此架构非常简单,由QQ客户端+接入服务器+存储服务器组成。随后随着业务的拓展,需要支持支持视频、语音、传文件等实时宽带业务,以及更多类型的用户资料,我们增加了长连接服务器,为无法直连的客户端进行实时宽带数据中转,还对存储服务器进行轻重分离,使核心服务器保证稳定,利用扩展服务器快速支持新增业务,这就是之后的1.5版本。但是我们发现无论是1.0还是1.5,我们发现都难以支撑百万级别在线。因为一百万的时候,各方面都会遇到很大的瓶颈。以接入服务器的内存为例,单个在线用户的存储量约为2KB,索引和在线状态50字节,好友表400个好友* 5字节/好友=2000字节,这样算来2G内存只能支持一百万在线用户,因此第一代架构肯定没有办法继续下去,我们必须要升级。
  2.0的主要改进在于单台服务器扩展成集群,增加状态同步服务器。在接入服务器之间同步在线状态,如下图所示。


  这次升级帮助QQ在2001年顺利突破100万在线用户数。随后为了支持QQ群,又将2.0升级到2.5,增加了QQ群服务器和群贴图服务器。
  在从十万到百万的过程中,有两个重要的经验,一是后台架构的高性能,主要通过六个方面实现:绝对不用企业级解决方案,逻辑层多进程,万有一失的无锁设计,用户态IPC,MySQL分库分表,好友表自写文件存储。二是7乘24小时连续服务,主要通过以下方法实现的:大系统小做,平滑重构,核心数据放入共享内存,接入层与逻辑层分离,命令分发动态配置化。
千万级在线的考验,第二代架构难维系
  2005年QQ同时在线迅速增长到千万级,于是之前的架构再次面临挑战,突出的问题主要体现在,同步流量太大,状态同步服务器遇到单机瓶颈;所有在线用户的在线状态信息量太大,单台接入服务器存不下;单台状态同步服务器支撑不下所有在线用户;单台接入服务器支撑不下所有在线用户的在线状态信息。没有办法,只得进行再次升级,3.0时代到来。
  3.0改造的主要特点是全面的集群化,如下图所示。


  但是事情并非我们想象的那样顺利,很快新问题产生了。
  问题一:后台机器越来越多,单机死机/故障经常出现,IDC故障也不少,影响服务,也影响人员生活。经过分析我们决定加速容灾改造,存储集群建立半自动切换模式,业务集群、接入集群、同步集群建立自动切换模式,后台分布在两套IDC,并有指挥中心设备健康状态。
  问题二:每周有新代码发布,BUG不断出现,严重影响服务。这个问题我们采用Code Review和灰度发布的方法,得到有效的解决。
  问题三:监控机制原始、报警设置不全,出事了都不知道。这个促使我们完善监控和报警机制。
  问题四:运维操作通过vim或者mysql进行,非常容易失误。我们通过运维操作Web化(半自动化)、自动化有效的解决了这个问题,并服务可用性终于提升到了行业先进水平。
  通过解决以上问题,我们得到了3.5架构,如下图所示。


  这一阶段,我们得到如下经验,架构必须对外提供高可用性的服务,对内提供高可运维性的系统。同时利用灰度发布,运营监控,容灾,运维自动化/半自动化等方法解决架构问题。
亿级在线的飞跃,新时代伴随着新烦恼


IM亿级在线存储系统架构


  随着在线亿时代的到来,新的问题和烦恼也随之出现。首先是灵活性问题,比如说QQ昵称长度增加一半需要两个月,增加故乡字段需要两个月,增加最大好友数从500变成1000需要三个月。其次,亿时代还需要具备一些重要的能力,比如原来有上万的好友;对隐私权的控制;PC QQ与手机QQ别互踢;异地容灾,即一个城市出问题的时候,别的城市也能提供服务等等。但亿时代带来的最大的挑战是,原先IM后台从1.0到3.5都是在原有的基础上改造升级,IM后台1.0的代码在3.5的下面都能找到,但是这种持续打补丁的方式已难以支撑上亿级的用户。所以除了底层的公共部分之外,IM后台4.0必须从零开始,重新设计实现。
  IM后台4.0存储系统历时三年完成,支持千万级的好友在线,加强了隐私权限控置,可以灵活扩展字段,原来扩展一个字段需要两三个月,现在只需要一周,同时还具备高可运维性,高性能。
  IM后台4.0通信系统历时两年多,架构比原来的复杂很多,希望再过一年可以完成。到目前为止,已取得了一些成果:首先是多点登陆,可以管理不同的登陆终端;支持5至10亿个实例同时在线;方便接入微信等多种业务;实现区域自治。
  在亿级在线时代,需要的关键技术首先是提供高灵活性的业务支持,传统IT行业可能半年到两年出一个新版本,而互联网行业每个月就需要出一个新版本。同时还要保持高性能,高可用性,高可运维性。展望腾讯IM服务的未来之路,全球化分布、高效的研发、监控报警的智能化成为未来发展的战略。
“四高”准则,QQIM后台技术演化启示
  在QQIM后台技术演化过程中,每一个级别要求的技术不一样,如十万级和百万级在线要求高性能、7*24小时连续服务;千万级要求高可用性和高可运维性。而到了亿级在线,就要求高性能、高可用性、高可运维性和高灵活性“四高”准则,每提升一个量级,相应的四个高都会有相应的要求,而且技术难度也会提升一个量级。
  团队经历了从1.4万到千亿级飞跃的过程,免不了很多教训,正是因为有了这些技术积累,才换来今天这么大的规模。互联网行业与传统IT行业不一样,有自己的技术规律,需要做自己的技术积累。
不仅IM业务,腾讯公司在很多不同业务上都走过一些弯路,积累了相应的经验,边重构边生活、大系统做小、先扛住再优化、干干净净......这些正是在不断的试错和总结中得出的理念和价值观,是在技术演化的过程中得出的启示。
小结
  虽然这是腾讯大讲堂第一次走出去,但是参会人数超过六百人,会场爆满,场面热烈。“内容全面”、“干货多”是本次分享的一大特色,观众积极踊跃地提问互动,线上线下持续的交流和讨论,都给活动组织者增加了信心和经验。
  北航之行虽然结束,但是腾讯大讲堂走出去之路才刚刚开始,我们将会邀请更多公司的专家和媒体、高校合作者,共同参与到腾讯大讲堂分享的行列中。
  下载本次活动PPT


鲜花

握手

雷人

路过

鸡蛋

扫一扫关注最新动态

毒镜头:老镜头、摄影器材资料库、老镜头样片、摄影
爱评测 aipingce.com  
返回顶部