这次的 QCon 会议,《豆瓣网技术架构的发展历程》这个议题差不多是最受关注的。整个演讲听下来,我们会发现豆瓣在发展的过程中也是有点弯路,这些是一个网站发展过程中的宝贵财富,能把自己有周折的地方大大方方的拿出来,是难能可贵的事情。尽管豆瓣批露了很多架构细节出来,也不会(也不可能)有哪个公司一拿到这些东西,就能照猫画虎再做一个豆瓣并且超过豆瓣。从某种程度上来说这体现了豆瓣同学们的气度,这是令国内大多数公司汗颜的。很多公司只愿索取,而不愿奉献哪怕一点点出来,用这样封闭的心态对待技术其实是小家子气,守财奴的思维。技术只有为更多人所用才是大道。
议论说完,再来叙述。写点对豆瓣架构的体会。戏法人人会变,各有巧妙不同。有些东西大家都在用(Nginx),但是有人的用得好,有人用了比不用还差。所以,需要逐渐总结,改进。学习别人的架构设计,不是要照搬,而是借鉴其思想。
技术的选择
一直以来,豆瓣在技术上都给人很前卫的感觉,看起来好像什么新用什么,其实是不是的,他们一直是“用已掌握的技术解决问题”,现有的东西如果够用,那么就没必要一定迁移到新的上面去,而转换往往是为了解决当前问题。另外,换用新的东西,要有足够的驾驭能力,从演讲中得知,豆瓣曾有几次在临上线前发现基础库的Bug(比如 Libmemcached 的一致性哈希相关的Bug),技术团队能在第一时间有进行修复并且提交给开源社区。否则的话,就变成了一种错误决策了。
磁盘转速
小话题。如果可能,直接买 15000 转的磁盘好了。10000 转的磁盘可能省钱,但这东西部署了之后几乎就不太可能升级。所以,如果是初创公司,我的建议就是买高速磁盘,因为业务如果发展快了的话,先前对机器的定位也可能发生变化。
杜绝远程 I/O
在普通的 TCP/IP 网络的环境下,不要进行远程数据写入操作。跨网络操作的延时看似没什么大不了的,但一旦达到临界点就回天乏术。这个事情基本是不撞南墙不回头,有的技术人员总要亲身体验一把才肯罢休。
持续保持 URL 友好风格
演讲中有多次提到一致性 URL ,其实体现了豆瓣对 URL Rewrite 的重视,结构调整,或者应用程序变化的时候,URL 最好做到“用户友好”的。这算是“软技术”,但是应该加以最大的重视。
数据库复制延迟问题
对于 MySQL 复制的环境,如果Slave 上有读取操作,那么有些情况下可能因为 Master 和 Slave 节点数据不一致对用户造成困惑。如果从一致性的角度上考虑,其实也不复杂:,只需要对“知道数据发生了变化的用户”提供一致性就行了(基本上就是发起变更的用户),不知道数据发生变化的用户对数据的不一致有一定的“容忍程度”,当然说着简单,实现起来还是需要技巧和精巧的。
大量小文件同步问题:Merkle tree
关于大量小文件的同步问题,很多上了规模的网站都会遇到,如果设计得不好或者是比较偷懒,用传统的办法(比如 rsync 之类的老模式)很容易触发问题,也浪费资源。DoubanFS 是用 Merkle tree(Hash Tree)的方式进行数据同步的。对这个问题的具体描述可以参见《大量小文件的实时同步方案》。Merkle Tree 是个很精巧的思路,ZFS 在用(refer),Amazon Dynamo 系统也在用。
分享到:
相关推荐
里面是关于豆瓣网的技术架构的发展历程,若您对web2.0的网站构架很感兴趣,参考下这个是个不错的选择。
豆瓣网技术架构变迁:本文详细描述了,豆瓣网在经历用户增多的情况下架构变迁!
豆瓣网技术架构
洪强宁谈豆瓣网技术架构,整理出的word文档
豆瓣网技术架构及其演变过程 值得大家学习的
2:豆瓣网技术架构的发展历程.pdf 3:软件架构师应该知道的97件事.docx 4:系统架构设计师教程_第5章_软件架构设计.pdf 5:系统架构师的心得.doc 6:信息系统架构分析与中间件.pdf 7:异步数据同步组件.pdf
文档主要讲述了豆瓣网系统架构的演进过程,对于想了解互联网公司技术架构演进的过程有所帮助,推荐阅读
5月30日CTO俱乐部在北京举办的第99期主题活动的主讲嘉宾:洪强宁(豆瓣 首席架构师) 介绍豆瓣的技术架构和豆瓣自行开发的主要组件(如KV存储组件BeansDB,应用开发平台DAE,Python的Spark实现Dpark等)。...
豆瓣网数据存储方案-刘洪清 3800万用户, 540个城市 15万小组, 4451音乐人, 1246主办方 文本 430万条目(书,影,音), 300万评论 1000万小组话题, 1600万张照片, 70万首单 曲 每天70万条广播, 上传近10万张图片
仿地宝网分类信息,分类信息源码程序破解完整无错版,班班分类系统 JAVA上百实例源码以及开源项目 两例Eclipse不能启动Tomcat服务的处理过程 豆瓣学习 返回请求码的使用 覆写程序崩溃 ...学习豆瓣网的技术架构发展历程
精仿豆瓣网整站源码精仿豆瓣网整站源码精仿豆瓣网整站源码
各大公司架构,豆瓣网,facebook,淘宝,等等作为框架设计的依据。
豆瓣网技术架构, 讲述了豆瓣网的结构发展
豆瓣数据架构实践-员旭鹏豆瓣数据架构实践-员旭鹏豆瓣数据架构实践-员旭鹏豆瓣数据架构实践-员旭鹏
豆瓣架构师的讲稿,大体看了下,很好,里面有不少python的技巧,推荐下载看看。
架构演进:豆瓣架构演进.zip
豆瓣网PHP5版整站源码