Skip to content

Instantly share code, notes, and snippets.

@zjhiphop
Created July 23, 2015 06:13
Show Gist options
  • Save zjhiphop/c4861a6f586e3fdb2379 to your computer and use it in GitHub Desktop.
Save zjhiphop/c4861a6f586e3fdb2379 to your computer and use it in GitHub Desktop.
分布式系统学习资料

##分布式系统(Distributed System)资料


#####希望转载的朋友,你可以不用联系我.但是一定要保留原文链接,因为这个项目还在继续也在不定期更新.希望看到文章的朋友能够学到更多.

介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解.

介绍:分布式编程实验室,他们发表的很多的paper,其中不仅仅是学术研究,还有一些工业界应用的论文.

介绍:麻省理工的分布式系统理论主页,作者南希·林奇在2002年证明了CAP理论,并且著《分布式算法》一书.

介绍:分布式系统搭建初期的一些建议

介绍:分布式计算原理课程

介绍:Google全球分布式数据介绍

介绍:Algolia的分布式搜索网络的体系架构介绍

介绍:构建高可用分布式Key-Value存储系统

介绍:Nanomsg和Bond的分布式搜索引擎

介绍:使用MongoDB和Mongothon进行分布式处理

介绍:分布式数据库中把ACID与BASE结合使用.

介绍:理解的Paxos的分布式系统

介绍:There is No Now Problems with simultaneity in distributed systems

介绍:伦敦大学学院分布式系统课程课件.

介绍:分布式系统电子书籍.

介绍:卡内基梅隆大学春季分布式课程主页

介绍: 电子书,分布式系统概念与设计(第五版)

介绍:这是一位台湾网友 ccshih 的文字,短短的篇幅介绍了分布式系统的若干要点。pdf

介绍:清华大学分布式系统课程主页,里面的schedule栏目有很多宝贵的资源

介绍:免费的在线分布式系统书籍

介绍:Quora上面的一篇关于学习分布式计算的资源.

介绍:这个是第一个全球意义上的分布式数据库,也是Google的作品。其中介绍了很多一致性方面的设计考虑,为了简单的逻辑设计,还采用了原子钟,同样在分布式系统方面具有很强的借鉴意义.

介绍:这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁,Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的,所以Chubby实际上是Google分布式事务的基础,具有非常高的参考价值。另外,著名的zookeeper就是基于Chubby的开源实现.

介绍:这篇论文是SOSP2007的Best Paper,阐述了一种构建分布式文件系统的范式方法,个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文.

介绍:Ebook:Data-Intensive Text Processing with MapReduce.

介绍:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System.

介绍:分布式查询入门.

介绍:分布式系统和api总结.

介绍:分布式系统阅读论文,此外还推荐github上面的一个论文列表The Distributed Reader

介绍:Replication, atomicity and order in distributed systems

介绍:MIT分布式系统课程主页,这次用Golang作为授课语言。

介绍:免费分布式系统电子书。

介绍:斯坦福开源的分布式文件系统。

介绍:Google论文:设计一个高可用的全球分布式存储系统。

介绍:对于分区数据库的分布式事务处理。

介绍:Distributed Systems Building Block: Flake Ids.

介绍:Google Code University课程,如何设计一个分布式系统。

介绍:KVM的分布式存储系统.

介绍:分布式系统课程列表,包括数据库、算法等.

介绍:分布式表格系统.

介绍:分布式系统的在线电子书.

介绍:分布式系统资料,此外还推荐Various articles about distributed systems.

介绍:Designs, Lessons and Advice from Building Large Distributed Systems.

介绍:Testing a distributed system can be trying even under the best of circumstances.

介绍: 基于普通服务器构建超大规模文件系统的典型案例,主要面向大文件和批处理系统, 设计简单而实用。 GFS是google的重要基础设施, 大数据的基石, 也是Hadoop HDFS的参考对象。 主要技术特点包括: 假设硬件故障是常态(容错能力强), 64MB大块, 单Master设计,Lease/链式复制, 支持追加写不支持随机写.

介绍:支持PB数据量级的多维非关系型大表, 在google内部应用广泛,大数据的奠基作品之一 , Hbase就是参考BigTable设计。 Bigtable的主要技术特点包括: 基于GFS实现数据高可靠, 使用非原地更新技术(LSM树)实现数据修改, 通过range分区并实现自动伸缩等.

介绍:面向log-based存储的强一致的主从复制协议, 具有较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题, 能加深对主从强一致复制的理解程度。 技术特点: 支持强一致主从复制协议, 允许多种存储实现, 分布式的故障检测/Lease/集群成员管理方法.

介绍:分布式存储论文:支持强一直的链式复制方法, 支持从多个副本读取数据,实现code.

介绍:Facebook分布式Blob存储,主要用于存储图片. 主要技术特色:小文件合并成大文件,小文件元数据放在内存因此读写只需一次IO.

介绍: 微软的分布式存储平台, 除了支持类S3对象存储,还支持表格、队列等数据模型. 主要技术特点:采用Stream/Partition两层设计(类似BigTable);写错(写满)就封存Extent,使得副本字节一致, 简化了选主和恢复操作; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中.

介绍:从工程实现角度说明了Paxo在chubby系统的应用, 是理解Paxo协议及其应用场景的必备论文。 主要技术特点: paxo协议, replicated log, multi-paxo.

介绍:Amazon设计的高可用的kv系统,主要技术特点:综和运用一致性哈希,vector clock,最终一致性构建一个高可用的kv系统, 可应用于amazon购物车场景.新内容来自分布式存储必读论文

介绍:分布式存储系统中的副本存储问题.

介绍:分布式存储系统架构.

介绍:开源分布式文件系统Chirp,对于想深入研究的开发者可以阅读文章的相关Papers.

介绍:经典论文分布式时钟顺序的实现原理.

介绍:面向软件错误构建可靠的分布式系统,中文笔记.

介绍:MapReduce:超大集群的简单数据处理.

介绍:麻省理工的分布式计算课程主页,里面的ppt和阅读列表很多干货.

介绍:分布式系统Styx的架构剖析.

介绍:Quora上面的一个问答:有哪些关于分布式计算学习的好资源.

介绍:下一代分布式k-v存储数据库.

介绍:分布式系统归根结底还是需要操作系统的知识,这是耶鲁大学的操作系统概念书籍首页,里面有提供了第8版的在线电子版和最新的学习操作系统指南,学习分布式最好先学习操作系统.

介绍:分布式系统Log剖析,非常的详细与精彩.中文版笔记.

介绍:分布式系统基础之操作系统学习指南.

介绍:分布式系统领域经典论文翻译集.

介绍:分布式系统性能维护.

@Bailing1992
Copy link

👍

@zjunothing
Copy link

mark

@yanbingwei86
Copy link

mark

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment