BigTable

条目

历史版本

BigTable是Google设计的分布式数据存储系统，用于处理大量的非结构化数据。它是一种高效、高可扩展的数据库，基于Google档案系统（GFS），适用于云端计算。BigTable不是传统的关系型数据库，不支持JOIN等SQL语法，而是更像今日的NoSQL的Table-oriented，优势在于扩展性和性能。BigTable的表格数据结构包括row key、col key和timestamp，其中row key用于存储倒转的URL。BigTable使用大量的表，表之下还有表格（Tablets），每个Tablets大约有100-200MB，每台机器有100个左右的Tablets。BigTable的表格是不可修改的SSTables，必须进行压缩，分为表的压缩或系统的压缩。客户端有一个指向META0的Tablets的指标，META0 tablets保存所有META1的tablets的数据记录。

简介

BigTable是非关系的数据库，是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。Bigtable已经实现了下面的几个目标：适用性广泛、可扩展、高性能和高可用性。Bigtable已经在超过60个Google的产品和项目上得到了应用，包括 Google Analytics、GoogleFinance、Orkut、Personalized Search、Writely和GoogleEarth。这些产品对Bigtable提出了迥异的需求，有的需要高吞吐量的批处理，有的则需要及时响应，快速返回数据给最终用户。它们使用的Bigtable集群的配置也有很大的差异，有的集群只有几台服务器，而有的则需要上千台服务器、存储几百TB的数据。

功能

在很多方面，Bigtable和数据库很类似：它使用了很多数据库的实现策略。并行数据库【14】和内存数据库【13】已经具备可扩展性和高性能，但是Bigtable提供了一个和这些系统完全不同的接口。Bigtable不支持完整的关系数据模型；与之相反，Bigtable为客户提供了简单的数据模型，利用这个模型，客户可以动态控制数据的分布和格式（alex注：也就是对BigTable而言，数据是没有格式的，用数据库领域的术语说，就是数据没有Schema，用户自己去定义Schema），用户也可以自己推测(alex注：reasonabout)底层存储数据的位置相关性(alex注：位置相关性可以这样理解，比如树状结构，具有相同前缀的数据的存放位置接近。在读取的时候，可以把这些数据一次读取出来)。数据的下标是行和列的名字，名字可以是任意的字符串。Bigtable将存储的数据都视为字符串，但是Bigtable本身不去解析这些字符串，客户程序通常会在把各种结构化或者半结构化的数据串行化到这些字符串里。通过仔细选择数据的模式，客户可以控制数据的位置相关性。最后，可以通过BigTable的模式参数来控制数据是存放在内存中、还是硬盘上。