nosql知识点

传统数据库（SQL）：像 Excel 表格。数据必须整整齐齐地放进预设好的列里（比如姓名、年龄、性别），规矩很严。

NoSQL 数据库：像 收纳盒或者文件夹。你可以随意往里扔各种东西（一段文字、一张照片、一个合同），每个东西贴个标签就行，非常灵活。

它的出现，主要是为了搞定现在互联网上海量、杂乱、访问速度要求极高的数据。

特点：拿取速度极快（知道标签名，一拿一个准），但只能通过标签找，不知道里面具体是啥。

例子：用户会话ID: {用户信息JSON}， 商品ID: 库存数量。

代表：Redis（它像一个带分类格的速度超快的标签盒）。
一种专门用于缓存数据库查询结果、减少数据库访问次数的高性能分布式内存对象缓存数据库。Memcached 正是此类系统的典型代表，它通过在内存中缓存键值对数据来加速动态Web应用，提高可扩展性。
Redis是一个开源的内存数据结构存储，用作数据库、缓存和消息代理。它支持多种数据结构，如字符串、哈希、列表、集合、有序集合等。
Redis在内存中运行，但它也提供持久化选项，可以将数据保存到磁盘。有两种主要的持久化方式：RDB（周期性快照）和AOF（追加日志）。
Redis支持主从复制，可以实现数据备份和读写分离

特点：很灵活。一个人的档案里，可以有基本信息、多个地址、多个爱好列表。想加新信息（比如“驾照号”），直接往新文档里加就行，不影响老文档。

例子：一个用户的全部信息（基本信息、订单、地址）都保存在一个JSON文档里。

代表：MongoDB（最流行的文档柜）。

MongoDB是一个文档数据库，它以BSON（Binary JSON）格式存储数据。BSON是一种二进制编码的JSON-like格式。它用于MongoDB中的数据存储和网络传输。BSON 是具体的二进制编码格式。 MongoDB 在网络传输和存储时使用 BSON，而非纯 JSON（尽管查询和导出可能使用 JSON 表示）。

MongoDB的逻辑结构类似于传统关系数据库，但术语不同。MongoDB中，数据层次为：数据库（Database） -> 集合（Collection） -> 文档（Document）。MongoDB中没有“表（table）”的概念，对应的概念是“集合（collection）”。因此，“表table”不属于MongoDB的逻辑结构。

MongoDB 的核心特性包括面向文档的数据模型、通过复制集实现的高可靠性以及通过分片实现的可扩展性。虽然从 4.0 版本开始支持多文档 ACID 事务，但事务并非其最标志性的特性，传统描述中更强调高可靠性和分片。

特点：查询某几列的数据巨快，也容易压缩，特别适合做大数据分析。

例子：存储全网所有网页。行键是网址，每一列可以存：网页内容、抓取时间、关键词1、关键词2……不是每个网页都有所有列。

代表：HBase, Cassandra（谷歌“三驾马车”之一的后代）。

BigTable的论文公开后，成为了列族数据库这一NoSQL门派的直接设计原型。
Apache HBase 就是BigTable的开源实现。
Cassandra 的设计也深受其影响。
可以说，没有BigTable，就没有现代列族NoSQL数据库。

Google的这三项技术（MapReduce、Chubby、BigTable）对现代分布式系统和NoSQL数据库的发展产生了深远影响。BigTable是一个典型的NoSQL数据库（列族存储），MapReduce是并行数据处理模型（后来演化为Hadoop），Chubby是分布式锁服务。而EC2是亚马逊的弹性计算云（基础设施即服务）

HBase 本身是数据库，负责存储和实时读写；当需要进行大规模、复杂的数据处理或分析时，它依赖 MapReduce 这种分布式计算框架来提供强大的计算能力。
MapReduce 是 Hadoop 生态中的分布式计算引擎，专门负责对海量数据进行并行处理、分析和转换。

它们如何协作？
数据存在哪：HBase 的数据实际存储在 HDFS（Hadoop 分布式文件系统） 上（A选项）。HDFS 提供的是存储能力。

数据怎么算：当你需要对 HBase 中的海量数据进行复杂分析（比如全表扫描、聚合统计、数据挖掘）时，HBase 会作为 MapReduce 作业的输入源。MapReduce 会并行读取 HBase 的数据，分布到多台机器上进行计算，最后汇总结果。这就是 “强大的计算能力”。

集群怎么管：HBase 依赖 ZooKeeper（D选项） 来管理集群状态、实现主节点选举和元数据协调。它提供的是协调能力，不是计算能力。

Chubby（B选项） 是 Google 内部的分布式锁服务，HBase 不使用它

假设你有一个存储在 HBase 中的十亿条用户行为记录。

HBase 本职工作：快速查询某个用户的最近10条行为（通过行键）。

当需要回答：“过去一个月，所有用户中点击量最高的前10个商品是什么？” 这种涉及全量扫描和排序的问题时，就需要 MapReduce 出动。它会启动一个计算任务，并行扫描所有数据，进行统计排序，最终给出结果。

特点：查找关系的能力无敌。专门回答“朋友的朋友中，谁和我有共同爱好？”这类问题。

例子：社交网络（谁认识谁）、反欺诈系统（识别复杂洗钱路径）、推荐系统（通过喜好关联商品）。

代表：Neo4j。
Neo4j作为图数据库，其核心数据模型包括节点（Node）、关系（Relationship）和属性（Property）。节点代表实体，关系代表实体之间的连接，属性则是附着在节点和关系上的键值对。

它们到底在干什么？

1. OLTP — “收银台” （干活的）
   工作内容：处理一笔笔即时的交易。
   “扫码这件商品，加入购物车。”
   “删除刚才误扫的商品。”
   “插入一条新的会员消费记录。”
   “更新某个商品的库存数量（卖出一件就减一）。”

特点：
面向操作人员：收银员、客服、仓库管理员。
处理当前数据：关心的是“现在”发生了什么交易。
操作频繁且简单：每秒钟要处理无数个“插入、删除、更新”的小操作。
目标：保证每一笔当前交易都准确、快速地完成。

2. OLAP — “总经理的报表系统” （分析的）
   工作内容：基于历史数据，分析趋势，辅助决策。
   “上个季度，哪个品牌的洗发水在华东地区卖得最好？”
   “对比过去三年，夏天的饮料销量增长趋势如何？”
   “如果我们对会员打折，能多带来多少利润？”

特点：

面向决策人员：总经理、市场总监、分析员。
使用历史数据：把过去几个月、几年的销售数据都拿来分析。
操作复杂但次数少：一次分析查询可能要扫描几百万条记录，进行复杂的“汇总、分组、对比”，但一天可能只跑几次这样的分析。
目标：从海量历史数据中发掘新的信息和规律，帮助做决策。