此内容被密码保护 加密文章，请前往内页查看详情

云计算与大数据 第一部分：云计算相关考点核心概念云计算定义与特征：按需自助服务、广泛的网络访问、资源池化、快速弹性、可计量的服务。服务模式：这是重中之重。· IaaS：基础设施即服务。理解提供计算、存储、网络等基础资源。考点常涉及：云服务器、云存储（如对象存储、块存储）、虚拟网络。· PaaS：平台即服务。提供应用程序开发、运行和管理的环境。考点重点：云数据库服务（如RDS）、大数据平台、中间件服务。这是与数据库工程师最相关的部分。· SaaS：软件即服务。直接提供应用软件。部署模式：· 公有云：第三方面向公众提供。· 私有云：为单一组织构建。· 社区云：特定社区共享。· 混合云：混合两种或以上模式，关注数据和应用的可移植性。与数据库技术的结合（重点！）云数据库：· 概念：部署和虚拟化在云计算环境中的数据库。· 特性：高可扩展性、高可用性、多租户、按使用付费。· 服务类型： · 关系型云数据库：如AWS RDS/Aurora，阿里云RDS/PolarDB。考点：读写分离、自动备份、一键扩展、高可用架构。 · NoSQL云数据库：如键值型（Redis云服务）、文档型（MongoDB云服务）、列族型（HBase云服务）、图数据库云服务。数据库上云策略：· 迁移评估：兼容性、性能、成本、安全性评估。· 迁移流程：结构迁移、数据迁移（全量+增量）、应用迁移、验证与切换。· 云上数据库运维：监控、备份恢复、性能优化、安全策略（IAM、加密、网络隔离）与传统运维的区别。虚拟化与容器技术：· 虚拟化：是云计算的基石，实现资源隔离与池化。· 容器化：Docker、Kubernetes。考点：数据库的容器化部署、有状态应用管理、持久化存储。第二部分：大数据相关考点核心概念大数据5V特征：Volume、Velocity、Variety、Value、Veracity。大数据处理流程：· 数据采集 → 数据存储 → 数据处理与分析 → 数据可视化/应用。大数据技术生态：以Hadoop/Spark为核心的生态圈。核心技术（重点！）分布式存储：· HDFS：架构（NameNode, DataNode）、容错机制、数据块、写入/读取流程。分布式计算：· MapReduce：编程模型（Map, Shuffle, Reduce阶段）、优缺点。· Spark：核心概念（RDD弹性分布式数据集）、比MapReduce快的原理（内存计算、DAG执行引擎）。了解Spark SQL。NoSQL数据库：为什么会出现？CAP/BASE理论。· 键值数据库：Redis，适用场景（缓存、会话存储）。· 文档数据库：MongoDB，数据结构（BSON），适用场景（内容管理、用户画像）。· 列族数据库：HBase，与HDFS关系， RowKey设计原则，适用场景（海量明细查询、时序数据）。· 图数据库：Neo4j，适用场景（社交关系、推荐、风控）。与数据库技术的结合（重点！）数据仓库与大数据平台：· 传统数据仓库 vs. 大数据平台（Hive、HBase、Spark SQL）。· Hive：本质是将SQL转换为MapReduce/Spark任务。理解其数据模型、表类型（内部表、外部表）、分区与分桶。· 数据湖概念：存储原始格式数据的存储库，支持结构化、半结构化、非结构化数据。数据集成与ETL：· 如何将传统关系型数据库（Oracle, MySQL）中的数据同步到大数据平台（使用Sqoop, Flume, Kafka等工具）。大数据环境下的数据库设计考量：· 数据模型从“以事务为中心”转向“以分析为中心”。· 关注数据冗余、反范式化设计以提高查询性能。· 数据分区策略（时间分区、范围分区等）对查询效率的影响。第三部分：常考题型与重点关联选择题/填空题：· 云服务模式的区分。· 大数据5V特征。· CAP/BASE理论。· 常见NoSQL数据库与其适用场景的匹配。· Hadoop核心组件（HDFS, YARN, MapReduce）的功能。简答题/案例分析题：· 场景设计：给定一个高并发、海量数据的业务场景（如电商大促、物联网日志分析），要求设计技术架构。回答中需包含： · 是否采用云计算？用哪种服务模式（PaaS/IaaS）和部署模式？ · 数据存储选型：关系型数据库用于核心交易，NoSQL（如Redis）用于缓存，HBase/HDFS用于海量日志。 · 数据处理：使用Spark进行实时/离线分析。 · 数据库高可用与扩展方案：云数据库的读写分离、分库分表策略。· 新旧技术对比：比较传统Oracle RAC架构与基于云数据库（如PolarDB）实现高可用的优劣。· 迁移方案：设计一个将本地MySQL数据库迁移到云RDS的方案，并说明关键步骤和风险点。备考建议抓大放小：重点理解 “概念”、“区别”、“适用场景”。建立关联：将云/大数据技术与传统数据库知识（如事务、索引、范式）关联思考。例如，在分布式环境下，传统的事务（ACID）如何演变？索引设计有何不同？关注案例：多研究阿里云、AWS、腾讯云等主流厂商的数据库产品文档和解决方案，这些常是考题的素材来源。结合考纲：务必以最新的官方指定教程和考试大纲为最终依据，本整理是核心考点的提炼。总结：对于数据库系统工程师，云计算和大数据的核心是 “数据库技术如何在新的计算和存储范式下演进与应用”。务必掌握 云数据库服务、NoSQL数据库选型 和 Hadoop/Spark生态的基本原理。

nosql知识点 NoSQL是考试的重点和热点，通常会与传统的SQL关系型数据库进行对比考察。一、NoSQL概述与核心理念定义：Not Only SQL，泛指非关系型的、分布式的数据库系统。不保证ACID特性{tabs}{tabs-pane label="ACID"}Atomicity直译：原子性含义：事务中的所有操作要么全部成功提交（Commit），要么全部失败回滚（Rollback），不可分割（类似原子的不可分割性）。Consistency直译：一致性含义：事务执行前后，数据库都必须处于一致的状态（如转账前后总金额不变）。Isolation直译：隔离性含义：多个并发事务执行时，彼此之间相互隔离，互不干扰（如避免脏读、不可重复读）。Durability直译：持久性含义：事务一旦提交，其对数据库的修改必须是永久性的（即使系统崩溃也不会丢失）。{/tabs-pane}{/tabs}，旨在解决大规模数据集合、多数据种类带来的挑战，尤其是大数据应用难题。产生背景：· 大数据时代的3V挑战：Volume（海量）、Velocity（高速）、Variety（多样）。· 关系型数据库的局限：在高并发、海量数据场景下，扩展性差（难以水平扩展）、读写性能瓶颈、僵化的表结构难以应对半结构/非结构化数据。核心特点（与RDBMS对比）：· 模式灵活：无需预定义固定表结构，支持动态添加字段（Schema-less）。· 高可扩展性：易于通过增加节点实现水平扩展。· 高性能：针对特定数据模型和访问模式优化，读写速度快。· 高可用性：通过分布式、副本机制保障。· 弱一致性（最终一致性）：遵循BASE理论，而非ACID。 · BASE：Basically Available（基本可用）、Soft state（软状态）、Eventually consistent（最终一致）。CAP定理（核心考点！）：· 在分布式系统中，一致性（Consistency）、可用性（Availability） 和 分区容忍性（Partition Tolerance） 三者不可兼得，最多只能同时满足其中两项。· CP系统：保证一致性和分区容忍性（如：HBase， MongoDB的早期版本）。在发生分区时，可能牺牲可用性。· AP系统：保证可用性和分区容忍性（如：Cassandra， DynamoDB）。在发生分区时，可能返回旧数据，牺牲强一致性。· CA系统：单点关系型数据库，难以在分布式环境中实现。二、NoSQL主要数据模型与代表产品（重点！）这是分类考察的核心，必须掌握每种类型的特点、适用场景和典型产品。数据模型 核心概念 典型产品 优点 适用场景 不适用场景键值数据库 简单的“键-值”对存储，值可以是任意数据块。 Redis（内存型）、Memcached、DynamoDB 性能极高，结构简单，扩展容易。 会话存储、缓存、排行榜、实时配置。 复杂查询、多键事务、关系数据。文档数据库 以文档（如JSON/BSON）为基本单位，文档内可嵌套。 MongoDB、CouchDB 模式灵活，数据结构自然，支持复杂查询（二级索引）。 内容管理、用户档案、日志数据、电商产品目录。 需要多文档事务或复杂Join的场景。列族数据库 按“列族”存储数据，适合存储半结构化的海量数据。 HBase、Cassandra 可扩展性极好，适合海量数据存储和批量读取。 大数据分析（如Hadoop生态）、日志聚合、时间序列数据。 需要复杂事务或实时强一致性读写的场景。图数据库 以“图”结构存储实体（节点） 和关系（边）。 Neo4j、TigerGraph 高效处理复杂关系，路径查询性能远超关系型数据库。 社交网络、推荐引擎、欺诈检测、知识图谱。 大规模数据但关系简单的场景，或需要频繁全表扫描的场景。三、关键技术概念分片：将数据水平拆分到多个物理节点上的技术，是实现水平扩展的基础。复制：将数据副本存储在多台服务器上，以提高可用性和读性能。· 主从复制：写主，读可从。· 多主/对等复制：任何节点都可写，更复杂。一致性协议：· 最终一致性：数据副本经过一段时间后最终达成一致。· 读写一致性：写后读保证读到最新数据。· 仲裁机制：如R + W > N（N为副本总数，R为读副本数，W为写副本数）来平衡一致性与可用性。索引：如MongoDB的B树索引、Redis的Sorted Set等，用于加速查询。四、应用场景与选择原则· 何时选择NoSQL？数据量巨大且增长迅速，需要水平扩展。数据结构不固定，变化频繁。应用对高性能、高并发读写有严格要求。数据模型简单（KV）或高度关联（图），关系型数据库不擅长。业务可以接受最终一致性。· 何时仍选择关系型数据库？需要复杂的事务（如银行转账）。数据结构稳定，业务逻辑基于严格的实体关系。需要复杂的多表关联查询和报告。数据一致性是首要要求。五、挑战与趋势挑战：· 缺乏统一的查询语言（SQL是标准）。· 事务支持相对较弱（虽然MongoDB等已支持多文档事务）。· 技术生态和工具链不如关系型数据库成熟。· 对开发人员的架构设计能力要求更高。趋势：· 多模数据库：一个数据库支持多种数据模型（如文档+图）。· NewSQL：尝试兼具NoSQL的扩展性和SQL的ACID特性（如：Google Spanner， TiDB）。· 云原生数据库：与云计算深度集成，按需伸缩（如：AWS DynamoDB， Azure Cosmos DB）。备考建议重点掌握：CAP定理、四种数据模型的对比（用表格形式记忆）、典型产品的归类与应用场景。理解区别：深刻理解NoSQL与SQL在扩展方式（水平 vs 垂直）、一致性模型（BASE vs ACID）、模式（灵活 vs 固定）上的根本区别。关注真题：多做历年真题中关于NoSQL的选择题和案例分析题，熟悉出题角度。结合实际：将知识点与常见的互联网应用（如电商、社交、日志系统）联系起来，理解技术选型的逻辑。

JavaScript中的参数传递 参数传递的两种方式值传递（基本类型）就像给你一份复印件，你改了复印件，不影响原件。let a = 10; // 原价：10元 function changePrice(price) { price = 20; // 我改了复印件上的价格 console.log("函数内价格:", price); // 20 } changePrice(a); console.log("函数外原价:", a); // 还是10，没变！引用传递（对象、数组）就像给你钥匙，你用钥匙进屋改了东西，房子真的变了。let house = { color: "白色", size: "100平" }; // 一座房子 function paintHouse(h) { h.color = "蓝色"; // 用钥匙进去刷墙 console.log("函数内颜色:", h.color); // 蓝色 } paintHouse(house); console.log("函数外颜色:", house.color); // 也变成蓝色了！子程序的运行依赖参数传递所使用的方法（子程序的执行结果会受到参数传递方式的影响）更通俗的解释想象你要让同事帮你处理一份文件，有两种方式：给你复印件（传值）同事在复印件上修改，不影响你的原件子程序对参数的修改不会影响原数据给你原文件的位置（传引用）同事直接修改原文件，你的文件内容会改变子程序对参数的修改会影响原数据同样的子程序，采用不同的参数传递方式，会产生不同的运行效果。

javascript随笔 const oldCount = configData.length; //configData 很可能是一个数组（Array） 或类似数组的对象（比如字符串、NodeList 等），而 .length 是 JavaScript 中用于获取这些对象元素个数的内置属性。 //.length 的作用是：返回数组（或类数组对象）中元素的个数。 //例如 const configData = ['a', 'b', 'c']; const oldCount = configData.length; // oldCount = 3 const stats = await fs.stat(configPath);这里fs.stat是语法预定义的 //是 Node.js 中 fs 模块预定义的方法，用于获取文件/目录的状态信息（如大小、创建时间、权限等）。以下是详细解析： fs 模块 Node.js 内置的 fs (File System) 模块 提供了文件系统操作接口，fs.stat() 是其核心方法之一。 无需自定义 只要你的代码中正确引入 fs 模块（如 const fs = require('fs') 或 import fs from 'fs'），就可以直接使用 fs.stat()。 res.json({ 这里的res也是预定义的 //在常见的 Node.js Web 框架（如 Express.js、Koa 等）中，res.json() 是框架预定义的方法，专门用于发送 JSON 格式的 HTTP 响应。以下是详细解析： res 是 HTTP 响应（Response）对象的缩写，由框架自动创建并传入路由处理函数。它的核心作用是将数据返回给客户端（如浏览器、移动端等）。 app.get('/api/data', (req, res) => { res.json({ message: "Hello World" }); // 发送 JSON 响应 }); req：请求对象（包含客户端发送的数据，如 URL、Headers、Body 等）。 res：响应对象（用于控制服务器返回给客户端的内容）。 res.json() 的作用 将 JavaScript 对象转换为 JSON 字符串，并设置正确的 HTTP 响应头（Content-Type: application/json），然后发送给客户端。 注意事项 只能调用一次 HTTP 响应只能发送一次数据，重复调用 res.json() 会报错： 自动序列化 res.json() 会自动处理对象序列化，无需手动调用 JSON.stringify()： 错误处理 如果数据包含无法序列化的内容（如循环引用），会抛出错误： res.json() 是框架预定义的方法，用于便捷地发送 JSON 响应。 关键特性： 自动设置 Content-Type: application/json。 自动序列化 JavaScript 对象为 JSON 字符串。 适用场景： API 接口返回数据、前后端分离项目中的 JSON 通信等。 //只能在浏览器使用，window指的是当前网页，location是对象 const currentHost = window.location.hostname; const currentPort = window.location.port; //nodejs没有当前网页的概念，但可以用req返回 const express = require('express'); const app = express(); app.get('/', (req, res) => { const hostname = req.hostname; // 主机名（如 "example.com"） const port = req.app.get('port') || 3000; // 服务器监听的端口 const protocol = req.protocol; // "http" 或 "https" console.log(`Host: ${hostname}:${port}, Protocol: ${protocol}`); res.send('Hello World'); }); app.listen(3000); //如果有一个 URL 字符串（如 "https://example.com:8080/path"），可以用 Node.js 的 URL 模块解析： const { URL } = require('url'); const url = new URL('https://example.com:8080/path'); console.log(url.hostname); // "example.com"（不含端口） console.log(url.port); // "8080"（字符串，默认端口时为空） console.log(url.host); // "example.com:8080"（含端口） //为事件监听器添加异步处理函数的写法。它的核心目的是：在点击事件中执行异步操作（如 fetch、await 等） reloadBtn.addEventListener('click', async function() {}) //为什么用 async function //async function 允许你在函数内部使用 await 关键字，从而以同步的写法处理异步操作（如网络请求、定时器等）。如果不加 async，直接写 await 会报错（因为普通函数不支持 await） reloadBtn.addEventListener('click', async function() { try { const response = await fetch('/api/data'); // 异步请求 const data = await response.json(); console.log(data); // 处理数据 } catch (error) { console.error('请求失败:', error); } }); //错误处理必须用 try/catch，异步函数中抛出的错误不会自动被浏览器捕获，必须手动处理： reloadBtn.addEventListener('click', async function() { try { await someAsyncOperation(); } catch (error) { alert('操作失败！'); } }); 不同对象的事件监听示例 // 1. 监听document对象的事件 document.addEventListener('DOMContentLoaded', function() { console.log('文档加载完成'); }); // 2. 监听window对象的事件 window.addEventListener('resize', function() { console.log('窗口大小改变了'); }); // 3. 监听DOM元素的事件 const button = document.getElementById('myButton'); button.addEventListener('click', function() { console.log('按钮被点击了'); }); // 4. 监听body元素的事件 document.body.addEventListener('click', function() { console.log('body被点击了'); });// 这行代码执行后： const reloadBtn = document.getElementById('reload-btn'); // reloadBtn 存储的是： // 1. 一个DOM元素的引用（指针/地址） // 2. 不是DOM元素本身 // 3. 不是字符串 'reload-btn' // 4. 而是内存中那个DOM元素对象的引用 // 可以理解为： // reloadBtn → [DOM元素对象在内存中的位置] 内存地址: 0x123456 +----------------------+ | HTMLButtonElement | ← 实际的DOM元素对象 | - id: "reload-btn" | | - className: "" | | - onclick: null | | - ...其他属性... | +----------------------+ ↑ | 引用/指针 const reloadBtn = 0x123456