写在前面的话本章是ddia的第十一章，流处理。 流处理与之前批处理最大的区别在于流是无穷无尽的，以事件为最小原子，随着时间推移逐渐可用。 本章第一部分讲的消息队列，将消费者和生产者的稳定性问题转移到了自己身上，比如fabirc中的老熟人kafka 接下来提到了流与数据库的关联，流很像是数据库中的日志 ...

写在前面的话本章是ddia的第十章，批处理本章的阅读是非常吃力和不解的，因为我的MapReduce只在读书时了解过一些概念，要强行来读这上面的文字是比较头疼的，只能大概的去想象描述的问题，在读完之后有时间需要去实践一下了解下MapReduce和Hadoop实际是怎么玩的。 整体来说本章描述的批处理的 ...

写在前面的话本章是ddia的第九章，一致性与共识 主要讨论了线性一致新保证，目标是让所有副本看起来就像一个副本一样。 接下来讨论了因果顺序，允许一些并发发生 再之后讨论了共识，所有节点一致同意所做决定，且这一决定不可撤销。在讨论共识的路上发现了其实很多问题都能等价为共识问题。 最末对ZooKeepe ...

写在前面的话本章主要是ddia第八章，分布式系统的麻烦 这一章概述性的讲解了分布式系统的几种类型的麻烦，主要集中在网络问题、时钟问题以及节点的正确性问题 网络问题这个确实是个老生常谈的问题了，其实这个无所谓分布式系统，在普通的b/s或者c/s架构的服务端都会面临这个问题，延迟，重试等等 时钟问题是个 ...

写在前面的话本章主要是ddia的第七章，事务 开篇明义的阐述了事务的基本概念和必要性，在之后讨论了各种不同的隔离级别，从最低的读已提交到最高的序列化方法。讨论了很多常见的问题。从这里看之前在做baas时更新区块高度时遇到的主要问题其实就是写入偏差，当时的处理方法是在应用程序侧加入了锁，现在想想这其实 ...

写在前面的话本文的主要内容是ddia的第六章，分区 分区的主要目的是在数据量极大时，单节点处理不可取，因此需要将数据分散到多个节点进行并行的处理，这样就引出了分散数据的方法的问题，分别有按照键的范围分区以及按照键的散列分区。 分区之后的次级索引的需求，引出了基于文档的分区以及基于关键词的分区，前者是 ...

写在前面的话这一部分是ddia的第五章，复制 这一部分主要讨论了复制的价值以及复制的三种方式，额外一提，其实区块链就是一种无领导型的复制方式，另外解释了一种由于复制滞后引起的奇怪效应以及解决这些效应的方法。 分布式数据概述分布式存储的原因 可扩展性 容错/高可用 延迟 扩展至更高的载荷垂直扩展： ...

写在前面的话原书来源https://legacy.gitbook.com/book/vonng/ddia-cn/details 偶然从旁人推荐中得知了这本书，正好最近也算是陷入了一定的瓶颈，于是看看这本书来窥视一下大神的境界 这篇阅读笔记主要内容是ddia的数据系统的一到四节的内容，从这四节看下来的 ...

前言继续之前的节点id生成的故事，这次我们讨论的是以太坊的节点id生成 节点id表现形式首先我们看一下一个完整的以太坊id的表现形式： 1enode://<hex node id>@10.3.58.6:30303?discport=30301 以太坊的地址是由4个部分组成 前缀: en ...

动机在了解了底层的kad网络后，明确了基础的网络存储方案以及发现方法，但是我们还是不清楚在以太坊中底层的网络层是如何运作的，毕竟上层应用其实根本不关注下层网络层的运转，而是直接调用各种节点信息进行点对点通信。 基础结构首先我们关注网络层的基础结构 12345678910111213141516171 ...