【戴嘉乐】详解IPFS的本质、技术架构以及应用

摘要：戴嘉乐去年月参与了的众筹，从而了解到技术，独立开发了两款基于的开源应用，一个是与有关的系统，另一个是相关的地理位置检索系统。现在支持的数据结构，支持比特币以太坊的区块数据。

戴嘉乐是前百度高级研发工程师，ipfser.org&巴比特专栏作者。戴嘉乐去年8月参与了FileCoin的众筹，从而了解到IPFS技术，独立开发了两款基于IPFS的开源应用，一个是与IPFS有关的wiki系统，另一个是IPFS相关的地理位置检索系统。

IPFS的中文名是星际文件系统，由Juan Benet在2014年5月份发起。Juan Benet的个人经历很传奇，他毕业于斯坦福大学，在创建IPFS项目之前，他创办的第一家公司被雅虎收购。2015年，他创建的IPFS在YCombinator孵化竞赛中拿到了巨额的投资，同时成立了协议实验室。这个实验室团队由14位核心开发者以及社区中上百位代码贡献者组成的。

IPFS本质上是一种内容可寻址、版本化、点对点超媒体的分布式存储、传输协议，目标是补充甚至取代过去20年里使用的超文本媒体传输协议（HTTP），希望构建更快、更安全、更自由的互联网时代。

我们每天上网使用APP刷朋友圈、微博都在使用HTTP协议，它基于TCP／IP的计算机应用层面，从服务器传输超文本数据到本地浏览器，本地浏览器或APP渲染后呈现给用户。基于这样的网络环境构成了CS或BS架构，最后注入BAT这样大型网络提供商。

互联网平台所提供的网络服务大致经过了三种模式的迭代历程：

1.第一个模式属于集中化，例如早期的12306因为没法分散去做，只有一个中心服务群，所有买票的流量直接搭载在这个服务群上，承载的压力非常大。

2.第二个模式属于分散集群，类似于O2O百团大战时各个网站需要建立不同区域下的服务群，它们背后的IDC机房，会让同样的服务在一个局域内分散，这就减轻了中心服务器的压力。

前两种模式容易产生一些弊端：在第一种模式里，服务高度依赖中心网络。大公司或者创业公司无法承受宕机，运维有一个KPI指数叫SLA，稳定性没有到99.9%的话，基本不合格。SLA需要消耗特别大的成本，大公司需要雇一批运维专家或专业人士，去保障系统的稳定性。在第二种模式里，存储数据有丢失的风险。大家经常开玩笑的电缆被挖断，员工删库跑路，都是隐患。同时，这两种模式的带宽成本相对高很多，会造成一定带宽资源的浪费。比如《中国有嘻哈》第一期海选的视频播放量有10亿次，假设视频文件大小是1GB，播放整个视频需要消耗1000PB的带宽量。如果按照0.001美元1GB带宽成本，爱奇艺光一期节目需要支付一百万美金给ISP（互联网服务提供商）。

3.IPFS有希望成为第三种模式。IPFS想打造一个点对点的网络拓扑，相当于颠覆HTTP所代表的分布关系，它具有内容可寻址的特点，通过文件内容生成唯一的哈希标识，一定程度上节约了空间开销的成本。

HTTP协议使用的域名寻址，最终会映射到最底层，找到某个域名所对应的IP地址下的某个主机，以及某个文件目录的某个文件。它不关心是否存在相同的文件，但内容寻址会通过唯一的标识去访问，并且提前检验这个标识是否已经被存储过。如果被存储过，直接从其它节点读取它，不需要重复存储，一定意义上节约了空间。

举个具体场景的例子。假设我想要看《环太平洋》这部电影，小明之前下载过这部电影，他启动了IPFS节点，将这个视频文件加入了IPFS网络。他会得到一个哈希指纹b，同时发布到公共网关，得到了一个/IPFS/b的路径名。他把哈希指纹和路径名都告诉我，我要做的事情是启动一个本地节点，对该网关发一个寻址PIN的请求，IPFS自动索引分布式哈希表的哈希值，找到指纹b所对应的节点列表。大的视频通常不会都存在一个节点，可能分片存在其它一些子节点上，IPFS把这些节点列表全部并行抓取，最后由本地的manager拼成完整的文件。并行的速度远远大于直接下载完整文件的速度，我很快就能在本地化的浏览器上看到电影，还可以继续分享给其他人。

IPFS至少有八层子协议栈，从上至下为身份、网络、路由、交换、对象、文件、命名、应用，每个协议栈各司其职，又互相搭配。

身份层和路由层可以一起解释。对等节点身份信息的生成以及路由规则是通过Kademlia协议生成制定，KAD协议实质是构建了一个分布式松散Hash表，简称DHT，每个加入这个DHT网络的人都要生成自己的身份信息，然后才能通过这个身份信息去负责存储这个网络里的资源信息和其他成员的联系信息。如同微信名片分享，在无法通过直接搜索微信号的情况下，如果你要找一个人，可以通过有这个人联系方式的朋友分享名片来建立联系。

网络层比较核心，使用的LibP2P可以支持任意传输层协议。NAT技术能让内网中的设备共用同一个外网IP，我们都体验过的家庭路由器就是这个原理。

交换层，是类似迅雷这样的BT工具。迅雷其实是模拟了P2P网络，并创建中心服务器，当服务器登记用户请求资源时，让请求同样资源的用户形成一个小集群swarm，在这里分享数据。这种方式有弊端，因为服务器是由迅雷统一维护，如果出现了故障、宕机时，下载操作无法进行。中心化服务还可以限制一些下载请求，人们发明了一种更聪明的方式就是Bittorrent，让每一个种子节点所要存储的数据，通过哈希表存储在里面，BT工具相对不太受监管，服务更加稳定。

IPFS团队把BitTorrent进行了创新，叫作Bitswap，它增加了信用和帐单体系来激励节点去分享，我推断FileCoin有很大概率是基于Bitswap，用户在Bitswap里增加数据会增加信用分，分享得越多信用分越高。如果用户只去检索数据而不存数据，信用分会越来越低，其它节点会在嵌入连接时优先选择信用分高的。

这一设计可以解决女巫攻击，信用分不可能靠机器刷去提高，一直刷检索请求，信用分越刷越低。请求次数和存储量的变量之间有一个比较精妙的算法，类似一个抛物线，前期可以容忍很多东西，达到一定次数后不再信任。

对象层和文件层适合结合来谈，它们管理的是IPFS上80%的数据结构，大部分数据对象都是以MerkleDag的结构存在，这为内容寻址和去重提供了便利。文件层是一个新的数据结构，和DAG并列，采用Git一样的数据结构来支持版本快照。

命名层具有自我验证的特性（当其他用户获取该对象时，使用指纹公钥进行验签，即验证所用的公钥是否与NodeId匹配，这验证了用户发布对象的真实性，同时也获取到了可变状态），并且加入了IPNS这个巧妙的设计来使得加密后的DAG对象名可定义，增强可阅读性。

最后是应用层，IPFS核心价值就在于上面运行的应用程序，我们可以利用它类似CDN的功能，在成本很低的带宽下，去获得想要的数据，从而提升整个应用程序的效率。

新的技术取代老的技术，无非就两点：第一，能提高系统效率；第二，能够降低系统成本。IPFS把这两点都做到了。

我整理了一个IPFS族谱关系图，同时也是一个纵向数据流图。刚才所说的八层协议，其实每一层的实现都绑定在对应的模块下，进行了一个直观的图表设计。

IPFS的团队在开发时，采用高度模块集成化的方式，像搭积木一样去开发整个项目。协议实验室团队2015年创立，到17年的时间里都在做IPLD、LibP2P、Multiformats这三个模块的开发，它们服务于IPFS底层。

Mutiformats是一系列hash加密算法和自描述方式（从值上就可以知道值是如何生成）的集合，它具有SHA1SHA256 SHA512Blake3B等6种主流的加密方式，用以加密和描述nodeID以及指纹数据的生成。

LibP2P是IPFS核心中的核心，面对各式各样的传输层协议以及复杂的网络设备，它可以帮助开发者迅速建立一个可用P2P网络层，快速且节约成本，这也是为什么IPFS技术被众多区块链项目青睐的缘由。

IPLD其实是一个转换中间件，将现有的异构数据结构统一成一种格式，方便不同系统之间的数据交换和互操作。现在IPLD支持的数据结构，支持比特币、以太坊的区块数据。这也是IPFS为什么受到区块链系统欢迎的原因之二，它的IPLD中间件可以把不同的区块结构统一成一个标准进行传递，为开发者提供了成功性比较高的标准，不用担心性能、稳定和bug。

IPFS应用了这几个模块的功能，集成为一种容器化的应用程序，运行在独立节点上，以Web服务的形式，供大家使用访问。

最后是Filecoin， 作为去年7月才宣布的项目，它的开发进度至今保密。Filecoin把这些应用的数据价值化，通过类似比特币的激励政策和经济模型，让更多的人去创建节点，去让更多的人使用IPFS。

我更希望大家把IPFS和FileCoin分开来看，如果IPFS玩得好，可以创建很多FileCoin项目出来，它本身的价值和意义没有IPFS这么大。

第一，可以为内容创作带来一定的自由。Akasha是一个典型的应用，它是一个基于以太坊和IPFS的社交博客创作平台，用户创作的博客内容通过一个IPFS网络进行发布，而非中心服务器。同时，用户和以太坊钱包账户进行绑定，用户可以对优质内容进行ETH打赏，内容创作者能以此赚取ETH，如同人脑挖矿一样。它没有太多监管的限制，也没有中间商抽成，内容收益直接归创作者所有。

第二，可以降低存储和带宽成本。我之前也举过爱奇艺的例子，而做视频比较成功的项目叫「Dtube」。它是一个搭建在Steemit上的去中心化视频播放平台，其用户上传的视频文件都经过IPFS协议进行存储，具有唯一标识。相较于传统视频网站，它降低了同资源冗余程度，同时大大节约了海量用户在播放视频时所产生的带宽成本。

第三个，可以与区块链完美结合。区块链的本质是分布式账本，本身的瓶颈之一就是账本的存储能力，目前大部分公链的最大问题是没法存储大量的超媒体数据在自己的链上。比特币至今全部的区块数据也才30-40G左右，以太坊这样可编程的区块链项目也只能执行和存储小段合约代码，DApp想发展成超级App，受到了极大的限制。

运用IPFS技术解决存储瓶颈是目前来看的过渡方案，最典型的应用就是EOS。EOS引以为傲的是可以支持百万级别TPS的并发量，其中除了DPOS共识机制的功劳之外，还归功于其底层存储设计是采取IPFS来解决大型数据的传输效率。

EOS将自己打包好的区块数据通过IPLD进行异构处理，统一成一种便于内容寻址的数据结构类型，并挂载到IPFS的link上，让IPFS网络承担存储和P2P检索的逻辑，而不消耗EOS区块链系统本身太多的计算资源。

第四，可以为传统应用提供分布式缓存方案。 IPFS-GEO 是我自己之前写的，它是一个为传统LBS应用提供分布式缓存的项目，可以将地理位置坐标数据通过GeoHash算法转化成一维字符串，并将与之相关联的具有检索价值的数据存入IPFS网络，由IPFS网络标识唯一性，并分布在各个邻近节点上。

当检索请求到来时，系统先通过字符串近似度范围比较，缩小检索范围，加快检索效率，通过NodeID从附近节点拿到超媒体数据，达到类似分布式缓存的效果，大大提高了LBS应用整个检索动作的效率。

OpenBazaar是IPFS上的一个明星应用，我给它取了一个中文名叫开放集市，前一段时间刚拿到比特大陆500万美元的投资。

在之前的1.0版本，OpenBazaar被称之为黑市，那时没有应用IPFS，利用ZeroMQ来实现P2P交易，一定程度也绕过了中心化的检查，把交易的手续费作为红利给到用户。同时它整合了比特币作为支付渠道，轰动一时，用户数量在短时间内迅速提升。

开放集市在2.0版本发布之后，考虑到法律等因素，官方加入了一层审查机制，同时支持了比特币之外的BCH等数字货币，并且整合和重构IPFS，取代了之前的ZeroMQ。

现在，众多开放集市上的商店在没有用户上线的情况下，也可以在主机上就被运行。以前必须同时登陆才可以交易，现在利用IPFS相当于实现了离线店铺。这同时意味着，访问你的店铺的人越多，店铺数据被复制越多，有利于优质的店铺宣传和推广，这是一定意义上的价值回归。

我把它称为明星项目，不光因为它是基于IPFS而且做得不错，还因为它对IPFS全部的重构，它把IPFS所有的源码、协议和各种配套设施都重新开，不仅重构了IPFS的分支，改了协议名，同时也更改了协议头，一定意义上把OB的网络和主的IPFS网络隔离开。

OpenBazaar希望有更集中化的控制，想建立自己的矿场和机房来保证服务的稳定，在去中心和中心化之间选择了一个中间点。我觉得目前大部分的传统应用和公司，也可以这样去考虑。完全去中心化不太可能，所以可以取其精华、去其糟粕。

[ 【董天一】什么是IPFS?(一)]()

圆方圆学院汇集大批区块链名师，打造精品的区块链技术课程。 在各大平台都长期有优质免费公开课，欢迎报名收看。
公开课地址：https://ke.qq.com/course/345101