技术

全方位解读IPFS/Filecoin

 

最近很多刚刚开始关注 IPFS 和 Filecoin 项目的朋友,经常会问到一些比较基础的问题,借此机会给大家普及一些 IPFS 及 Filecoin 项目相关内容。

 

基础知识

 

一、什么是 IPFS

 

IPFS 全称InterPlanetary File System,中文译为星际文件系统,是一个旨在创建持久且分布式存储和共享文件的络传输协议。(注意: IPFS 是一种网络传输协议,类似现行的HTTP协议, IPFS 是补充甚至取代HTTP的协议,下文会讲解一下 IPFS 与HTTP的对比优势)该协议是一种内容寻址的对等超媒体分发协议。在 IPFS 网络中的节点将构成一个分布式文件系统。它是一个开源项目,且已于2015年5月5日上线运行。

可参考链接阅读

https://ispeak.vibaike.com/IPFS

 

 

大家关心的主网什么时候上线,指的是 Filecoin 主网什么时候上线,而去年协议实验室1C0拿到了2.05亿美元也是 Filecoin 这个项目, Filecoin 是 IPFS 协议的激励层, Filecoin 才是所谓挖矿的项目, 其代币叫做FIL.现在gate.io上有售,当前价格为$5.19,已接近公募价格咯。

 

二、 IPFS 与HTTP对比

   

HTTP的不足之处:

  • 效率较低,使用成本高,带宽资源浪费严重
  • 数据丢失,页面生命周期平均100天左右
  • 中心化网络限制了很多发展机会
  • 对主干网的严重依赖, 经常造成服务中断拥堵

IPFS 作为数据传输协议, 相比http协议有如下优点:

  • 点对点下载, 节省高达60%的带宽, 极大的降低数据传输的成本
  • 永久web, 我们几乎不会遇到404,502等尴尬情况(除非主动要求删除)
  • 分布式加密的网络, 数据可以更加安全便捷的进行传输
  • 不再依赖主干网, 降低因不可抗力造成的服务中断问题

 

三、 IPFS 工作原理   

 

1、 IPFS 为每个文件分配一个独一无二的哈希值(文件指纹: 根据文件的内容进行创建), 即使是两个文件内容只有1个字节的不同, 其哈希值也是不相同的,所以 IPFS 是基于文件内容进行寻址, 而不像传统的HTTP协议一样基于域名寻址。

2、 IPFS 在整个网络范围内去掉重复的文件, 并且为文件建立版本管理, 也就是说每一个文件的变更历史都将被记录(这一点类似版本控制工具git, svn等), 可以很容易回到文件的历史版本查看数据。

3、当查询文件的时候, IPFS 网络根据文件的哈希值(全网唯一)进行查找。由于每个文件的哈希值是唯一的, 查询结果反馈速度会很快。

4、如果仅仅使用哈希值来区分文件的话, 会给传播造成困难, 因为哈希值不容易记忆, 就像IP地址一样不容易记忆, 于是人类发明了域名。 IPFS 利用 IPNS 可以将哈希值重命名。

5、每个节点除了存储自己需要的数据, 还存储了一张哈希表, 用来记录文件存储的位置,进行文件的查询下载。

 

四、 IPFS 与 Filecoin 关系

 

前文已经说过, Filecoin (代币:FIL)是 IPFS 的激励层, IPFS 顺应了时下共享经济的浪潮,充分利用大家闲置的存储空间,但如何让拥有空闲存储空间的人们积极参与进来,此时就需要Token的激励了,这也是 Filecoin 项目产生的原因及意义。(用户存储或者检索文件需要支付FIL,矿工帮助用户存储或检索文件便获得FIL。而获得的FIL是有价值的,因为在这个交易过程中,FIL 与实体经济相结合。FIL代币可以在市场里流通)

IPFS 和 Filecoin 的诞生极大提高了我们数据存储的共享, IPFS ( Filecoin )不需要像BTC一样,消耗巨大的能源和依赖计算资源。从某种意义来讲, IPFS 从根本上提升人类的效率,是真正的共享经济,把我们对存储资源利用方式往前迈了一大步,这也是小编对 IPFS 的信心来源。

 

 

Filecoin 挖矿知识

 

一、 Filecoin 系统两个挖矿市场  

 

1、 Filecoin 存储市场( Filecoin Storage Market)

硬盘——没错就是硬盘大小, 数据存储市场你所需要贡献的就是硬盘存储空间, 越多的硬盘空间, 你的挖矿能力就越高, 存储市场采用的工作量证明是 PoS(Power of Storage)证明, 根据你存储的数据大小来按比例给大家分配FIL.

据 Filecoin Q1&Q2报告, Filecoin 将在今年年底上线测试网络,想要挖第一桶金的同学, 准备好你们的硬盘咯。

2、 Filecoin 数据检索市场( Filecoin ‘s Retrieval Market)

网络带宽——如果你拥有带宽资源优势可以考虑这个市场上挖矿, 根据你的带宽,即数据的检索速度来分配订单。

如果两项标准都很OK,也可以两个市场同时参与。

 

二、FIL代币是如何分配 

 

根据 Filecoin 白皮书所示,FIL代币总共有20亿枚. 分配方案, 总共有四个部分组成:

  • 70%作为矿工挖矿的回报: 根据挖矿的进度逐步分发
  • 15%预留Protocol Labs: 作为研发费用, 6年逐步解禁
  • 10%分配给ICO投资者: 根据挖矿进度, 逐步解禁
  • 5%预留给 Filecoin 基金会: 作为长期社区建设, 网络管理等费用,  6年逐步解禁

 

 

根据以上分配方案我们可以看出, Filecoin 团队对自己正在做的事情是非常有信心的, IPFS 官方给矿工的待遇还是非常高的,而且也比较注重基础建设。

 

三、关于挖矿你需要具备的

 

1、矿机:矿机不需要高配置,但因为挖矿的同时是有质押代币的,要求能及时反馈市场的需求,最好24小时在线,因此 Windows并不适合挖矿,建议使用Linux系统的矿机,确保其系统的稳定性。

2、硬盘:因为家用电脑没有反复读写硬盘,给大家一个硬盘质量很好的错觉,而 Filecoin 挖矿可能需要不断读写,这样对硬盘的损耗很大,需要企业级硬盘以保障在高读写使用率时不会出现损坏,时刻记得我们可是有质押的哦。

3、带宽: IPFS 是点对点类型的网络,如果网速够快,参与数据检索市场的挖矿会更有优势哦

4、地点: Filecoin 的收益可能跟矿机所处的地区有关,特别是高网络流量的地区,举个栗子,参与检索市场,你的矿机如果位于一些人间稀少的地方,速度很快但产出不一定会高。而建立在人口密度大的地方。例如一线城市,省会城市。需求大,矿工也多,竞争力也会比较激烈。

5、注册早期矿工,详情见下文

 

四、如何注册早期矿工  

 

注册地址如下:

https://goo.gl/forms/QWXEKxUQ8XaujysX2

(使用的是google表单,需要梯子哦)

因图片较多,具体如何注册详见文末。

注意:qq邮箱收不到确认邮件,建议使用gmail,没有的话163邮箱也可以。

 

五、关于收益 

 

我们可以参考09年比特币,16年以太坊的挖矿收益,还有今年的玩客云,在初期他们一周就实现了回本。毫无疑问,第一批进场的矿工都是收益最高,回本最快的,SO想挖矿的同学可以行动起来啦, 争取挖到 Filecoin 的第一桶金。

 

Filecoin 共识

 

共识机制是区块链核心的组成要素之一,它决定了区块链的业务吞吐量、交易速度、不可篡改性、准入门槛等。

PoW:中本聪为了解决拜占庭共识问题,在比特币系统中引入竞争挖矿的机制。同时,为了保证最大可能的公平性,采用了基于哈希运算的PoW(工作量证明机制)共识机制,但是PoW共识机制耗费大量资源,并且相对而言出块速度较慢,已无法满足剧增的交易量。

PoS:PoW是比拼算力的话,PoS(权益证明机制)则是比拼余额,通俗说就是自己的手里的币越多,挖到一个块的概率越大。以太坊可以看作是PoS共识机制下最成功的项目了,PoS不需要大量的算力,并且大大提升了交易速度,但却会造成富者越富,资源越来越集中,从而变得更中心化。

DPoS:针对PoW、PoS的效率低和变得越来越中心化的问题,BM在2013年提出并在项目中第一次使用了DPoS(股份授权证明机制)共识算法,2017年最火的区块链项目之一EOS也是采用了DPoS共识。

从比特币的PoW(工作量证明机制)到以太坊的PoS(权益证明机制),再到EOS的DPoS(股份授权证明机制)共识机制的迭代也见证了区块链项目及其算法完善改进的全过程。

 

Filecoin 项目提出了自己的新型存储证明,即复制证明(Proof-of-Replication)和时空证明(Proof-of-Spacetime),可以说复制证明(以下简称PoRep)论文里面的PoRep算法是 Filecoin 的共识核心算法。

本质讲, Filecoin 是PoW的一种,还是工作量证明,但是换了一种方式,用存储有效有用的数据作为一种工作量证明,解决了现在需要耗费电力耗费资源的问题,把工作量用在有用有价值的存储上面,这是一个很大的进步,PoRep算法初衷是在不浪费空间的情况下只存储有用的数据来解决共识机制,比以往的Proof of Space共识算法有了一个更大的进步。

复制证明可以让证明人提供存储证明给用户,证明用户的数据已经被复制存储到证明人唯一的专用物理存储设备上了。复制证明也是一种交互式协议。当证明人承诺存储某数据的n个不同的副本(独立物理副本),然后通过响应协议来说服验证者,证明人确实已经存储了每个副本。PoRep改善了PDP(数据持有性验证)和PoR(可获取性证明)方案,并且阻止了女巫攻击、外包攻击、生成攻击。复制证明论文的理论意义是非常大的,它为 Filecoin 项目实施提供了扎实的理论基础。

Filecoin 官方都在 twitter 上面称这篇论文为 Important new milestone。

关于复制证明详细讲解可以参阅我们的另一篇文章:深度剖析复制证明论文

 

你可能想了解的其他内容

 

Q1 IPFS 具体是做什么的,它和HTTP有什么联系,有什么区别,顺便也可以讲讲HTTP协议

A:HTTP协议是我们在使用浏览器上网的时候先输入的:“http://”,就是说我们整个互联网都建立在HTTP协议之上,而 IPFS 是未来有一天,你访问网站输入的是 IPFS ://,一个是中心化的单点连接,一个是基于P2P的多点连接。

Q2: IPFS 与HTTP相比最大的颠覆性在哪方面呢?为何如此看好 IPFS 在未来的潜力呢?

A: IPFS 有诸多的优点:安全、快速、去中心化(数据所有权,参考欧盟的GDRP),一个创新只需要一个优点即可颠覆原来的技术,更何况这么多优势,第一是设计,其他的例如siacoin,storj等等,这种项目不属于publick verify,属于Client server验证模式,这样让这个存储的场景非常的单一,一个单纯的云盘项目,并不能颠覆整个云存储,而 IPFS / Filecoin 是一个更大的生态。

任何人都可以基于 IPFS 开发Dapp,任何人都可以调用 IPFS 的Api(一种程序的应用接口),我们也翻译了国外的一些优秀的Dapp项目,比如说去中心化的淘宝,音乐播放器、社交平台等等。

另外一个观点就是开发者社区共识,才是真正的共识,只有程序员对这个项目认可,形成生态,才能构建出一个庞大的平台项目,包括以太坊也是这样的。开源社区都是这样的。我们看某个项目的时候,看开发者社区是没毛病的,也有人监测github代码的活跃度来评价一个项目,这也是一个维度。

IPFS 也是区块链发展技术的基石,没有去中心化数据存储,未来的区块链去中心化程序的中间数据没有地方存储。所以非常看好 IPFS

Q3:现在都在使用或依赖HTTP,最多是加个握手的https。 IPFS 可以解决这个HTTP的问题?而且 IPFS 是如何创造中心化存储环境的呢?

A: IPFS 依靠的是去中心化的点组成,不存在中心化的存储环境,你存的文件会被分散到无数个小的点上,每个点都是对等网络,无偏差。

Q4:去中心化的储存环境安全性怎么解决呢?

A:你可以加密啊,公钥在你手里,公钥不泄露,谁都破解不了。

Q5:我看我们现在一直用的是HTTP,说HTTP不可避免出现各类难以克服的问题,指的是哪方面?

A:HTTP的问题就在于集中化,比如说Facebook的8亿用户数据丢失,再比如说并发问题,很多企业花费人力物力去解决网络访问拥堵的情况,想想阿里双十一。

Q6:您觉得去中心化存储距离落地还有哪些比较大的问题需要解决呢,会不会有政策上的干扰因素呢?

A:去中心化存储落地的最大问题就是共识算法,因为历史上还没有这个算法,即便有也是半成品比如siacoin、storj、burstcoin等等,都是半解决方案,但是相对 IPFS 而言他们应用场景太单一,会导致应用面比较窄。政策暂时不会,可以封杀网站,但是不会封杀种子啊。

Q7:区块链过度强调去中心化,是不是导致其落地难的原因之一?同样, IPFS 的去中心化存储,会不会有政策层面的干扰?

A:主要是落地难是因为共识算法太难,政策面也就在咱们国家有吧,现在阶段不用考虑。再说了,美国也没有政策面啊哈哈哈哈,人家是全球项目。

Q8:在以后的发展中 IPFS 可以最终取代HTTP么?有什么发展前景?

A:这个需要一个过程,先缓慢的补充,然后再说取代,取代的路很长,毕竟HTTP已经有20多年历史了,现在的整个互联网都使用HTTP,不可能一下子就取代的。

Q9: Filecoin 主网什么时候上线,从年初到现在,有许多卖 IPFS 矿机的,但是由于 Filecoin 主网迟迟不上线, IPFS 矿机只能去挖别的币,可是效率很低。

A:根据 Filecoin Q1&Q2季度报,年底会上线测试网络,主网上线时间可能为2019年Q3了,5篇共识算法论文已经出来了,就剩下写代码的时间和调试了,现在的矿机市场确实是很乱,判断一个矿机靠谱不靠谱,看看其软件实力,因为未来 IPFS 也好,还是 Filecoin 也好,更多的是软件上的偏差。

Q10: Filecoin 挖矿热潮是怎么引起的?其奖励机制的设计有什么特别之处?

A:深处币圈的人都知道早起挖比特币以太坊的都赚了非常多的钱,所以 Filecoin 的挖矿备受关注,大家都想做第一批挖矿者,他的奖励机制和BTC差不多,属于线性释放,所以越早挖越好。我们公共号也有一篇文章专门分析 Filecoin 经济模型奖励机制的,大家可以看看。

Q11: Filecoin 规划的很不错,但是主网迟迟没有上线,您认为是什么原因呢?

A:主要问题是问题确实很难解决,这是一个别人曾经没做过的事情,也是区块链技术的最前沿的技术,所以难做出来是可以理解的,一旦做出来就是颠覆性的。对整个互联网都是有非常大的影响的。

Q12: Filecoin 是 IPFS 的激励层?

A: Filecoin 如果没有 IPFS 就是一个单纯的区块链存储项目, Filecoin 之所以受欢迎绝大多数还是因为 IPFS 未来的蓝图。从 Filecoin 论文可以看到, Filecoin 是一个去中心化存储网络(DSN),它试图通过算法解决无信任节点能否存取数据的问题,通俗的说就是通过奖惩机制保证文件存取。 IPFS 则提供了实现点对点文件存储/传输的基础设施。优秀的设计都是分层且相互解耦的,如果把 IPFS 比做google的GFS,那么 Filecoin 就是google的Bigtable。

Q13: IPFS 的存储效率会不会受使用者的网络状况所影响,您期望的 IPFS 主网性能是怎么样的?

A: IPFS 的效率不用太担心,因为是多点传输,一些个别网络不稳定的情况也不会影响整个使用的问题。我们测试结果看,效率非常的惊人。你用过BT软件嘛,非常的适合大文件的传输。

Q14:集中管理的Web服务器使得数据泄露和遭受DDOS风险极高;超中心化的Web内容使得HTTP数据中心的运作十分依赖Internet主干网络,一旦主干网崩溃,或是路由表错乱,就会造成极其严重的后果。这此后果具体怎样的呢,有什么影响?

A:DDos是每家互联网企业都非常烦恼的问题,而且无解,每年在DDos问题上,全世界因为DDos浪费了几百亿美金。用户来看的话,就是某些网站根本登陆不了,网络阻塞等现象。对公司来说,业务受影响。

Q15:不能说 IPFS 能颠覆我们对互联网的认识,但极大的推动互联网的发展肯定没有问题。

A:同意,是会催生大家认知的,比如说,我们的私有数据应该不应该属于BAT的,为什么他们可以拿我们数据去分析给我们推送广告,我们的文章,很多人看了,但是他们也没有分配利润给我们。这些问题都是未来我们要想的,我贡献内容,也应该收取收益。我们的数据应该是有所有权的。

Q16:请问 IPFS 中长期的发展规划是什么?对于潜在的竞争怎么看?

A:目前还没看到任何可以跟 IPFS 比的竞争对手,其他的作为区块链存储服务都太单一,你可以认为他只能当一个云盘用, IPFS 是一套协议。

Q17:去中心化存储可行性在哪?实施难度在哪?

A:去中心化存储实时的难度就在于其经济模型的设计,让矿工赚到钱,又能让使用者不需要花费大价钱。

Q18: IPFS 有什么缺点或不足吗?如有是什么?以后如何解决?

A: IPFS 还有一些缺点和不足,新兴事物需要时间和版本的迭代,比如说非常细小文件的传输等等,这些都是在慢慢解决的问题,但是瑕不掩瑜,给点时间,毕竟现在的互联网已经发展了20多年了,社区有个Roadmap一直在更新代码。

Q19:HTTP既然有不可避免的难以克服的难题, IPFS 做了补充,那会不会出现一个新的信息格式协议呢?比如以太坊太慢,柚子横空出世,那 IPFS 是不是就失去了意义?

A:不排除更好的出现,但是你要知道啊,一个标准建立起来很难被打破的,举个例子,安卓手机出的早,后来虽然windows phone做的不差,但是没市场了,成名趁早。目前看,还没人做这个事。

Q20: IPFS 是一个面向全球的、点对点的分布式版本文件系统,目标是为了补充HTTP,将所有具有相同文件系统的计算设备连接在一起。请问刘总你认为 IPFS 以后的落地应用过程中会遇到哪些关键性的阻力,你们团队如何去面对这些困难并予以解决?

A:第一就是基础建设层面,让普通人如何参与进来,降低使用门槛(这些我们在做)。第二就是在Dapp层面做一些比较实际的应用,让大家使用起来比较舒服(这些我们在做)。第三就是做个先行者,让一些企业参与进来,(未来要做)。

Q21:存储规模:2005年到现在整体存储量达16ZB,云计算产业跟不上数据增长量,而 Filecoin 网络在2020 年能达到2ZB存储规模,只需两三年的速度。这个理论数值可靠吗?

A:传统的存储总量在2020年达到47 ZB, 这个数据来源是《2018互联网女皇报告》,这个数据是可靠的。 Filecoin 的存储规模能达到什么程度,这个不好预测,但是目前看2017年1C0 Top1的项目,共识是肯定的。

Q22:就存储效率,存储成本而言, IPFS 对比目前的中心化方案都要差很多。所以买矿机的动力更多是挖矿卖币?抛开普通消费者不说,企业在未来3-5年是否愿意把传统存储换成 IPFS ?

A:初期的 Filecoin 建设很可能像BTC当年的挖矿历史,第一批人肯定是爱好者、信仰者、投机者建立的,这个算力可能会缓慢的增长,初期以矿工和挖币为主。当这个算力增长到一定阶段, Filecoin 的节点足够多的时候,就会形成一个比较稳定的存储网络,这个时候会有一些企业开始使用,现在 IPFS 在没有激励层的情况下,已经有了50亿个文件,有了激励层,这个潜力是不可想象的。然后网络的使用者初期可能是对网络实时性要求不太高的企业,比如说单纯的存储服务,视频点播业务,文件传递转发业务。而互联网的流量60%以上都是视频、文件的传输,而这也是 Filecoin 的优势所在。随着节点的越来越多, Filecoin 的网络能力会逐步的增强,因为是P2P的传输技术,这点就是非常大的优势,可能提供的网络比我们现在的网络效率更高,因为是多点传输的。

Q23: IPFS 与BT下载有一个非常大的区别。

BT下载是围绕文件而组织的,一群人/节点对某个文件感兴趣而相互连接起来,基于全球如此巨大的人口基数,即使极少的人对某个东西感兴趣,那么也会有一定的数量的,也就能令其工作,节点只存储自己感兴趣的内容,存储空间可大可小 IPFS 、SC等是围绕节点而组织的,节点之间构成网络,节点对于其存储的文件内容一无所知,节点存储空间有一定要求意味着 IPFS 、SC等存储空间的利用率会远低于BT系统。按照这么一个说话去预测的话: IPFS “普遍”后,最终很可能只是相对小众的市场承受更高成本,却接受差一些品质的服务?

A:首先说低于BT,这个观点不太赞同。BT的结果大家都看到了,因为没有激励层,导致现在BT一直是成为小众,BT对应的是比较热的文件,冷的文件几乎构不成一个稳定服务,所以,现在很多人不用BT是因为服务不稳定。我们把互联网的整个市场看成一个大硬盘,里面的冷热数据是2/8分的复合幂律定律。另外就是互联网热文件下降的速度非常快,几乎一周左右就变冷。这么来看,未来的数据其实大部分都是冷数据偏多。 Filecoin 因为有激励层在里面,保证了冷热数据都能有可靠的服务点去连接。对于高成本低品质的服务,我们可以纵观一下我们互联网的历史。举个简单的栗子,当初最早企业是没有分布式概念的,因为流量没有那么大,服务器升级就可以解决,比如说阿里巴巴,用的最多的就是IOE架构 IBM Orcel EMC,当不足以支撑这种增长的时候,采用了分布式的概念,最早提出分布式概念的是google,用低成本的廉价的服务器组成一个集群,代替了昂贵的大型机。去中心化的存储也是这个道理。

如果小编总结的问题没有包含你想了解的问题,欢迎加入我们的测试联盟,我们一起交流,一起成为第一批 Filecoin 矿工,共同见证 IPFS 项目的成长与 Filecoin 项目的落地。

 

你可能感兴趣的其他文章:

星际比特刘云鹏: IPFS 或是下一代互联网必经之路

星际比特刘云鹏: IPFS 将极大地推动互联网发展

注册 Filecoin 早期矿工流程如下:

注册地址:https://goo.gl/forms/QWXEKxUQ8XaujysX2

(使用的是google表单,需要梯子哦)