绪论
Maze项目产生的背景
根据天网搜索的信息统计,原来基于FTP的网络文件系统已经日益呈现出资源"相对"困乏的局面.FTP站点的总数量已经开始呈现下降趋势,并且绝大部分的FTP站点已经不能匿名访问.下图是我们在2002年10月于天网主页上进行问卷调查的结果统计,可以很明显地看出"下载难"乃是天网文件搜索引擎急待解决的核心问题.
图 1 天网文件搜索最迫切需要解决的问题
面临如此困境,理所当然,我们应当先分析一下传统FTP服务究竟存在哪些弊端,在当今这个日新月异的信息时代,随着宽带网的普及,上网用户想从网络上获得的不仅是文字,图片,软件等信息,更希望通过各个FTP站点共享和下载更多的用于娱乐和工作学习的多媒体文件,例如DVD视频和mp3音乐.然而多媒体文件相对其他文件来说一般很大,一个普通的DVD文件就要600多M,这必然导致网络流量的大幅度上升,越来越多的上网用户往往在相同的时间段集中访问某些著名的FTP站点,这样传统的FTP协议在处理多用户同时下载大文件的时候就不可避免的表现出了某些弊端.首先,FTP服务器不能承受大量用户同时连接和下载,当超过最大连接数时便会自动拒绝所有超额连接,而传统FTP协议中浏览目录使用的也是这种稳定的TCP连接,因此在服务器超负荷时用户甚至不能浏览目录,这种并非因为错误而产生的拒绝服务导致人们在使用FTP时非常不方便,往往需要人工的多次尝试连接以等待FTP服务器有空闲的连接资源,"登录难","下载难"的问题油然而生.其次,由于传统FTP协议并没有定义一个节点发现协议,只有依靠FTP搜索引擎等附加工具来发现已存的FTP站点,这样那些著名的FTP站点由于太多用户访问而经常处于超负荷的状态,而那些虽然含有相同资源的但并不出名的FTP站点却没有承担起分担负载的任务,更没有充分发挥作为一个FTP站点提供资源的作用.在仔细研究了传统FTP协议的这些不足之处以后,我们试图设计出一个更友好的协议,以保证只要网络资源存在就一定能够有效的发现资源,而只要能够看到的资源就一定可以成功下载.
经过深刻的研究,我们决定将当前热门的"P2P"技术以及"社交网络"技术相结合以作为节点发现策略,而使用类似BitTorrent的"多点下载"作为文件传输技术的核心,并且通过天网文件搜索引擎提供检索服务,从而给出一个解决上述传统FTP协议"下载难"等问题的方案.我们希望在保持传统FTP风格的文件共享环境和天网搜索环境的前提下,能够系统有效的解决上述问题,并且进一步促进网络资源的丰富.
在2002年10月的问卷调查之后,北京大学网络与分布式系统实验室针对天网文件搜索引擎中出现的"下载难"问题展开了广泛的讨论,大家集思广益,产生了数种试图解决该问题的方案,下面将列举其中几个对后来Maze的实现有着深刻影响的方案,这些想法作为Maze的前期讨论与研究,对Maze的最终的功能与算法起着不可忽视的作用.
陈霖硕士的相关想法
2002年底,网络实验室的陈霖硕士撰写了一篇"关于天网FTP搜索的思考"的论文,这篇文章对增强文件下载的自动性和可靠性提出了一些很好的想法.
他发现在天网搜索中经常出现下面两种情况:
某个文件当时不在任何的FTP上,过一段时间可能会出现某一两个FTP上,这种情况用户需要隔几天查询一下,相当不方便,用户希望天网搜索能帮助自动继续查询.
FTP服务器拒绝访问,或者由于用户数太多了无法登录.这种情况用户需要反复试好几个并不一定是有效的FTP站点,希望天网文件搜索能够协助找到可以匿名(或者提供密码的)登录的有效FTP站点.
而同时,陈霖硕士对检索资料与版权方面有如下考虑:
在文件的识别上,或者说在该文件的表述上,我们希望不仅仅得到文件的语法上的表述,更希望得到语义上的表述(用以确定用户需要的确实是这个文件.我们希望得到一种类似于加密系统中文件摘要的东西).总之,我们需要能有一种方法准确的知道用户想要什么.可是目前觉得似乎没有什么合适的解决之道,我们尽量取与文件最相关的1到3个备份.
对于版权的考虑.天网本身不提供文件存放的任何空间,存放空间可以由例如燕星等文件存储系统提供.不过,这样引起的效率的问题需要考虑——我们可以有Cache吗 作为补偿,我们生成一些用户,然后让这些用户重复以前用户的比较频繁的请求(用LRU算法或者其他),然后把这些请求所获得的结果放在这些用户的FTP空间.这些新生成的用户的空间与我们的系统之间有充裕的带宽相连,并且这些用户空间将被系统优先考虑.
引申2)中的方法,把整个网络看成以大系统,我们将要有FTP系统的稳定性和速度的记录,以取得最好的效率(或者说服务质量)

下一页