李明

编者按：前两周简要地给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。 1、简单明了的网站结构 Spider抓取相当于对web这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证spider的可读性。 （1）树型结构最优的结构即“首页—频道—详情页”； （2）扁平首页到详情页的层次尽量少，既对抓取友好又可...