网络爬虫的整体执行流程：

1) 确定一个(多个)种子网页

2) 进行数据的内容提取

3) 将网页中的关联网页连接提取出来

4) 将尚未爬取的关联网页内容放到一个队列中

5) 从队列中取出一个待爬取的页面，判断之前是否爬过。

6) 把没有爬过的进行爬取，并进行之前的重复操作。

7) 直到队列中没有新的内容，爬虫执行结束。

这样完成爬虫时，会有一些概念必须知道的：

1) 深度(depth)：一般来说，表示从种子页到当前页的打开连接数，一般建议不要超过5层。

2) 广度(宽度)优先和深度优先：表示爬取时的优先级。建议使用广度优先，按深度的层级来顺序爬取

所谓遍历(Traversal)的定义是什么?

所谓遍历(Traversal)，是指沿着某条搜索路线，依次对树(或图)中每个节点均做一次访问。访问结点所做的操作依赖于具体的应用问题， 具体的访问操作可能是检查节点的值、更新节点的值等。不同的遍历方式，其访问节点的顺序是不一样的。遍历是二叉树上最重要的运算之一，是二叉树上进行其它运算之基础。当然遍历的概念也适合于多元素集合的情况，如数组。