Python爬虫小实践：获取某个网站所有的外部链接以及内部链接

我们在进行爬虫时有的时候不可能只是在一个网站上进行内容上的爬取，理想中的爬虫应该是顺着一个链接从一个页面到另外一个页面，这需要获取页面上的所有的外链，同时收集每个页面上的内链。网站首页上不一定会发现外链，为了防止程序出错，就要递归深入到一个网站直到找到一个外链为止。我们在进行爬虫时有的时候不可能只是在一个网站上进行内容上的爬取，理想中的爬虫应该是顺着一个链接