1.Python爬虫：HTML网页解析方法小结
2.网页爬取器内容提取

Python爬虫：HTML网页解析方法小结

       要理解python是爬取爬如何解析网页的，首先要理解什么是网页网页网页解析器。

       简单的源码源代说就是用来解析html网页的工具，准确的爬取爬说：它是一个HTML网页信息提取工具，就是网页网页从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

       解析HTML：

       我们知道爬虫的源码源代java 情感分析 源码原理无非是把目标网址的内容下载下来存储到内存中，这个时候它的爬取爬内容其实是一堆HTML，然后再对这些HTML内容进行解析，网页网页按照自己的源码源代想法提取出想要的数据。

       今天主要讲讲Python中解析网页HTML内容的爬取爬四种方法：

       其中BeautifulSoup和XPath是python中解析网页常用的两个库，对于新手来说是网页网页利器，零基础小白建议先打好Python基础再去上手爬虫会容易一些。源码源代

       “零基础如何学Python”在知乎看到过一篇比较好的爬取爬问答贴，讲的网页网页很实用，大家伙可以移步去看看，源码源代链接分享在下方。

       1、BeautifulSoup

       大名鼎鼎的BeautifulSoup库，在Pyhton的HTML解析库里属于重量级的库。

       安装途径：

       解析的ajax返回html源码第一步，是构建一个BeautifulSoup对象。

       第二个参数表示解析器，BeautifulSoup支持以下多种解释器：

       BeautifulSoup对应一个HTML/XML文档的全部内容；

       BeautifulSoup类的基本元素

       任何存在于HTML语法中的标签都可以用soup.访问获得，当HTML文档中存在多个相同对应内容时，soup.返回第一个。

       每个都有自己的名字，通过.name获取，字符串类型 Tag的attrs：一个可以有0或多个属性，字典类型 NavigableString可以跨越多个层次

       1）访问标签

       通过点号操作符，可以直接访问文档中的特定标签，示例：

       这样的方式每次只会返回文档中的第一个标签，对于多个标签，则通过find_all方法返回多个标签构成的列表。

       还可以在find方法中添加过滤条件，更加精确的定位元素。

       2）访问标签内容和属性

       通过name和string可以访问标签的名字和内容，通过get和中括号操作符则可以访问标签中的属性和值。

       结合定位元素和访问属性的方法，可以方便快捷的波浪启动源码指标提取对应元素，提高解析html的便利性。

       使用Beautiful Soup库解析网页

       BeautifulSoup解析内容同样需要将请求和解析分开，从代码清晰程度来讲还将就，不过在做复杂的解析时代码略显繁琐，总体来讲用起来还不错，看个人喜好吧。

       爬虫的基本技能最重要的两点：如何抓取数据？如何解析数据？我们要活学活用，在不同的时候利用最有效的工具去完成我们的目的。

       工具是其次，学习不要主末颠倒了，我上面分享的那篇文章也有提到过这个问题（链接有放在下方），要明确你学习的最终目的是什么？

       2、lxml的XPath

       lxml这个库同时支持HTML和XML的解析，支持XPath解析方式，解析效率挺高，不过我们需要熟悉它的一些规则语法才能使用。

       使用xpath需要从lxml库中导入etree模块，还需要使用HTML类对需要匹配的HTML对象进行初始化。

       安装途径：

       Xpath常用表达式

       使用表达式定位head和title节点

       Xpath谓语常用的小说源码在线阅读表达式

       使用谓语定位head和ul节点

       定位并获取title节点内的文本内容

       提取ul节点下的所有文本文件和链接地址

       XPath的解析语法稍显复杂，不过熟悉了语法的话也不失为一种优秀的解析手段。

       示例：

       3、requests-html

       我们知道 requests 只负责网络请求，不会对响应结果进行解析，因此可以把 requests-html 理解为可以解析 HTML 文档的 requets 库。

       requests-html 的代码量非常少，都是基于现有的框架进行二次封装，开发者使用时可更方便调用，它依赖于 PyQuery、requests、lxml 等库。

       安装途径：

       需要注意的是这个库目前只支持python3.6版本；

       requests-html 具有以下特性：

       requests-html默认使用session保持的请求方式，且其返回内容是一个带有丰富方法的对象。

       获取一个随机User-Agent

       不用每次在请求头里面去复制user-agent；

       对JavaScript的支持是requests-html最大的亮点，会用到render函数，需要注意的是第一次使用这个方法，它会先下载Chromium，然后使用Chromium来执行代码，但是证件识别源码php下载的时候可能需要一个梯子，这里就先不展开讨论了。

       学过requests库的看到requests-html的api应该会很熟悉，使用方法基本一致，不同的是使用requests编写爬虫时，要先把网页爬取下来，然后再交给BeautifulSoup等一些html解析库，现在可以直接解析了。

       示例：

       通过简短的几行代码，就可以把整个首页的文章抓取下来。

       示例中使用的几个方法：

       ① find( ) 可以接收两个参数：

       第一个参数可以是class名称或ID第二个参数first=True时，只选取第一条数据

       ② text 获取元素的文本内容

       ③ attrs 获取元素的属性，返回值是个字典

       ④ html 获取元素的html内容

       使用requests-html来解析内容的好处在于作者都高度封装过了，连请求返回内容的编码格式转换也自动做了，完全可以让代码逻辑更简单直接，更专注于解析工作本身。

       4、正则表达式

       正则表达式通常被用来检索、替换那些符合某个模式的文本，所以我们可以利用这个原理来提取我们想要的信息。

       使用正则表达式， 需要导入re模块，该模块为Python提供了完整的正则表达式功能。

       严格的字符匹配示例：

       注意：python只支持re模块进行正则表达式的书写

       使用正则表达式查找网页内容中的title内容：

       使用正则表达式无法很好的定位特定节点并获取其中的链接和文本内容，而使用Xpath和Beautiful Soup能较为便利的实现这个功能。

       正则就是编写麻烦，理解不容易，但是匹配效率很高，不过现在有很多现成的HTMl内容解析库之后，不太推荐再手动用正则来对内容进行匹配了，麻烦费时费力。

       5、小结：

       （1）正则表达式匹配不推荐，因为已经有很多现成的库可以直接用，不需要我们去大量定义正则表达式，还没法复用，尝试过正则表达式的小白就能体会，使用正则表达式来筛选网页内容是有多费劲，而且总是感觉效果不太好。

       （2）BeautifulSoup是基于DOM的方式，简单的说就是会在解析时把整个网页内容加载到DOM树里，内存开销和耗时都比较高，处理海量内容时不建议使用。

       BeautifulSoup不需要结构清晰的网页内容，因为它可以直接找到我们想要的标签，如果对于一些HTML结构不清晰的网页，它比较适合。

       （3）XPath是基于SAX的机制来解析，不会像BeautifulSoup去加载整个内容到DOM里，而是基于事件驱动的方式来解析内容，更加轻巧。

       不过XPath要求网页结构需要清晰，而且开发难度比DOM解析的方式高一点，推荐在需要解析效率时使用。

       （4）requests-html 是比较新的一个库，高度封装且源码清晰，它直接整合了大量解析时繁琐复杂的操作，同时支持DOM解析和XPath解析两种方式，灵活方便，可以尝试。

       除了以上介绍到几种网页内容解析方式之外还有很多解析手段，这里就暂不一一介绍了。

网页爬取器内容提取

       网页爬取器的主要任务是建立搜索引擎的索引，其处理对象主要是文本文件。网络蜘蛛在抓取网页时，会遇到各种格式的文件，如HTML、、doc、pdf、多媒体和动态网页等。这些文件抓取后，关键在于从其中准确提取文本信息。这不仅影响搜索引擎的搜索精度，还关系到网络蜘蛛的链接追踪功能。

       对于doc和pdf等文档，由于由专业软件生成，通常提供了文本提取接口，使得网络蜘蛛可以通过调用这些插件轻松获取文档内容。然而，HTML文档则需要特殊处理，因为它们有自己的语法，如标识符用来表示字体、颜色和版式。提取时需要过滤这些标识符，同时记录字体、样式等信息，以便计算单词在页面中的重要性。此外，还需过滤掉无用的链接，如导航条，以减少无关搜索结果。

       多媒体和文件的处理则依赖于链接的锚文本和文件注释，通过链接文字来判断文件内容。动态网页，尤其是由脚本语言（如VBScript和javascript）生成的，对网络蜘蛛来说更具挑战性，可能需要额外的脚本解释程序。对于依赖数据库存储数据的网站，搜索引擎抓取的难度更大，可能需要网站提供数据库遍历功能，以便索引内容。

       网页内容提取技术通常采用插件形式，通过插件管理服务程序根据不同格式的网页选择相应的处理方法。这种设计具有良好的扩展性，每当遇到新类型网页，只需添加相应插件即可。这种系统设计有助于应对日益复杂的网络环境，提高内容提取的效率和准确性。

扩展资料

       网页爬取器(gatherer)，是指网页搜索集子系统中根据url完成一篇见面爬取的进程或者线程，通常一个搜索子系统上会同时启动多个gatherer并行工作。网页爬取器软件有“网络蜘蛛”。