python爬虫的复习1使用etree进行XPath
一、相关知识
1.1 etree的使用
1.1.1 编码流程
-
将HTML文本加载到etree对象中
-
调用etree的xpath()函数完成标签定位
-
对标签为所欲为(此时获得的标签其实是xpath()函数返回的对象)
1.1.2 环境安装
pip install lxml
1.1.3 实例化etree对象
-
# 首先导入模块
-
from lxml import etree
-
从本地加载HTML
-
filePath='你的HTML文件路径'
-
tree=etree.parse(filePath)
-
从响应数据加载HTML
-
url='某个网址'
-
import requests
-
respose=requests.get(url)
-
tree=etree.HTML(respose.text)
1.2 XPath语法
XPath相关知识详见: https://www.runoob.com/xpath/xpath-syntax.html
xpath('xpath表达式'):
-/:最左侧的斜杠表示从根节点开始定位,中间的斜杠表示的是一个层级
-//:中间的//表示的是多个层级,最左侧的//表示从任意位置开始定位
-属性定位://tag[@属性名称='属性值']
-索引定位://tag[@属性名称='属性值']/p[3] ==> 索引从1开始
-取文本:
-/text():获取的是标签中直系的文本内容
-//text():获取的的是标签下所有的文本内容
-取属性值:
-/@属性名字
1.3 XPath简单举例
HTML文件内容:
-
#test.html文件中的内容
-
-
-
<html lang="en">
-
<head>
-
<meta charset="UTF-8" />
-
<title>测试bs4</title>
-
</head>
-
<body>
-
<div>
-
<p>百里守约</p>
-
</div>
-
<div class="song">
-
<p>李清照</p>
-
<p>王安石</p>
-
<p>苏轼</p>
-
<p>柳宗元</p>
-
<a href="http://www.song.com/" title="赵匡胤" target="_self">
-
<span>this is span</span>
-
宋朝是最强大的王朝,不是军队的强大,而是经济很强大,国民都很有钱</a>
-
<a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
-
<img src="http://www.百度.com/meinv.jpg" alt=""/>
-
</div>
-
<div class="tang">
-
<ul>
-
<li><a href="http://ww.百度.com" title= "ging">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
-
<li><a href="http://ww.163 .com" title="gin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
-
<li><a href="http://ww.126.com" alt= "qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
-
<li><a href="http://www.sina.com" class="du">杜甫</a></li>
-
<li><a href="http://www.dudu.com" class="du">杜牧</a></li>
-
<li><b>杜小月</b></li>
-
<li><i>度蜜月</i></li>
-
<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
-
</ul>
-
</div>
-
</body>
-
</html>
测试代码:
-
from lxml import etree
-
-
if __name__ == '__main__':
-
#实例化一个对象,且将解析的源码加载到该对象中
-
tree=etree.parse('test.html')
-
-
print(tree.xpath('/html/head/title'))#从根目录开始遍历html,html>head>title
-
print(tree.xpath('/html//title'))#同上,这里的//表示的是多个层级
-
print(tree.xpath('//div'))#最左侧的//表示从任意位置开始定位title
-
print(tree.xpath('//div[@class="song"]'))#class属性定位
-
print(tree.xpath('//div[@class="song"]/p[3]'))#索引定位,索引下标从1开始
-
print(tree.xpath('//div[@class="tang"]/ul/li[5]/a/text()')[0])#杜牧
-
print(tree.xpath('//li[7]/i/text()'))#返回的是列表['度蜜月'],若想拿值,可以加上[0]
-
print(tree.xpath('//li[7]//text()')) # 同上
-
print(tree.xpath('//div[@class="song"]/img/@src')[0])#取属性值
运行结果:
二、案例-爬取豆瓣电影以及评分
2.1 网页分析
2.1.1 背景介绍
要爬取的网站: https://movie.douban.com/
2.1.2 页面分析
获取li标签:'//*[@id="screening"]/div[2]/ul/li'获得的是一个li标签列表
获取电影名字:''@data-title' ==>直接获取属性值
【或者】'./ul/li[@class="title"]/a/text()' ==>获取标签文本
获得详情页的url:'./ul/li[@class="poster"]/a/@href'
进入详情页后操作类似于上面几步:
2.2 代码
-
import requests
-
from lxml import etree
-
-
header = {
-
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'}
-
url="https://movie.douban.com/"
-
res = requests.get(url, headers=header)
-
# 将相应数据加载到etree对象
-
tree=etree.HTML(res.text)
-
li_list=tree.xpath('//*[@id="screening"]/div[2]/ul/li')
-
-
for li in li_list:
-
name=li.xpath('@data-title')[0]#获取属性值
-
rate=li.xpath('@data-rate')[0]
-
print('电影名字:',name)
-
print('电影评分:',rate)
-
#进入详情页
-
detail_url=li.xpath('./ul/li[@class="poster"]/a/@href')[0]
-
detail_res=requests.get(detail_url,headers=header)
-
new_tree=etree.HTML(detail_res.text)
-
new_span_list=new_tree.xpath('//div[@id="info"]/span')
-
detail_info=dict()
-
for span in new_span_list:
-
name=span.xpath('./span[1]/text()')[0]
-
value=span.xpath('./span[2]//text()')[0]
-
print("%s:%s"%(name,value))
-
-
break
-
运行结果:
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhhacafj
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13