知识改变命运
04
23
【Scrapy】Scrapy教程7——存储数据 【Scrapy】Scrapy教程7——存储数据
上一节我们对爬虫程序的默认回调函数parse做了改写,提取的数据可以在Scrapy的日志中打印出来了,光打印肯定是不行的,还需要把数据存储,数据可以存到文件,也可以存到数据库,我们一一来看。 存储数据到文件首先我们看看如何将数据存储到文件,
2025-04-23
16
【Scrapy】Scrapy教程6——提取数据 【Scrapy】Scrapy教程6——提取数据
前一小节我们拿到了页面的数据,那页面中那么多内容,我们想要其中的部分内容,该如何获取呢?这就需要对我们下载到的数据进行解析,提取出来想要的数据,这节就讲讲如何提取数据。 引入我们编辑保存下来的shouye.html文件看下,发现这是什么鬼,
2025-04-16
16
【Scrapy】Scrapy教程5——第一个Scrapy项目 【Scrapy】Scrapy教程5——第一个Scrapy项目
通过前几节的学习,我们已经了解了Scrapy的基本操作,下面我们开始第一个项目,我以本人的网址为例进行爬虫讲解,之所以用我自己的网站,是因为我这个网站本来就是做知识分享用的,共大家学习,不会去限制爬取,现在很多网站为了防止爬虫,都会做很多限
2025-04-16