一步步教你用python的scrapy编写一个爬虫-创新互联

介绍

为曹县等地区用户提供了全套网页设计制作服务，及曹县网站建设行业解决方案。主营业务为成都网站设计、成都网站建设、曹县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

本文将介绍我是如何在python爬虫里面一步一步踩坑，然后慢慢走出来的，期间碰到的所有问题我都会详细说明，让大家以后碰到这些问题时能够快速确定问题的来源，后面的代码只是贴出了核心代码，更详细的代码暂时没有贴出来。

流程一览

首先我是想爬某个网站上面的所有文章内容，但是由于之前没有做过爬虫（也不知道到底那个语言最方便），所以这里想到了是用python来做一个爬虫（毕竟人家的名字都带有爬虫的含义😄），我这边是打算先将所有从网站上爬下来的数据放到ElasticSearch里面, 选择ElasticSearch的原因是速度快，里面分词插件，倒排索引，需要数据的时候查询效率会非常好（毕竟爬的东西比较多😄），然后我会将所有的数据在ElasticSearch的老婆kibana里面将数据进行可视化出来，并且分析这些文章内容，可以先看一下预期可视化的效果（上图了），这个效果图是kibana6.4系统给予的帮助效果图（就是说你可以弄成这样,我也想弄成这样😁）。后面我会发一个dockerfile上来（现在还没弄😳）。

环境需求

• Jdk (Elasticsearch需要)
• ElasticSearch (用来存储数据)
• Kinaba (用来操作ElasticSearch和数据可视化)
• Python (编写爬虫)
• Redis (数据排重)

这些东西可以去找相应的教程安装，我这里只有ElasticSearch的安装😢点我获取安装教程

第一步，使用python的pip来安装需要的插件（第一个坑在这儿）

1.tomd:将html转换成markdown

pip3 install tomd

网站标题：一步步教你用python的scrapy编写一个爬虫-创新互联
网站路径：http://jkwzsj.com/article/cojcjs.html