189 8069 5689

Python中如何使用Github用户数据爬虫

Python中如何使用Github用户数据爬虫,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

成都创新互联成立于2013年,是专业互联网技术服务公司,拥有项目网站制作、做网站网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元孝义做网站,已为上家服务,为孝义各地企业和个人服务,联系电话:028-86922220

前言

主要目标是爬取Github上指定用户的粉丝数据以及对爬取到的数据进行一波简单的可视化分析。 让我们愉快地开始吧~

开发工具

Python版本:3.6.4

相关模块:

bs4模块;

requests模块;

argparse模块;

pyecharts模块;

以及一些python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

数据爬取

感觉好久没用beautifulsoup了,所以今天就用它来解析网页从而获得我们自己想要的数据呗。以我自己的账户为例:

Python中如何使用Github用户数据爬虫

我们先抓取所有关注者的用户名,它在类似如下图所示的标签中:

Python中如何使用Github用户数据爬虫

用beautifulsoup可以很方便地提取它们:

'''获得followers的用户名'''
def getfollowernames(self):
    print('[INFO]: 正在获取%s的所有followers用户名...' % self.target_username)
    page = 0
    follower_names = []
    headers = self.headers.copy()
    while True:
        page += 1
        followers_url = f'https://github.com/{self.target_username}?page={page}&tab=followers'
        try:
            response = requests.get(followers_url, headers=headers, timeout=15)
            html = response.text
            if 've reached the end' in html:
                break
            soup = BeautifulSoup(html, 'lxml')
            for name in soup.find_all('span', class_='link-gray pl-1'):
                print(name)
                follower_names.append(name.text)
            for name in soup.find_all('span', class_='link-gray'):
                print(name)
                if name.text not in follower_names:
                    follower_names.append(name.text)
        except:
            pass
        time.sleep(random.random() + random.randrange(0, 2))
        headers.update({'Referer': followers_url})
    print('[INFO]: 成功获取%s的%s个followers用户名...' % (self.target_username, len(follower_names)))
    return follower_names

接着,我们就可以根据这些用户名进入到他们的主页来抓取对应用户的详细数据了,每个主页链接的构造方式为:

https://github.com/ + 用户名
例如: https://github.com/CharlesPikachu

我们想要抓取的数据包括:

Python中如何使用Github用户数据爬虫

同样地,我们利用beautifulsoup来提取这些信息:

for idx, name in enumerate(follower_names):
    print('[INFO]: 正在爬取用户%s的详细信息...' % name)
    user_url = f'https://github.com/{name}'
    try:
        response = requests.get(user_url, headers=self.headers, timeout=15)
        html = response.text
        soup = BeautifulSoup(html, 'lxml')
        # --获取用户名
        username = soup.find_all('span', class_='p-name vcard-fullname d-block overflow-hidden')
        if username:
            username = [name, username[0].text]
        else:
            username = [name, '']
        # --所在地
        position = soup.find_all('span', class_='p-label')
        if position:
            position = position[0].text
        else:
            position = ''
        # --仓库数, stars数, followers, following
        overview = soup.find_all('span', class_='Counter')
        num_repos = self.str2int(overview[0].text)
        num_stars = self.str2int(overview[2].text)
        num_followers = self.str2int(overview[3].text)
        num_followings = self.str2int(overview[4].text)
        # --贡献数(最近一年)
        num_contributions = soup.find_all('h3', class_='f4 text-normal mb-2')
        num_contributions = self.str2int(num_contributions[0].text.replace('\n', '').replace(' ', ''). \
                            replace('contributioninthelastyear', '').replace('contributionsinthelastyear', ''))
        # --保存数据
        info = [username, position, num_repos, num_stars, num_followers, num_followings, num_contributions]
        print(info)
        follower_infos[str(idx)] = info
    except:
        pass
    time.sleep(random.random() + random.randrange(0, 2))

数据可视化

这里以我们自己的粉丝数据为例,大概1200条吧。

先来看看他们在过去一年里提交的代码次数分布吧:

Python中如何使用Github用户数据爬虫

提交最多的一位名字叫fengjixuchui,在过去一年一共有9437次提交。平均下来,每天都得提交20多次,也太勤快了。Python中如何使用Github用户数据爬虫

再来看看每个人拥有的仓库数量分布呗:

Python中如何使用Github用户数据爬虫

本以为会是条单调的曲线,看来低估各位了。

接着来看看star别人的数量分布呗:

Python中如何使用Github用户数据爬虫

还行,至少不全都是"潜水白嫖"的Python中如何使用Github用户数据爬虫

。表扬一下名为lifa123的老哥,竟然给别人了18700个????,也太秀了。Python中如何使用Github用户数据爬虫

再来看看这1000多个人拥有的粉丝数量分布呗:

Python中如何使用Github用户数据爬虫

关于Python中如何使用Github用户数据爬虫问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。


分享标题:Python中如何使用Github用户数据爬虫
当前网址:http://jkwzsj.com/article/gdespp.html

其他资讯