8000 GitHub - BH2VXW/WeiboSpider: 使用 .Net 5 实现一个简单的微博评论的抓取程序,抓取到的评论保存到Excel文件中。
[go: up one dir, main page]
More Web Proxy on the site http://driver.im/
Skip to content

使用 .Net 5 实现一个简单的微博评论的抓取程序,抓取到的评论保存到Excel文件中。

Notifications You must be signed in to change notification settings

BH2VXW/WeiboSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 

Repository files navigation

说明

一、简述

该代码实例实现了微博评论的简单抓取,并把抓取到的信息保存到Excel中。HTML解析使用的是AngleSharp库,Excel导出使用的是ClosedXML.Excel库。

二、使用方法

1.配置

配置放在App.config中,目前只支持两项配置,是导出的Excel文件的保存目录,另一个是Cookies。Cookies的获取方法:
1.使用Firefox或Chrome浏览器打开微博网站,按F12打开开发者模式,之后切换到网络Network选项卡,找到Cookie。 2.把找到的Cookie添加到App.config中的cookie项中。

2.执行

在Windows中运行Spider.exe文件,或在Linux下执行dotnet Spider.dll,按提示信息填写要抓取评论的微博地址和要保存的文件名,如果不填将使用默认值。抓取结束后Excel将保存到设定的文件夹下的out目录中,日志文件保存在logfiles文件夹下。

三、其他

目前只支持一级评论,不支持子评论。因为微博接口限制,有时抓取的数据会特别少,多试几次。

About

使用 .Net 5 实现一个简单的微博评论的抓取程序,抓取到的评论保存到Excel文件中。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

0