spider

哔哩哔哩常用API调用。支持视频、番剧、用户、频道、音频等功能。工具齐全。原储存库地址：https://github.com/MoyuScript/bilibili-api

Explorer is a Autonomous (self-hosted) Bittorrent Network Search Engine.

spider: A Stata package for spider plots.

Oh no, stop this. You can see my local IP address 😲! Use `foundation` attribute against CRC32 lookup table to reveal local IP address of a Chrome/Chromium visitor.

喷嚏图挂内容爬虫及托管

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

↑↑↑上面两三个都是几秒钟更新一次的垃圾收费网站的商业广告 本项目完全免费且由个人开发，并且长期维护 python selenim QQ空间 虎牙 电影 微信 微博 抖音 知乎 B站 bili Bili 百度贴吧 小红书 tiktok youtube twitter 有颜色 爬虫

Nintendo Switch游戏封面自动爬虫

FofaMap是一款基于Python3开发的跨平台FOFA API数据采集器，支持网站图标查询、批量查询和自定义查询FOFA数据，能够根据查询结果自动去重并生成对应的Excel表格。另外春节特别版还可以调用Nuclei对目标进行漏洞扫描，让你在挖洞路上快人一步。

基于webMagic爬取知乎数据，并按天定时归档

技术文章备份

Sky光遇每日任务攻略自动更新，自动推送邮箱，再也不怕崽崽不会做每日任务啦啦啦！！！【利用爬虫实现】

A set of spiders and scrapers to extract location information from places that post their location on the internet.

Go编写的影视资源采集器

一套工具组，包括访问链接， 获取元素，抽取文件等等 也有已经实现好通过scihub获取论文的小工具，还有对于pdf转doc，文本翻译,代理连接获取以及通过api获取代理链接， PDF文件合并，PDF文件截取某些页，CSV，xls文件处理等

每日从蛋卷基金备份估值

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

Web crawler based on Puppeteer

robots.txt file parsing and checking for R

The World-Wide-Web crawler for Apache Solr. (Developing)