Python爬虫代理IP池(proxy pool)

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

微信小游戏辅助合集（加减大师、包你懂我、大家来找茬腾讯版、头脑王者、好友画我、悦动音符、我最在行、星途WeGoing、猜画小歌、知乎答题王、腾讯中国象棋、跳一跳、题多多黄金版）

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

The A11y Machine is an automated accessibility testing tool which crawls and tests pages of any web application to produce detailed reports.

知乎模拟登录，支持提取验证码和保存 Cookies

geetest，滑动验证码

腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等

Bitextor generates translation memories from multilingual websites.

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

滑动验证码，希望对你们有所帮助❤️

一个简单的分布式爬虫框架

A dungeon crawler

A simple, fast, and reliable Coursera crawling & downloading tool

免费 IP 代理池。Scrapy 爬虫框架插件

[Deprecated - Maintenance mode - use APIs directly please!] The official Diffbot client library

A bash script to spider a site, follow links, and fetch urls (with built-in filtering) into a generated text file.

摸鱼神器：在命令行中看今日头条

⚡ Light weight Golang spider framework | 轻量的 Golang 爬虫框架

爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer

Simple, flexible, delightful web crawler/spider package

A Moodle Crawler that downloads course content from Moodle (eg. lecture pdfs)

组合多请求，抓取结构化数据，基于scrapy组件

php爬虫系统

Lightweight library for scalable crawlers in Go.

弥补python的Requset库无法处理动态网页的问题,chrome debug procotol支持的所有内容

Keyword-based headline news crawl app for macOS

Serritor is an open source web crawler framework built upon Selenium and written in Java. It can be used to crawl dynamic web pages that require JavaScript to render data.