11 captures

22 Aug 2021 - 07 Jan 2026

About this capture

Navigation Menu

Search code, repositories, users, issues, pull requests...

Provide feedback  

Saved searches  

Use saved searches to filter your results more quickly

To see all available qualifiers, see our documentation.

python-web-scraper  

Here are  59 public repositories  matching this topic...  

Language:  All

 
Filter by language  

All  59 Python  44 Jupyter Notebook  4 HTML  3 CSS  1 Java  1 JavaScript  1 Swift  1

Sort:  Most stars

 
Sort options  

Most stars   Fewest stars   Most forks   Fewest forks   Recently updated   Least recently updated  

d60 /  twikit 

Sponsor  
Star  2.4k
 




● Code  

● Issues  

● Pull requests  

● Discussions  




Twitter API Scraper | Without an API key | Twitter Internal API | Free | Twitter scraper | Twitter Bot
 

python search bot client wrapper twitter-bot scraper twitter twitter-api scraping python3 twitter-client scrape tweepy xtwitter-scraper python-web-scraper x-api twitter-internal-api 



● Updated  Feb 12, 2025  

● Python  

omkarcloud /  botasaurus 

Sponsor  
Star  1.8k
 




● Code  

● Issues  

● Pull requests  

● Discussions  




The All in One Framework to build Awesome Scrapers.
 

anti-bot web-crawling bot-detection python-scraper anti-detect undetected scraping-framework undetectable python-web-scraper scraping-tool cloudflare-bypass scraping-python python-web-scraping anti-detection cloudflare-scrape bypass-cloudflare web-scraping-python undetected-chromedriver antidetect-browser anti-detect-browser 



● Updated  Mar 7, 2025  

● Python  

je-suis-tm /  web-scraping 

Star  774
 




● Code  

● Issues  

● Pull requests  




Detailed web scraping tutorials for dummies with financial data crawlers on Reddit WallStreetBets, CME (both options and futures), US Treasury, CFTC, LME, MacroTrends, SHFE and alternative data crawlers on Tomtom, BBC, Wall Street Journal, Al Jazeera, Reuters, Financial Times, Bloomberg, CNN, Fortune, The Economist
 

web-scraper web-scraping newsletter reuters bloomberg futures web-scrapers scrapper financial-data news-websites data-scraping news-scraper futures-historical-data data-scraper sraping python-web-scraper financial-times options-data wall-street-journal wallstreetbets 



● Updated  Feb 1, 2022  

● Python  

davidteather /  everything-web-scraping 

Sponsor  
Star  376
 




● Code  

● Issues  

● Pull requests  




Learn everything web scraping with David Teather Codes on YouTube
 

python course everything reverse-engineering python3 web-scraping courses webscraping hacktoberfest youtube-series python-web-scraper project-based-learning web-scraping-tutorial project-based-learning-courses hacktoerfest web-scraping-python project-based-tutorials 



● Updated  Jul 31, 2023  

● HTML  

oxylabs /  Python-Web-Scraping-Tutorial 

Star  280
 




● Code  

● Issues  

● Pull requests  




In this Python Web Scraping Tutorial, we will outline everything needed to get started with web scraping. We will begin with simple examples and move on to relatively more complex.
 

python crawler scraping web-scraping python-web-crawler webscraping web-crawler-python python-web-scraper python-projects web-scraping-python github-python web-scraping-api scraper-python amazon-scraper-python json-database-python 



● Updated  Feb 11, 2025  

● Python  

oxylabs /  aliexpress-scraper 

Star  230
 




● Code  

● Issues  

● Pull requests  




Easily collect public AliExpress data like prices, product details, and ratings with AliExpress Scraper API
 

aliexpress aliexpress-crawler aliexpress-spider e-commerce-api email-crawler aliexpress-api python-web-scraper aliexpress-scraper scraper-api alibaba-api e-commerce-scraper github-python ali-scraper 



● Updated  Feb 11, 2025  

● Python  

jpjacobpadilla /  Stealth-Requests 

Star  229
 




● Code  

● Issues  

● Pull requests  




Undetected Web-Scraping & Seamless HTML Parsing in Python!
 

python data web-crawler http-client http-requests requests web-scraping xpath data-extraction html-parsing webscraping python-web-scraper python-scraping 



● Updated  Feb 3, 2025  

● Python  

oxylabs /  web-scraping-google-sheets 

Star  80





● Code  

● Issues  

● Pull requests  




Guide to Using Google Sheets for Basic Web Scraping
 

web-scraping google-news-scraper web-crawler-python email-scraper google-trends-api python-web-scraper google-news-api web-scraping-python google-search-scraper google-sheets-web-scraping web-scraping-google-sheets 



● Updated  Feb 11, 2025  

Conso1eCowb0y /  Deepminer 

Star  49





● Code  

● Issues  

● Pull requests  




Deep web crawler and search engine
 

github search-engine security crawler data-mining osint spider crawling tor hacking python3 onion tor-network webcrawler security-tools dark-web deepweb the-onion-router python-web-scraper deepminer 



● Updated  Aug 4, 2020  

● Python  

oxylabs /  scrape-google-python 

Star  47





● Code  

● Issues  

● Pull requests  




In this tutorial, we showcase how to scrape public Google data with Python and Oxylabs API.
 

python google scraping web-scraping scrape python-web-scraper scraping-api scraper-api python-scraping scrape-google 



● Updated  Feb 10, 2025  

thewebscraping /  tls-requests 

Star  42





● Code  

● Issues  

● Pull requests  




TLS Requests is a powerful Python library for secure HTTP requests, offering browser-like TLS client, fingerprinting, anti-bot page bypass, and high performance.
 

anti-bot-page anti-bot python-web-crawler python-crawler python-spider web-crawler-python web-spider python-scraper tls-client python-web-scraper cloudflare-bypass scraping-python python-web-scraping crawling-python web-scraping-python anti-bot-detection cf-clearance cloudflare-scraper web-scraping-api python-tls-client 



● Updated  Mar 9, 2025  

● Python  

AbderrahimAl /  Facebook-Scraper 

Star  41





● Code  

● Issues  

● Pull requests  




Collect data from Facebook Posts based on search queries 🦋
 

python selenium bs4 facebook-scraper python-web-scraper 



● Updated  Apr 7, 2023  

● Python  

J4NN0 /  linkedin-web-scraper 

Star  38





● Code  

● Issues  

● Pull requests  




Python Web Scraper for LinkedIn to collect and store company data (e.g. name, description, industry, etc.) into .xls file
 

scraper selenium webscraper scrapy-spider scrapy selenium-webdriver webscraping scraping-websites openpyxl scrapy-crawler scrapy-tutorial scrapy-demo selenium-python webscraper-website webscraping-search webscraper-api python-web-scraper python-excel 



● Updated  Dec 18, 2023  

● Python  

oxylabs /  ebay-scraper 

Star  34





● Code  

● Issues  

● Pull requests  




eBay Scraper for extracting product titles, descriptions, prices, specifications, customer reviews, and ratings from eBay
 

ebay url-scraper ebay-api python-web-scraper ebay-scraper ebay-search ebay-apis ebay-searches scrape-ebay 



● Updated  Feb 11, 2025  

● Java  

Smartproxy /  Python-scraper-tutorial 

Star  29





● Code  

● Issues  

● Pull requests  




A short introduction to scraping with Python with given steps and an example scraper script.
 

python learning crawler data-science data-mining scraping web-scraping beautifulsoup python-web-crawler webscraping web-crawler-python python-web-scraper python-projects web-scraping-python github-python web-scraping-api scraper-python json-database-python 



● Updated  Apr 19, 2024  

● Python  

sallamy2580 /  python-web-scrapping 

Star  27





● Code  

● Issues  

● Pull requests  




Detailed web scraping tutorials for dummies with financial data crawlers on Reddit WallStreetBets, CME (both options and futures), US Treasury, CFTC, LME, MacroTrends, SHFE and alternative data crawlers on Tomtom, BBC, Wall Street Journal, Al Jazeera, Reuters, Financial Times, Bloomberg, CNN, Fortune, The Economist
 

scraping web-scraper newsletter reuters bloomberg scrapers futures web-scrapers financial-data news-websites data-scraping news-scraper futures-historical-data web-scrapping data-scraper python-web-scraper financial-times options-data wallstreetbets wall-street-jo 



● Updated  Jul 21, 2022  

● Python  

moonlitgrace /  mangareader-api 

Star  27





● Code  

● Issues  

● Pull requests  

● Discussions  




A Python based web scraping api built with fastapi that provides easy access to manga contents
 

python anime scraping manga web-scraping mangareader python-web-scraper fastapi manga-api 



● Updated  Mar 8, 2025  

● Python  

JohnScooby /  Google-Scraper 

Star  25





● Code  

● Issues  

● Pull requests  




A Simple Python Based Google Search Results Scraper.
 

python scraper webscraping scrapy-crawler google-search dorker google-search-using-python python-web-scraper google-dorking dorking google-scraping web-scraping-project 



● Updated  Oct 31, 2022  

● Python  

kowshika-n /  Python-Scrapers 

Star  23





● Code  

● Issues  

● Pull requests  




This repo includes a collection of Python scripts and tools built for enabling web scraping and data entry. Results are extracted and exported to CSV or Excel files as per requirements.
 

python automation python-library python-script webscraper freelance scripts-collection python-scripts webscraping freelancing freelancer standalone-snippets python-tools python-web-scraper python-scrapers 



● Updated  Jun 3, 2021  

● Python  

nirantak /  scraper 

Sponsor  
Star  17





● Code  

● Issues  

● Pull requests  




Python web scrapers
 

python scraper scraping selenium beautifulsoup python-web-scraper playwright 



● Updated  Jul 15, 2022  

● Python  

Load more…

Improve this page  

Add a description, image, and links to the  python-web-scraper  topic page so that developers can more easily learn about it.  

Curate this topic  

Add this topic to your repo  

To associate your repository with the  python-web-scraper  topic, visit your repo's landing page and select "manage topics."  

Learn more  

Footer

© 2025 GitHub, Inc.  

Footer navigation

● Terms  

● Privacy  

● Security  

● Status  

● Docs  

● Contact  

● Manage cookies  

● Do not share my personal information  


You can’t perform that action at this time.