Web Scraping & Crawling
Extraction de donnees web : crawlers, RSS, Apify, indexation.
| # | Skill | Source | Description | Maj | |
|---|---|---|---|---|---|
| 1 | browser-use | browser-use/browser-use | Contrôler un navigateur Chrome via CDP pour automatiser des tâches web. | 111 268 | 14h |
| 2 | wayback-cdx-wildcard-pagination | divinevideo/divine-mobile | Paginer l'API CDX Wayback Machine avec des requêtes wildcard via showResumeKey. | 263 | 19j |
| 3 | wayback-indirect-asset-recovery | divinevideo/divine-mobile | Récupérer des assets introuvables via l'extraction indirecte depuis Wayback Machine. | 263 | 19j |
| 4 | wayback-machine-raw-content-id-modifier | divinevideo/divine-mobile | Récupérer le contenu brut d'archives Wayback Machine via le modificateur id_. | 263 | 19j |
| 5 | literature-search-arxiv | mkurman/zorai | Rechercher, télécharger et extraire des métadonnées de publications arXiv. | 320 | 2mo |
| 6 | literature-search-biorxiv | mkurman/zorai | Rechercher des prépublications bioRxiv et medRxiv par date, catégorie ou DOI. | 320 | 2mo |
| 7 | literature-search-europepmc | mkurman/zorai | Rechercher et télécharger des articles scientifiques en libre accès depuis Europe PMC. | 320 | 2mo |
| 8 | pubchem-database | mkurman/zorai | Interroger la base PubChem pour obtenir données chimiques, propriétés et interactions biologiques. | 320 | 2mo |
| 9 | parallel-web | mkurman/zorai | Effectuer des recherches web rapides ou approfondies et sauvegarder les résultats. | 320 | 3mo |
| 10 | wayback-cdx-cloud-ip-workaround | divinevideo/divine-mobile | Contourner le blocage IP cloud de l'API Wayback CDX via GCS comme intermédiaire. | 263 | 3mo |
| 11 | wayback-cdx-wildcard-pagination | divinevideo/divine-mobile | Paginer l'API CDX Wayback Machine avec des requêtes wildcard via showResumeKey. | 263 | 3mo |
| 12 | wayback-indirect-asset-recovery | divinevideo/divine-mobile | Récupérer des assets introuvables via l'extraction indirecte depuis Wayback Machine. | 263 | 3mo |
| 13 | wayback-machine-raw-content-id-modifier | divinevideo/divine-mobile | Récupérer le contenu brut d'archives Wayback Machine via le modificateur id_. | 263 | 3mo |
| 14 | perplexity-search | mkurman/zorai | Effectuer des recherches web en temps réel avec citations via les modèles Perplexity. | 320 | 3mo |
| 15 | tavily-dynamic-search | tavily-ai/skills | Filtrer et extraire des résultats web sans polluer la fenêtre de contexte. | 462 | 4mo |
| 16 | tavily-cli | tavily-ai/skills | Rechercher, extraire, crawler et analyser le web via Tavily CLI. | 462 | 5mo |
| 17 | tavily-best-practices | tavily-ai/skills | Accéder à des données web en temps réel via une API de recherche optimisée pour les LLMs. | 462 | 5mo |
À propos de cette sélection
L'outillage de scraping web a longtemps ressemblé à un chantier artisanal : un script Playwright bricolé, un cron qui tombe en silence, des sélecteurs CSS qui rendent l'âme dès qu'un front-end se restructure. Les agents IA changent la donne. Ils ont besoin d'accéder au web de façon fiable, autonome et reproductible, et c'est précisément ce que couvrent les skills web scraping & crawling rassemblés ici. De quoi piloter un navigateur headless pour extraire des données structurées depuis des pages dynamiques, ou brancher un agent sur un moteur de recherche comme Tavily et Brave sans écrire une ligne de parsing. Ces skills s'adressent aux développeurs Python ou TypeScript qui alimentent des pipelines de données, construisent des agents de veille ou enrichissent des datasets pour du fine-tuning. L'écosystème couvre déjà une bonne partie des cas d'usage courants.