Библиотека / Веб-скрейпинг и исследования
Веб-скрейпинг и исследования
Сбор данных со страниц с агентом Gemini Vision и ScrapingBee
При запуске или вызове из другого рабочего процесса считывает URL из Google Sheets, получает страницы через ScrapingBee и извлекает данные с помощью агента Gemini Vision.
Что делает
## Vision-Based Scraping AI Agent This is the central node of the workflow, powered by an AI Agent with two key prompts: - System Prompt: Instructs the AI on how and what data to extract from the screenshot. You can customize this to suit your needs. It also includes fallback instructions to call a tool for retrieving the HTML page if data extraction from the screenshot fails. - User Message: Provides the page URL for context. ### Sub-Nodes 1. Google Gemini Chat Model Chosen because tests show that Gemini-1.5-Pro outperforms GPT-4 and GPT-4-Vision in visual tasks. *Either my prompt wasn’t optimized for GPT models, or GPT might need glasses 👓*. Other multimodal LLMs haven’t been tested yet. 2. HTML-Based Scraping Tool A fallback tool the agent uses if it cannot extract data directly from the screenshot. 3. Structured Output Parser Formats the extracted data into an easy-to-use structure, ready to be added to the results page in Google Sheets.
Шаги
- When clicking ‘Test workflow’
- ScrapingBee- Get page HTML
- Structured Output Parser
- Google Gemini Chat Model
- Split Out
- Google Sheets - Get list of URLs
- Set fields
- ScrapingBee - Get page screenshot
- HTML-based Scraping Tool
- Google Sheets - Create Rows
- Vision-based Scraping Agent
- HTML-Scraping Tool
- Set fields - from AI agent query
- HTML to Markdown
Похожие автоматизации
Веб-скрейпинг и исследованияСкрапинг страниц с визуальным агентом Gemini и ScrapingBeeШагов: 14Веб-скрейпинг и исследованияИИ-агент для скрейпинга по изображениям со ScrapingBee, Gemini и SheetsШагов: 36Веб-скрейпинг и исследованияИИ-агент для скрейпинга по изображениям со ScrapingBee, Gemini и SheetsШагов: 36Документы, PDF и OCRКонвертация PDF банковских выписок в Markdown с Gemini VisionШагов: 12