Как настроить прокси в Scraper API
Scraper API – это профессиональный инструмент для скрапинга веб-сайтов. Веб-скрапер позволит решить множество задач для эффективного ведения бизнеса. Он поможет быстро извлечь данные с необходимого ресурса и представить в удобном для дальнейшего анализа формате.
Это может быть поиск SEO-оптимизированных описаний товаров с сайтов конкурентов, мониторинг цен на товары в интернет-магазинах, сбор статистики активности (лайки, репосты, просмотры) посетителей, отслеживание последних новостей на информационном портале. Однако сайты блокируют IP-адреса, за которыми был обнаружен веб-скрапинг данных, поэтому для стабильной работы нужно настроить прокси для Scraper API.
Пошаговая настройка прокси в Scraper API
Для настройки прокси для скрапинга Scraper API выполните следующие действия:
- Создайте аккаунт на ресурсе ScraperAPI и на главной странице в категории «Dashboard» найдите поле «Sample Proxy Code».
- В поле “Sample Proxy Code” содержится код следующего вида:
- Скопируйте его и вставьте в скрипт. Внесите следующие изменения в код:
- вместо «scraperapi» введите свой логин от приватного прокси;
- вместо «APIKEY» — пароль;
- вместо «proxy-server.scraperapi.com» — свой новый IP-адрес;
- через двоеточие — порт;
- после «-k» в кавычках нужно указать адрес страницы, с которой нужно собрать данные.
curl -x"http://scraperapi:APIKEY@proxy-server.scraperapi.com:8001" -k "http://httpbin.org/ip"
В итоге, должно выйти так:
curl -x"http://LOGIN:PASSWORD@IP-ADRESS:8001" -k "http://httpbin.org/ip"
Использовать команду "http://scraperapi:APIKEY@proxy-server.scraperapi.com:8001" можно для разных языков программирования, в зависимости от чего код может видоизменяться. Например, для Python пример запроса будет выглядеть так:
Для Ruby так:
Для NodeJS так:
После настройки прокси вы сможете отправлять запросы на сайты с разных IP, благодаря чему снижается риск блокировки по IP. Также это позволит делать запросы на те ресурсы, которые заблокированы по гео.
