Init
Бесплатно? Конечно же никто у вас деньги за "пойти в гугл" не возьмет... А что если попытаться автоматизировать сей процесс? Вот тут то возникают проблемы и чернозём для бизнесов.
Как и в прошлой статье я полез доставать файлы из интернетов, на этот раз из Гуглов. История повторилась и я осознал, что где-то в закромах у меня был код для этого. С радостью начав его изучать, понял, что радости там не много и легче найти что-то готовое...
Далее мы мельком посмотрим: какие решения на текущий момент нам может предложить рыночек, что и с какими дефектами отдают даром. Также изучим какие проблемы возникают при автоматизации сего процесса и как в конечном итоге это можно сделать легко и бесплатно!
Сравнение решений и проблемы
Проблема 0. Нет проблем
Существует целая индустрия, которая занимается предоставлением SERP (search engine results page - результаты страницы поиска). Например Гугл готов предоставить API к поиску сам, а другие сервисы помимо доступа к Гуглу предоставляют результаты поиска Яндекса, Baidu и прочих сервисов. Вот сравнение некоторых коммерческих решений:
Google custom search - 100 бесплатных запросов в день. 5$ за 1000 запросов;
SerpApi - 100 бесплатных запросов в месяц. Планы от 50$ до 250$ в месяц;
SerpWow - 100 бесплатных запросов. Планы от 25$ до 9000$ в месяц;
Oxylabs - 1 бесплатная неделя с 5к запросов. Планы от 49$ до 249$ в месяц.
Cущесвует с десяток подобных сервисов. С рынком в целом понятно: есть тестовые периоды\запросы, если понравилось, то - изучай документацию, прилипай к 3rd-party сервису, покупай и продлевай. Цены не облачные, но что-то рука не тянется, наверное на неё села жаба