Google News — создание новостного контента по любой тематике

Последние достижения технологий автоматизации и генеративных сетей протискивают к реализации идею о том, что можно собирать интересный контент с интернета, «автоматически обрабатывать его» — и выкладывать на своих ресурсах. И есть сервисы, которые агрегируют этот самый нужный контент.

Например, Google News. По информации от ChatGPT:

— это бесплатный новостной агрегатор от компании Google, который автоматически собирает и группирует статьи со всего интернета по актуальным темам и событиям. Он доступен в виде веб-сервиса (news.google.com) и мобильного приложения (Android и iOS).

Однако есть небольшая пропасть от идеи до качественной реализации в виде генератора контента, выдающего реально хорошо ПОДОБРАННЫЙ и ОБРАБОТАННЫЙ материал из всего интернета.

Итак, какие на мой взгляд, задачи необходимо решить, чтобы получить, желательно бесплатно, такой крутой генератор контента? 

1. Конечно нужен источник с более-менее качественным и стабильным потоком материала
2. «Шайтан-орба» по сбору этого материала в одно место, фильтрации и отбора нужной тематики, и чтоб работала и не ломалась
3. Качественная генеративная модель для перевода текстов на нужный язык
4. Ах да, ещё чтобы картинки из статей, интернета по нужной теме тащила эта чудо-машинка без ошибок

Лучший источник это какой-нибудь мощный агрегатор, который по ключевым словам, тематическому запросу формирует RSS-ленту, которую можно использовать. Если найти неплохой платный сервис, то можно успешно решить 1 элемент из списка.

А бесплатно?

Есть невразумительного дизайна от Гугл так называемый алертс,

Но слабость этого сервиса именно в самом качестве получаемой ленты — по опыту использования не отличается стабильным новостным потоком.

И есть вариант получше — это как раз упомянутый Google News. Находясь в своем гугл аккаунте, можно какие угодно потоки по любым темам наформировать, и читать новости, аккуратно и приятно для глаз разложенные… Но это в админке. Однако, оказывается, у него как и у Гугл Алертс имеется RSS.

Шайтан-орба — на основе n8n!

Я бы не сказал, что n8n эту задачу «легко решает». Не легко, но решает. Несколько дней активной разработки и получился сценарий, который принимает на себя RSS от Google News, причём он формируется на лету и без всякой авторизации, выдаёт качественный поток новостей.

Качество заключается в следующем (офигеть, такое мало где):

Здесь видны отдельные items коих аж сотня! Берем и отбираем наиболее подходящие под ключевые слова, запрос. Title ведь имеется. Однако, в отличие от Гугл Алертс, здесь вы не найдете ссылки на источник, что лишает возможности открыть её в n8n и вытащить оттуда и текст статьи-новости, и картинки-фотографии.

Т.е. чисто по реализации всё понятно, что делать, и только открыть ссылку не получается, потому что гугл их отдаёт через скрипт. Ни сам n8n чистым HTTP запросом, ни через puppeteer открывать ссылки из  item не получается. Ссылки открывать нужно потому что от Гугл мало информации в title, никакой ChatGPT ничего толкового не напишет.

Кто решил данную задачу, тот и в дамках:

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching