Re[14]: Как распарсить https://apnews.com/
От: Passerby  
Дата: 16.12.24 18:08
Оценка:
Здравствуйте, Passerby, Вы писали:

P>Здравствуйте, kov_serg, Вы писали:

_>>Вы просто зайдите на https://apnews.com/
_>>он теперь не проводит проверку cloudflare можно просто выполнять запросы без заморочек c cf_clearance

P>Попробовал другие сайты

P>python main.py https://www.cryptocompare.com/news/list/latest/ -v -d -f config.json
P>python main.py https://www.yahoo.com/ -v -d -f config.json
P>python main.py https://www.bloomberg.com/europe -v -d -f config.json
P>Везде то же [ERROR] No Cloudflare challenge detected.
P>При этом запрос https://www.cryptocompare.com/news/list/latest/ нормально отрабатывается в коде, указанном https://rsdn.org/forum/dotnet/8847491.1
Автор: Serginio1
Дата: 05.11 13:16


using OpenQA.Selenium.Chrome;
using System.Text;
class Program
{
    static void Main(string[] args)
    {        
        var chromeOptions = new ChromeOptions();        
        var driver = new ChromeDriver(chromeOptions);
        // open the target page in Chrome
        driver.Navigate().GoToUrl("https://www.cryptocompare.com/news/list/latest/");       
                
        var html = driver.PageSource;
        
        //парсинг

        // close the browser and release its resources
        driver.Quit();
    }
}
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.