[Py]Библиотеки для web-серфинга
От: __chaos__ Россия  
Дата: 26.05.10 03:38
Оценка:
Доброго времени суток!
Необходимо автоматизировать брождение по сайтам.
Начал реализовывать на Perl'е, но спустя время решил отказаться от него ввиду сложности чтения кода через определенное время
Решил заюзать Python.

Вопрос: какие библиотеки существуют для питона позволяющие парсить страницы на предмет html-форм,
отправлять заполненые формы на сервер и тд и тп.

ЗЫ: было бы круто если бы кто-нить провел аналогию с пеловыми библами
LWP::UserAgent — Web user agent class
HTML::Parser — HTML parser class
HTML::Form — Class that represents an HTML form element
HTTP::Request — HTTP style request message
HTTP::Response — HTTP style response message


Спасибо за внимание!
Re: [Py]Библиотеки для web-серфинга
От: neFormal Россия  
Дата: 26.05.10 04:34
Оценка: 3 (2)
Здравствуйте, __chaos__, Вы писали:

___>Вопрос: какие библиотеки существуют для питона позволяющие парсить страницы на предмет html-форм,

___>отправлять заполненые формы на сервер и тд и тп.

например, связка urllib2+ClientForm: http://wwwsearch.sourceforge.net/old/ClientForm/
...coding for chaos...
Re: [Py]Библиотеки для web-серфинга
От: Курилка Россия http://kirya.narod.ru/
Дата: 26.05.10 05:15
Оценка: 3 (2)
Здравствуйте, __chaos__, Вы писали:

___>Вопрос: какие библиотеки существуют для питона позволяющие парсить страницы на предмет html-форм,

___>отправлять заполненые формы на сервер и тд и тп.

Может на либы для скрейпинга посмотреть?
scrapy, scrape.py, вроде ещё были, с ходу не вспоминается.
Или взять тот же lxml?
Re: [Py]Библиотеки для web-серфинга
От: piksel Россия  
Дата: 26.05.10 05:22
Оценка: 2 (1) +1
Здравствуйте, __chaos__, Вы писали:

___>Вопрос: какие библиотеки существуют для питона позволяющие парсить страницы на предмет html-форм,

я для парсинга использую BeautifulSoup + urllib2
Re[2]: [Py]Библиотеки для web-серфинга
От: __chaos__ Россия  
Дата: 26.05.10 05:36
Оценка:
Здравствуйте, neFormal, Вы писали:

F>Здравствуйте, __chaos__, Вы писали:


___>>Вопрос: какие библиотеки существуют для питона позволяющие парсить страницы на предмет html-форм,

___>>отправлять заполненые формы на сервер и тд и тп.

F>например, связка urllib2+ClientForm: http://wwwsearch.sourceforge.net/old/ClientForm/


то что надо! Спасибо!
ЗЫ посмотрю что еще предложат
Re[2]: [Py]Библиотеки для web-серфинга
От: __chaos__ Россия  
Дата: 26.05.10 05:39
Оценка:
Здравствуйте, Курилка, Вы писали:

К>Здравствуйте, __chaos__, Вы писали:


___>>Вопрос: какие библиотеки существуют для питона позволяющие парсить страницы на предмет html-форм,

___>>отправлять заполненые формы на сервер и тд и тп.

К>Может на либы для скрейпинга посмотреть?

К>scrapy, scrape.py, вроде ещё были, с ходу не вспоминается.
К>Или взять тот же lxml?

пищщу отпад!

сравню что лучше для моей задачи: или предложенное вами или ClientForm.

ЗЫ пробежав по диагонали по ClientForm и lxml заметил что аттач файла у 1го выполняется очень просто, у 2го не заметил пока
Re: [Py]Библиотеки для web-серфинга
От: race1 Россия  
Дата: 26.05.10 14:00
Оценка: 2 (1)
А я для простеньких нужд использовал mechanize, там кажется встроен clientform.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.