Сообщение Re[2]: Веб парсер от 19.12.2016 11:52
Изменено 19.12.2016 11:54 Keith
L>У меня уже заказов 20 было на фрилансе, именно на такую тему 
Если речь идет про .NET, то использовал вот что:
L>- WebBrowser — рабочее решение из коробки. Хорошо работает в WinForms, немного кастрированно в WPF, но для парсинга хватит. Из недостатков — это обертка для IE7, со всеми вытекающими. Есть варианты в реестре прописать, что это IE8,9,10, но эффекта по функциональности это не прибавляло.
L>- WatiN — по задумке должен быть там, где нужен Web Test Automation. Но можно приспособить для парсинга и бегания по сайту. Сам в продакшене не использовал
L>- HTML Agility Pack — просто парсер без js
Эти пункты так же использовал, но сейчас хочу уйти в сторону Linux-совместимого решения.
L>Если про Python, мопед не мой, но мне под заказ писали и там такие импорты:
L>
Для питона есть BeautifulSoup + стандартный способ делать http-запросы.
Ну и Selenium так же есть.
L>А еще есть UBot, в котором мышкой наклацать можно воркфлоу, но я бы не рекомендовал как универсальное решение.
Это уже ближе к тому, что я хотел бы, только дорого.
А почему не рекомендуете?
Кроме того, что это зависимость от вендора.
L>
И часто такие задачи попадаются? Конкуренция высокая?
Если речь идет про .NET, то использовал вот что:L>- WebBrowser — рабочее решение из коробки. Хорошо работает в WinForms, немного кастрированно в WPF, но для парсинга хватит. Из недостатков — это обертка для IE7, со всеми вытекающими. Есть варианты в реестре прописать, что это IE8,9,10, но эффекта по функциональности это не прибавляло.
L>- WatiN — по задумке должен быть там, где нужен Web Test Automation. Но можно приспособить для парсинга и бегания по сайту. Сам в продакшене не использовал
L>- HTML Agility Pack — просто парсер без js
Эти пункты так же использовал, но сейчас хочу уйти в сторону Linux-совместимого решения.
L>Если про Python, мопед не мой, но мне под заказ писали и там такие импорты:
L>
...
L>Для питона есть BeautifulSoup + стандартный способ делать http-запросы.
Ну и Selenium так же есть.
L>А еще есть UBot, в котором мышкой наклацать можно воркфлоу, но я бы не рекомендовал как универсальное решение.
Это уже ближе к тому, что я хотел бы, только дорого.
А почему не рекомендуете?
Кроме того, что это зависимость от вендора.
L>
| Последний вариант | |
| L>А на Upwork'e такие задачи стоят в районе 50-200$ в зависимости от сложности. | |
И часто такие задачи попадаются? Конкуренция высокая?
Re[2]: Веб парсер
L>У меня уже заказов 20 было на фрилансе, именно на такую тему Если речь идет про .NET, то использовал вот что:
L>- WebBrowser — рабочее решение из коробки. Хорошо работает в WinForms, немного кастрированно в WPF, но для парсинга хватит. Из недостатков — это обертка для IE7, со всеми вытекающими. Есть варианты в реестре прописать, что это IE8,9,10, но эффекта по функциональности это не прибавляло.
L>- WatiN — по задумке должен быть там, где нужен Web Test Automation. Но можно приспособить для парсинга и бегания по сайту. Сам в продакшене не использовал
L>- HTML Agility Pack — просто парсер без js
Эти пункты так же использовал, но сейчас хочу уйти в сторону Linux-совместимого решения.
L>Если про Python, мопед не мой, но мне под заказ писали и там такие импорты:
Для питона есть BeautifulSoup + стандартный способ делать http-запросы.
Ну и Selenium так же есть.
L>А еще есть UBot, в котором мышкой наклацать можно воркфлоу, но я бы не рекомендовал как универсальное решение.
Это уже ближе к тому, что я хотел бы, только дорого.
А почему не рекомендуете?
Кроме того, что это зависимость от вендора.
L>А на Upwork'e такие задачи стоят в районе 50-200$ в зависимости от сложности.
И часто такие задачи попадаются? Конкуренция высокая?
Если речь идет про .NET, то использовал вот что:L>- WebBrowser — рабочее решение из коробки. Хорошо работает в WinForms, немного кастрированно в WPF, но для парсинга хватит. Из недостатков — это обертка для IE7, со всеми вытекающими. Есть варианты в реестре прописать, что это IE8,9,10, но эффекта по функциональности это не прибавляло.
L>- WatiN — по задумке должен быть там, где нужен Web Test Automation. Но можно приспособить для парсинга и бегания по сайту. Сам в продакшене не использовал
L>- HTML Agility Pack — просто парсер без js
Эти пункты так же использовал, но сейчас хочу уйти в сторону Linux-совместимого решения.
L>Если про Python, мопед не мой, но мне под заказ писали и там такие импорты:
Для питона есть BeautifulSoup + стандартный способ делать http-запросы.
Ну и Selenium так же есть.
L>А еще есть UBot, в котором мышкой наклацать можно воркфлоу, но я бы не рекомендовал как универсальное решение.
Это уже ближе к тому, что я хотел бы, только дорого.
А почему не рекомендуете?
Кроме того, что это зависимость от вендора.
L>А на Upwork'e такие задачи стоят в районе 50-200$ в зависимости от сложности.
И часто такие задачи попадаются? Конкуренция высокая?