Форум 'Языки с динамической типизацией' на RSDN

[python] - Как в Selenium записать на диск все то, что он получит в driver.get()

Sat, 11 Oct 2025 20:07:59 GMT

Вот такой код:

driver = webdriver.Chrome(
    service=Service(ChromeDriverManager(driver_version="116.0.5845.141").install(), options=options))

driver.get("https://www.linkedin.com/jobs/search/?currentJobId=3656983339&f_LF=f_AL&geoId=102257491&keywords=python%20developer&origin=JOB_SEARCH_PAGE_SEARCH_BUTTON&refresh=true")


all_listings = driver.find_elements(By.CSS_SELECTOR ,".job-card-container--clickable")

В результате, в all_listings я получаю пустой обьект, при том, что в хроме в DevTools вполне себе находится по селектору элемет с ".job-card-container--clickable".
Поэтому хочу увидеть что там selenium скачал на вызове driver.get(). Как это сделать?

[PHP] ldap over tls

Tue, 25 Mar 2025 15:54:32 GMT

Здравствуйте! Подскажите, пожалуйста, в чем может быть проблема. При переводе скрипта с просто ldap на ldap over tls не проходит авторизация, а скрипт падает на вызове ldap_start_tls.

ini_set('display_errors',1);
error_reporting(E_ALL);
ldap_set_option(NULL, LDAP_OPT_DEBUG_LEVEL,9);
putenv('LDAPTLS_REQCERT=never');
$ldap = ldap_connect("ldap://".$ldaphost,$ldapport);
ldap_set_option($ldap, LDAP_OPT_X_TLS_REQUIRE_CERT, 0);
if(!ldap_set_option($ldap, LDAP_OPT_PROTOCOL_VERSION, 3)){
  echo "Could not set LDAPv3\r\n";
}
else if(!ldap_start_tls($ldap)) {
  echo "Could not start secure TLS connection";
}

А влогах пишет следующее:

TLS trace: SSL_connect:before SSL initialization
TLS trace: SSL_connect:SSLv3/TLS write client hello
TLS trace: SSL_connect:SSLv3/TLS write client hello
TLS trace: SSL_connect:SSLv3/TLS read server hello
TLS trace: SSL_connect:TLSv1.3 read encrypted extensions
TLS trace: SSL_connect:SSLv3/TLS read server certificate request
TLS certificate verification: depth: 0, err: 20, subject: /CN=ad.test.local, issuer: /DC=local/DC=test/CN=test-AD-CA
TLS certificate verification: Error, unable to get local issuer certificate
TLS trace: SSL3 alert write:fatal:unknown CA
TLS trace: SSL_connect:error in error
TLS: can't connect: error:80000002:system library::No such file or directory.

[python] Ищу набор задач по многопоточности и асинхронности

Thu, 20 Mar 2025 10:39:39 GMT

Посоветуйте плз набор задачек по многопоточности и асинхронности в питоне. Что от них хочу:
— Покрывает все основные темы (процессы, семафоры, очереди)
— С очевидным проверяемым результатом (если понял тему, то тест проходит, если не понял, то нет)
— Сложность постепенно нарастает
— Если не понял совсем, можно прочитать объяснение
— Можно платно
Цель — проверить, что знаю тему, найти пробелы и заботать. Литкод не очень подходит, если я правильно понимаю, там в основном алгоритмы.

Custom Loader for Typescript

Wed, 22 Jan 2025 10:57:59 GMT

Всем привет.
Возникла идея, работоспособность которой я пока не могу оценить. Поиск затрудняется тем, что по приходящим мне в голову ключевым словам отдаётся не то, чего я ожидаю.

Итак — можно ли "расширить" typescript при помощи custom loader?

Я так понял, что сама по себе идея лоадеров существует и работает, но в мире JavaScript. Типа мы берём файл на каком-то языке, и при помощи лоадера магически на лету превращаем его в JavaScript.
В частности, для ноды существует ts-node — лоадер, который транспилирует TypeScript в ECMAScript на лету, вместо статической транспиляции при помощи tsc.
Есть ряд лоадеров для всяческой экзотики — например, затаскивания .css в javascript.

Но вот чего я пока так и не смог понять — так это есть ли возможность сделать что-то подобное для тайпскрипта.
То есть допустим, у меня есть файл на некотором языке. И у меня есть рецепт, как по этому файлу получить typescript, который содержит не только исполняемый код, но и определения типов и прочие полезные для typescript вещи.
Можно реализовать этот рецепт в виде инструмента, который вызывается в процессе сборки пакета.

То есть примерно так:
1. Генерируем из .wtf файлов некие .ts (или пары из .js и .d.ts)
2. Собираем получившийся проект, в который входят как честные .ts исходники, так и сгенерированные на шаге 1
3. PROFIT!
Пример такого подхода можно увидеть в https://ohmjs.org/ — там как раз есть compile-time инструмент, который по .ohm-файлам грамматики порождает .js и .d.ts, и позволяет статически верифицировать корректность кода семантического анализа, зависящего от синтаксического разбора нашей грамматикой.
Недостаток этого подхода — в том, что изменения в .wtf (.ohm) не видны в IDE вплоть до явного запуска внешнего инструмента. А также в том, что возможные ошибки диагностируются в порождённом коде, а не в исходном.

Понятно, что можно попытаться это обойти — например, запуском инструмента в режиме мониторинга файлухи, и оперативного перестраивания зависимостей без явного вызова билд-скриптов.
Но это — некоторый паллиатив.
Хочется как раз как-то объяснить тайпскрипту (в том числе и тому, который исполняется внутри IDE Extension), что .ohm — это просто такой очень специальный .ts, который надо читать не напрямую, а через лоадер.

И вот пока что я не могу понять, существует ли такая возможность, или нет?

Mojo

Wed, 11 Dec 2024 17:43:16 GMT

Mojo — специализированный язык программирования, созданный компанией Modular и ориентированный на разработку в сфере машинного обучения[2][3][4]. Выпущен в мае 2023 года. Mojo позиционируется как более продвинутая альтернатива Python, практически полностью совместим с ним и его библиотеками, но при этом показывает лучшую производительность, аналогичную таким довольно низкоуровневым языкам программирования, как C и C++.

Ключевые приоритеты языка: разработка в области искусственного интеллекта и системное программирование. Язык умеет взаимодействовать с SIMD-командами, из-за чего позволяет выполнять множество алгебраических операций за раз, что положительно сказывается на производительности.

Mojo не имеет сборщика мусора, вместо этого он использует семантику перемещения, сильно похожую на ту, что есть в Rust. Данный подход позволяет языку безопасно и быстро удалять неиспользуемые ресурсы и отказаться от использования рантайма.

Mojo — The expressiveness of Python,  with the performance of C.

На нем кто-то что-то уже делал? Можно его пробовать использовать вместо Python?

[python] Загрузка зависимостей из текущего каталога

Wed, 28 Aug 2024 09:21:14 GMT

Я сам на питоне не пишу, но периодически приходится использовать под виндой мелкие утилиты, которые, кроме как на питоне, ни на чем написать не удосужились. Для этого у меня есть пара версий интерпретатора, которые, слава богу, достаточно просто распаковать из дистрибутива, не прибегая к "созданию экосистемы" (уже самая идея "экосистемы" бесит неимоверно).

Утилитки обычно обходятся стандартными зависимостями из дистрибутива питона, но попадаются и такие, кому нужны внешние зависимости. Их, само собой, предлагается "установить в экосистему" через pip install. Идея делать глобальную установку чего-либо для заведомо одноразового софта вызывает стойкое отвращение. В таких случаях разумно обойтись складыванием всего необходимого в каталог самой утилиты (кучей или в подкаталоги).

Полез гуглить на эту тему, ожидая найти относительно несложные правила именования/размещения, но внезапно оказалось, что наиболее правильным для таких случаев считается создание virtual environment, представляющего собой полную копию дистрибутива питоновского интерпретатора.

У них действительно все настолько убого, и питон категорически не умеет искать зависимости "поблизости" от основного кода, запрашивающего импорт? Или все-таки достаточно несложных действий, вроде распаковки зависимостей в подкаталоги, с возможным их указанием в каком-нибудь файле конфигурации, а virtual environment предлагается в первую очередь самым тупым юзерам?

[PowerShell] - почему имя печатается 2 раза на втором вызове?

Mon, 05 Aug 2024 17:38:14 GMT

Вот такой скрипт:

Add-Type -AssemblyName System.Web

$fileInGpx = "b.gpx"

[hashtable]$wptsUnique = @{}

[xml]$xml = Get-Content -Path $fileInGpx -Encoding UTF8


function trySetWptColor($wpti, $wptExisting)
{
Write-Host $wpti.name
}

$nsManager = New-Object System.Xml.XmlNamespaceManager($xml.NameTable)
$nsManager.AddNamespace("osmand", "https://osmand.net")
$nsManager.AddNamespace("gpx", "http://www.topografix.com/GPX/1/1")
$XPath = "//gpx:wpt"
$wpts = $xml.selectNodes($XPath, $nsManager)


foreach($wpt in $wpts)
{
    $wpt2 = $null
    $lat2 = $wpt.lat -as [double]
    $lon2 = $wpt.lon -as [double]
    $key = $lat2 + '' + $lon2

    if ($wptsUnique.ContainsKey($key))
    {
        $wptExisting = $wptsUnique[$key]

Write-Host $wpt.name
        trySetWptColor($wpt, $wptExisting)
    }
    else
    {
        $wpt2 = @{
            lat = 1
            lon = 2
            name = $wpt.name
            extensions = "qqq"
        }        
        $wptsUnique.add($key, $wpt2)
    }
}

Вот файл b.gpx

<?xml version='1.0' encoding='UTF-8' standalone='yes' ?>
<gpx
xmlns='http://www.topografix.com/GPX/1/1'
xmlns:osmand='https://osmand.net'
>
<metadata>
<name>M</name>
</metadata>

<wpt lat="55.9840704" lon="36.6401806">
<name>46Н-02865</name>
<type>M</type>
<extensions>
<osmand:address>46Н-02865</osmand:address>
<osmand:icon>special_star</osmand:icon>
<osmand:background>circle</osmand:background>
<osmand:color>#eecc22</osmand:color>
</extensions>
</wpt>
<wpt lat="55.98407" lon="36.640181">
<name>46Н-02865</name>
<type>M</type>
<extensions>
<osmand:address>46Н-02865</osmand:address>
<osmand:icon>bridge_structure_suspension</osmand:icon>
<osmand:background>circle</osmand:background>
<osmand:color>#eecc22</osmand:color>
</extensions>
</wpt>

</gpx>

Почему при его запуске получается такой странный вывод?

46Н-02865 46Н-02865 46Н-02865

Write-Host с строки 33 выдает нормальное имя, и тут же с 12 — задвоенное. Почему так?

[python]вложенность json

Fri, 28 Jun 2024 10:52:42 GMT

Собственно вопрос. Как в питоне узнать глубину вложенных данных json?

[python] Условный контекстный менеджер

Thu, 20 Jun 2024 19:54:29 GMT

Задача: написать контекстный менеджер need_run, который мог бы выполнять или не выполнять код в зависимости от заданного условия.

# код должен вывести только "must be printed"

with need_run(True):
  print('must be printed')

with need_run(False):
  print('must not be printed')

Возможно ли в принципе? Возможно ли решение без привязки к конкретной реализации?

О смолтоке

Sun, 19 May 2024 06:14:44 GMT

На мой взгляд смолток — это один из самых интересных языков программирования. По скорости исполнения — ну, не самый быстрый, зато вполне успешно во второй половине 90-х тянул старенькие пеньки, где было всего мегабайт 16 или в лучшем случае 32 мегабайта памяти. В то же время, концептуально язык очень прост, а при этом остается настолько выразительным, что позоволило ему сохранить стандартную библиотеку коллекций почти в неизменном виде с 70-х или 80-х годов. И что поразительно, библиотека коллекций смолтока вполне остается на уровне такого языка как скала, если рассматривать мутабельную часть последней. А потоки смолтока — это предвестники современных итераторов, плюс работа с файлами в одном флаконе.

Ближе к делу. Рассмотрим современную опенсорсную реализацию Pharo. Недавно вышла версия Pharo 12.

На виндузе Pharo 11 у меня вполне нормально запустился без каких-либо шероховатостей. Пожалуй, виндовая версия Pharo визуально самая безупречная.

На старом макбуке Pharo 11 тоже встало достаточно уверенно. Единственное, что заметил небольшое мерцание экрана, но вполне терпимо. Еле заметно.

На линуксе могут вас ожидать сюрпризы. Опишу свой опыт установки на АльтЛинукс.

Во-первых, на альте библиотека libc расположена в каталоге /lib64. Соответственно, и в PharoLauncher, и в башевских скриптах виртуальных машин Pharo нужно явно прописать, где находится libc. Эти скрипты находятся в файлах pharo-vm/pharo и pharo-vm/bin/pharo. Такие виртуальные машины находятся там, где вы распакуете pharolauncher, а также в каталоге ~/Pharo/vms.

Значит, добавляем строки

LIBC_SO=/lib64/libc.so.6
PLATFORMLIBDIR=/lib64

И в то же время комментируем строки

# #Try extracting Libc
# LIBC_SO="`/usr/bin/ldd "$BIN/pharo" | /bin/fgrep /libc. | sed 's/^.*=> \([^ ]*\).*/\1/'`"
# PLATFORMLIBDIR=`expr "$LIBC_SO" : '\(.*\)/libc.*'`

Это только часть дела.

Тут есть такое странное обстоятельство, что если хотя бы одна из переменных окружения содержит русский текст или, как говорят, вообще содержит юникод, то Pharo толком не запустится.

Поэтому через команду export в консоли смотрим, где есть русские буквы.

У меня это следующая строчка:

$ export
...
declare -x GPG_TTY="не телетайп"
...

Соответственно, иду в запускающий скрипт pharolauncher/pharo-launcher и переопределяю проблемную переменную окружения:

# Otherwise, it would not work (remove all Unicode environment variables)
export GPG_TTY="not teletype"

После этих простых манипуляций у вас на АльтЛинуксе должен запустится Pharo — одна из самых продвинутых опенсорсных реализаций смолтока.

Ну, и на последок. Предлагаю обсудить, где может применяться смолток, или где он уже применяется? Мне кажется, что это один из редких языков типа хаскеля и лиспа, который нас всех переживет и надолго. Такие языки всегда будут оставаться актуальными, чтобы там ни случалось в этом нашем войти-в-айти

Чем заменить NumPy операции на массивах в C++ и JS

Thu, 19 Oct 2023 21:30:51 GMT

Портирую скрипт, там одной строчкой 3 мерный массив (картинка с триплетами) умножается на скаляр, отнимается вектор-триплет и умножается на вектор-триплет — с помощью numpy.
Туплю, как эту операцию в одну строку заменить одной строкой numjs. Ладно JS, но в C++ кто-то ж портирует наверное. Как нужно матчить c Python numpy в C++ например?

scale = np.float32(1.0 / 255.0)  # scalar
shape = (3, 1, 1)
mean = np.array([0.485, 0.456, 0.406]).reshape(shape).astype('float32')  # vector (3dim array)
std = np.array([0.229, 0.224, 0.225]).reshape(shape).astype('float32')  # vector (3dim array)

assert isinstance(img,
                          np.ndarray), "invalid input 'img' in NormalizeImage"

img = img.astype('float32') * scale - mean) / std   # <=== Как ЭТО портируют в C++ или JS?

[python] интеграция для приложения.

Tue, 15 Aug 2023 14:49:13 GMT

Есть коробочное приложение, для которого предусмотрена интеграция с python.
Т.е. пользователь устанавливал продукт, и мог поставить модуль интеграции с python вызвав setup.py, из состава дистрибутива.

Внутри setup.py, выбирался один из заранее скомпилированных бинарников (для разных версий python) прописывался путь к месту установки приложения и вызвался distutils.core.setup,

Но теперь distutils.core.setup — depricated:

C:\programming\Python311\Lib\site-packages\setuptools\command\install.py:34: SetuptoolsDeprecationWarning: setup.py install is deprecated. Use build and pip and other standards-based tools.

Те примеры, которые я нахожу, основаны на setup.py.
Например: https://packaging.python.org/en/latest/guides/distributing-packages-using-setuptools/#setup-py
Пример файла ведет на https://github.com/pypa/sampleproject/tree/db5806e0a3204034c51b1c00dde7d5eb3fa2532e , а там setup.py уже нет.

Где найти актуальные guidlines?

[PowerShell] - почему не распознает русский текст в XML?

Sun, 02 Jul 2023 09:49:53 GMT

Вот мой код:

Add-Type -AssemblyName System.Web


$fileIn1 = "Bridges.gpx" 

$XPath = "//gpx:wpt"

$ns = @{gpx="http://www.topografix.com/GPX/1/1"}

[hashtable]$wptsUnique = @{}




[xml]$xml = Get-Content $fileIn1 -Encoding UTF8 -Raw
$nsManager = New-Object System.Xml.XmlNamespaceManager($xml.NameTable)
$nsManager.AddNamespace("gpx", "http://www.topografix.com/GPX/1/1")
$wpts = $xml.selectNodes($XPath, $nsManager)


foreach($wpt in $wpts)
{
write-host $wpt.name
}

Вот XML, который я им читаю:

<?xml version='1.0' encoding='UTF-8' standalone='yes' ?>
<gpx version="1.1" creator="OsmAnd+ 3.9.5"
xmlns="http://www.topografix.com/GPX/1/1"
xmlns:osmand="https://osmand.net"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.topografix.com/GPX/1/1 http://www.topografix.com/GPX/1/1/gpx.xsd"
xmlns:wptx1="http://www.garmin.com/xmlschemas/WaypointExtension/v1"
xmlns:gpxx="http://www.garmin.com/xmlschemas/GpxExtensions/v3"
xmlns:trp="http://www.garmin.com/xmlschemas/TripExtensions/v1"
xmlns:adv="http://www.garmin.com/xmlschemas/AdventuresExtensions/v1"
xmlns:prs="http://www.garmin.com/xmlschemas/PressureExtension/v1"
xmlns:tmd="http://www.garmin.com/xmlschemas/TripMetaDataExtensions/v1"
xmlns:vptm="http://www.garmin.com/xmlschemas/ViaPointTransportationModeExtensions/v1"
xmlns:ctx="http://www.garmin.com/xmlschemas/CreationTimeExtension/v1"
xmlns:gpxacc="http://www.garmin.com/xmlschemas/AccelerationExtension/v1"
xmlns:gpxpx="http://www.garmin.com/xmlschemas/PowerExtension/v1"
xmlns:vidx1="http://www.garmin.com/xmlschemas/VideoExtension/v1">
<metadata>
<name>favourites</name>
</metadata>

<wpt lat="55.555555" lon="37.777777">
<name> Сарай на даче</name>
<desc>7</desc>
<type>Dacha</type>
<extensions>
<osmand:background>circle</osmand:background>
</extensions>
</wpt>

Почему при запуске скрипта я вместо "Сарай на даче" получаю "?????? ?? ???????" ? Кодировка XML файла точно UTF-8. И что мне сделать со скриптом, чтобы он начал правильно печатать текст ?

[PowerShell] - как перебрать ноды в моем XML?

Fri, 23 Jun 2023 21:21:11 GMT

Вот мой XML:

<?xml version='1.0' encoding='UTF-8' standalone='yes' ?>
<gpx version="1.1" creator="OsmAnd+ 3.9.5" xmlns="http://www.topografix.com/GPX/1/1" xmlns:osmand="https://osmand.net" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.topografix.com/GPX/1/1 http://www.topografix.com/GPX/1/1/gpx.xsd">
  <metadata>
    <name>favourites</name>
  </metadata>
  <wpt lat="55.8585655" lon="38.4400009">
    <name>«Московское малое кольцо», А-107</name>
    <type>Bridges</type>
    <extensions>
      <osmand:address>«Московское малое кольцо», А-107</osmand:address>
      <osmand:icon>bridge_structure_suspension</osmand:icon>
      <osmand:background>circle</osmand:background>
      <osmand:color>#eecc22</osmand:color>
    </extensions>
  </wpt>
  <wpt lat="55.955346" lon="37.8313137">
    <name>«Холмогоры», М-8</name>
    <type>Bridges</type>
    <extensions>
      <osmand:icon>bridge_structure_suspension</osmand:icon>
      <osmand:background>circle</osmand:background>
      <osmand:color>#8e2512</osmand:color>
    </extensions>
  </wpt>
  <wpt lat="56.9800593" lon="41.0716759">
    <name>1-я Горинская улица, Иваново</name>
    <type>Bridges</type>
    <extensions>
      <osmand:address>1-я Горинская улица, Иваново</osmand:address>
      <osmand:icon>bridge_structure_suspension</osmand:icon>
      <osmand:background>circle</osmand:background>
      <osmand:color>#eecc22</osmand:color>
    </extensions>
  </wpt>
</gpx>

Вот PowerShell

$fileIn1 = "A.gpx" 

$XPath = "//wpt"

Select-Xml -Path $fileIn1 -XPath $Xpath  | Select-Object -ExpandProperty Node

Почему он мне сейчас ничего не выдает при запуске? И как его поменять, чтобы он начал находить ноды по XPath?

[python] pd.read_csv как загрузить только нужные строки?

Mon, 29 May 2023 22:22:16 GMT

всем доброго!
вопрос от новичка:
имеем ds=(pd.read_csv('data.csv') [lambda x: x['col1'] > 0 ]) — грузим только строки для которых значение колонки col1 >0
как сделать, чтобы было условие: значение колонки col1 > 0 и значение колонки col2 > 0?

venv vs conda vs poetry

Mon, 24 Apr 2023 19:26:21 GMT

Здравствуйте.

А чего в питоне так наплодили этих реализаций виртуальных окружений, чем они друг от друга
отличаются? Правильно ли я понимаю, что питон как линукс, т.е. там все хранится в файлах и все
локально, соотв. я могу скопировать соотв. папочки с исполняемым python и готово новое виртуальное
окружение. Осталось этот процесс как-то автоматизировать.
Т.е. с помощью какого-нибудь питоновского DSL можно легко создавать изолированную инфраструктуру. Это так?

Заранее благодарю.

[python] eval не видит locals в list comprehension

Wed, 05 Apr 2023 12:32:36 GMT

eval('[0 for a in A for b in B]', None, {'A':[1,2,3], 'B':[4,5,6]})
eval('[0 for a in A if B]',       None, {'A':[1,2,3], 'B':True})

В обоих случаях переменная A загружается как LOAD_NAME, а B — как LOAD_GLOBAL, и, естественно, приводит к ошибке.

Вопрос: можно ли это как-то исправить?

Есть лайфхак — затащить нужные переменные внутрь цикла — тогда генератор первого уровня возьмёт A,B как LOAD_NAME, а дальше он со своими внутренними переменными управится корректно (LOAD_FAST)

eval('[0 for _A,_B in [(A,B)] for a in _A for b in _B]', None, {'A':[1,2,3], 'B':[4,5,6]})

или через лямбду (LOAD_DEREF)

eval('(lambda _A,_B: [0 for a in _A for b in _B])(A,B)', None, {'A':[1,2,3], 'B':[4,5,6]})

Но код при этом становится грязным.

Подмешивать locals в globals не очень хочется по вопросам производительности.

Codon - быстрый компилятор Python

Tue, 14 Mar 2023 20:40:53 GMT

https://github.com/exaloop/codon

пишут, что создали компилятор для Python, и скомпилированный код в 10-100 раз быстрее, чем на на обычном питоне.
И сам компилятор вроде как очень быстро компилит.

думаю, может тоже влиться в мейстрим, и таки изучить этот язык?

Расскажите про gc в питоне.

Wed, 01 Feb 2023 13:11:11 GMT

Здравствуйте.

Правильно ли я понимаю, что в питоне помимо rc добавили, правда не знаю когда, gc c поколениями?
Т.е. там и rc по старинке и для циклических ссылок добавили gc, или там уже полностью на gc перешли?
Вообще, что там по части управления памятью, есть какие-то серьезные изменения в версии 3.*?

Заранее благодарю.

'PlaywrightContextManager' object has no attribute '_playwright'

Mon, 16 Jan 2023 11:13:21 GMT

ПОчему происходит такое?

def start_browser():
    global page

    with sync_playwright() as playwright:                
        browser = playwright.chromium.launch(headless=False)
        page = browser.new_page()
        page.wait_for_timeout(10000)
        page.goto("https://site.com/")