Возникла задача получить со страницы Confluence все ссылки, в URL которых была последовательность символов XYZ. Вручную – не вариант, потому что ссылок много.

Я в блоге показывал парсинг веб-страниц с командлетом PowerShell Invoke-WebRequest. Но тут пришлось бы возиться с авторизацией и двухфакторной аутентификацией, поэтому я решил сохранить HTML-страницу локально.

Базовый подход к обработке локальных веб-страниц легко нагугливается вплоть до примеров кода – используется COM-объект и метод IHTMLDocument2.write. После удаления из HTML-кода страницы этой строки:

<meta http-equiv="X-UA-Compatible" content="IE=EDGE,chrome=IE7">

сработал такой парсинг:

$source = Get-Content -Path "C:\temp\page.html" -Raw
$page = New-Object -ComObject "HTMLFile"
$page.IHTMLDocument2_write($source)

На этом специфика локальной веб-страницы закончилась. Далее я получил список всех URLs с ключевым словом:

$urls = $page.links | Where-Object {$_.href -like '*XYZ*'}
$urls | Format-Table href

Однако сразу выяснилось, что нужно немного поработать напильником.

Во-первых, в некоторых случаях ссылки вели на якорь (конкретное место на странице) и имели вид /page#anchor. Лишнее отсекается методом .NET split() по тому же принципу, что и в рассказе про youtube-dl. Разница лишь в разделителе (в данном случае — #) и необходимости перебрать все ссылки командлетом ForEach-Object.

$urls | ForEach-Object {$_.href.split('#')[0]}

Во-вторых, оказалось, что в списке есть дубликаты, т.е. одинаковые ссылки присутствовали на странице несколько раз. Работа с дубликатами – вполне типовая задача, и в одной из грядущих статей я к ней вернусь. Это решается группировкой с помощью командлета Group-Object, который до сих пор не фигурировал в блоге.

Для наглядности я отсортировал группы по количеству ссылок. Видно, что две ссылки встречаются на странице по четыре раза, а остальные – по одному разу.

Чтобы получить только уникальные ссылки, надо из каждой группы взять по одной ссылке. В данном случае я беру свойство Name, значением которого выступает уникальный URL.

$urls | ForEach-Object {$_.href.split('#')[0]} | 
Group-Object | ForEach-Object {$_.Name} | Sort-Object

В итоге получается аккуратный список уникальных ссылок. При необходимости их все можно оптом открыть в браузере, передав список дальше по конвейеру командлету ForEach-Object. В таком случае последний этап конвейера будет примерно таким:

ForEach-Object {Start-Process "C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe" $_}