Obtener links de una página web

Ejemplos en vb.net para obtener los links de una página web

Código fuente que carga una página en un control webBrowser y en el evento Document complet, recorre la colección Links del objeto Document , y obtiene los enlaces con el método GetAttribute("href")

Controles :

• Un webBrowser
  
• Un Listbox
  
• Un TextBox
  
• Un Button

Código fuente
Option Explicit On Option Strict On Public Class Form1 Private Sub Button1_Click( _ ByVal sender As System.Object, _ ByVal e As System.EventArgs) Handles Button1.Click ListBox1.Items.Clear() WebBrowser1.Navigate(TextBox1.Text.Trim) End Sub Private Sub WebBrowser1_DocumentCompleted( _ ByVal sender As System.Object, _ ByVal e As System.Windows.Forms.WebBrowserDocumentCompletedEventArgs) _ Handles WebBrowser1.DocumentCompleted If e.Url.ToString = String.Empty Or e.Url.ToString = "http:///" Then Exit Sub End If Try Me.Cursor = Cursors.WaitCursor Call links() Me.Cursor = Cursors.Default Catch ex As Exception Debug.Print(ex.Message.ToString) End Try End Sub 'Extrae los links ' '''''''''''''''''''''''''''''''' Private Sub links() ListBox1.Items.Clear() For i As Integer = 0 To WebBrowser1.Document.Links.Count - 1 ListBox1.Items.Add(WebBrowser1.Document.Links.Item(i).GetAttribute("href")) Next End Sub Private Sub Form1_Load( _ ByVal sender As System.Object, _ ByVal e As System.EventArgs) Handles MyBase.Load Button1.Text = " Cargar página y obtener links " WebBrowser1.Visible = False TextBox1.Text = "www.google.com" End Sub End Class

Otro ejemplo con con expresiones regulares

Este otro código usa una función de un ejemplo del sitio vb france , en este enlace , para obtener el código fuente de la página usando el método HttpWebResponse de la clase System.Net , y el método StreamReader de la clase IO

Para obtener los links , usa el método Matches de la clase RegEx , y devolver en una colección ( MatchCollection ) los links

Nota: este ejemplo solo devuelve los links absolutos, http://, los links relativos no los devuelve

Código fuente con un button, un ListBox y un textbox para indicar la url

Option Explicit On Option Strict On ' para obtener el código fuente de la página web Imports System.Net ' clase par usar expresiones regulares Imports System.Text.RegularExpressions Public Class Form1 ' función que retorna los links ' '''''''''''''''''''''''''''''''''''''''''' Private Function Obtener_Links(ByVal fuente As String) As ArrayList Dim temp_arrayList As New ArrayList ' expresión regular Dim pattern As String = "(ftp|http|https):\/\/(\w+:{0,1}\w*@)?(\S+)(:[0-9]+)" _ & "?(\/|\/([\w#!:.?+=&%@!\-\/]))?" & Chr(34) Try ' Colección para obtener los links Dim Links As MatchCollection = Regex.Matches(fuente, pattern) ' añadirlos For Each Link As Match In Links temp_arrayList.Add(Replace(Link.Value.ToString, Chr(34), String.Empty)) Next ' retornar Return temp_arrayList ' errores Catch ex As Exception MsgBox(ex.ToString) Finally End Try Return Nothing End Function Private Sub Button1_Click(ByVal sender As System.Object, _ ByVal e As System.EventArgs) Handles Button1.Click Me.Cursor = Cursors.WaitCursor Dim contenido As String = Get_request(TextBox1.Text) If contenido <> String.Empty Then With ListBox1 ' limpiar el control listbox .DataSource = Nothing ' Mostrar el resultado en el control ListBox .DataSource = Obtener_Links(contenido.ToString) MsgBox("Cantidad de Links : " & .Items.Count.ToString, MsgBoxStyle.Information) End With End If Me.Cursor = Cursors.Default End Sub Private Sub Form1_Load(ByVal sender As System.Object, _ ByVal e As System.EventArgs) _ Handles MyBase.Load Button1.Text = " Obtener Links " End Sub ' Función sacada de vb France : ' ( http://www.vbfrance.com/codes/REQUETE-HTTP-GET-POST_36181.aspx ) ' ''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''' Private Function Get_request( _ ByVal url As String, _ Optional ByVal cookies As String = "", _ Optional ByVal proxy As String = Nothing, _ Optional ByVal proxyport As Integer = Nothing, _ Optional ByVal timeout As Integer = 30000, _ Optional ByVal login As String = "", _ Optional ByVal pass As String = "") As String ' comprueba si el uri tiene el http:// If url.Substring(0, 7).ToLower <> "http://" Then url = "http://" & url End If Dim reader As IO.StreamReader 'on crée un objet streamreader Try Dim hwebrequest As System.Net.HttpWebRequest = _ CType(System.Net.HttpWebRequest.Create(url), _ System.Net.HttpWebRequest) 'on crée la requete web hwebrequest.Timeout = timeout ' Opciones de acceso ' ''''''''''''''''''''''''''''''''''''''' If proxy <> "" Then Dim hproxy As WebProxy hproxy = New WebProxy(proxy, proxyport) WebRequest.DefaultWebProxy = hproxy End If If login <> "" Then Dim hcredential As New System.Net.NetworkCredential(login, pass) hwebrequest.Credentials = hcredential End If If cookies <> "" Then hwebrequest.CookieContainer = New CookieContainer hwebrequest.CookieContainer.SetCookies(New Uri(url.Substring(0, url.IndexOf("/", 8))), cookies) End If Dim hwebresponse As System.Net.HttpWebResponse = CType(hwebrequest.GetResponse, System.Net.HttpWebResponse) 'on crée un objet de reponse a notre requete reader = New IO.StreamReader(hwebresponse.GetResponseStream) 'on redefini notre streamreader avec la reponse à la requete en argument Dim res As String = "" res = reader.ReadToEnd() 'on renvoie l'ensemble du resultat reader.Close() 'on ferme l'objet hwebresponse.Close() ' retornar el contenido de la página web Return res Catch ex As Exception Return ex.ToString End Try End Function End Class