Что можно «вытащить» из DOM’а?

Как Вы понимаете, этот пост никак не связан с домушничеством и воровством :). Сегодня я поделюсь с Вами ещё одним простым способом получения необходимой информации из Web-документов.

Однако, прежде, чем начинать программировать, я настоятельно рекомендую Вам ознакомиться со статьей Wiki о DOM, т.к. без понимания всей сути вопроса будет очень трудно понять как всё работает.

Теперь давайте разберемся, что нам необходимо получить из документа, чтобы провести его анализ на предмет поисковой оптимизации (SEO)? Самое основное, на мой взгляд, при анализе любой страницы это:

1. Заголовок страницы (Title).
2. Количество ссылок и их тип (внутренние/внешние ссылки).
3. Содержимое мета-тегов keywords и description.
4. Содержимое всех заголовков H1-H5 (ну, или H10 — кому какая глубина анализа нужна)
5. Подписи к рисункам, если таковые имеются на странице.
6. Длину текста страницы и сам текст.

Имея в своем распоряжении перечисленные выше данные, мы сможем провести простейший анализ HTML-документа, а именно:

1. Определить список ключевых слов.
2. Определить плотность каждого ключевого слова/фразы на странице.
3. Определить расположение ключевых слов на странице.
4. При необходимости предложить пользователю список. предположительных ключевых слов/фраз.
5. Выявить недочеты и ошибки SEO на странице.

Теперь давайте попробуем вытащить все необходимые данные.  Сегодня я не буду Вам советовать какие компоненты использовать, какой интерфейс придумать для программы, т.к. это все субъективные детали, а сосредоточусь именно на программном коде. Единственное, что следует сказать — это то, что для получения содержимого HTML-страницы я использую компонент Indy — idHTTP.

Итак, первое, что нам необходимо — это получить экземпляр DOM в свое распоряжении. Сделать это можно следующим образом:

var Doc: IHTMLDocument2; //экземпляр документа
procedure GetDom(const URL: string; idHTTP: TIdHTTP);
var Cache: string;
    V: OleVariant;
begin
  Cache:=IdHTTP.Get(url);
  Doc:=coHTMLDocument.Create as IHTMLDocument2; //создали экземпляр документа
  V:=VarArrayCreate([0,0], varVariant);
  V[0]:=Cache;
  Doc.Write(PSafeArray(TVarData(v).VArray)); //записали полученные данные
end;

Теперь, имея в руках экземпляр документа, мы можем разобрать его по частям, вытаскивая любые элементы. Пройдемся по пунктам:

1. Получение заголовка страницы (Title)

var Str: string;
begin
...
  Str:=Doc.title;
...
end;

2. Получение всех ссылок на странице

var Links: TStringList;
begin
...
  Links:=TStringList.Create;
  for i:=0 to Doc.links.length-1 do
    Links.Add(Doc.links.item(i));
...
end;

Если Вам необходимо получить анкоры ссылок, например, чтобы определить, что контекстная реклама, которую Вы заказывали у веб-мастера правильно проставлена на странице, то это делается следующим образом:

var DocA: IHTMLElementCollection; //коллекция элементов
    DocElement: IHtmlElement; //один элемент
    i: integer;
begin
...
  Links:=TStringList.Create;
  DocA:=Doc.all.tags('A') as IHTMLElementCollection;
  for i:=0 to DocA.length-1 do
    begin
      DocElement:=DocA.item(i,0)as IHTMLElement;
      Links.Add(DocElement.innerText) //читаем текст внутри тега
    end;
...
end;

3.  Получение содержимого мета-тегов keywords и description

Этот вопрос я рассматривал в статье про очистку HTML-документа от тегов. Единственная «сложноть» при работе с мета-тегами заключается в чтении не текста внутри тега, а атрибута content.

4. Получение содержимого всех заголовков H1-H5

Здесь всё аналогично работе с анкорами ссылок:

var DocA: IHTMLElementCollection; //коллекция элементов
    DocElement: IHtmlElement; //один элемент
    i: integer;
begin
...
  Links:=TStringList.Create;
  DocA:=Doc.all.tags('H1') as IHTMLElementCollection;
  for i:=0 to DocA.length-1 do
    begin
      DocElement:=DocA.item(i,0)as IHTMLElement;
      Links.Add(DocElement.innerText) //читаем текст внутри тега
    end;
...
end;

Аналогично, изменяя имя тега на Н2, Н3 и т.д. получаем содержимое всех тегов заголовков.

5.  Получение подписей к рисункам.

Немного посмотрев на исходные коды различных html-документов можно выделить следующие атрибуты тега IMG:

• alt — короткое описание
• title — заголовок для рисунка (такой атрибут используется, например, при вставке рисунка в пост WordPress)
• longdesc — подробное описание рисунка (такой атрибут использует, например, редактор Front Page)

Таким образом, при чтении подписи к рисункам нам необходимо проверить наличие всех трех атрибутов и прочитать их:

var  img_alt : TStringList;
     DocA: IHTMLElementCollection; //коллекция элементов
     DocElement: IHtmlElement; //один элемент
     i: integer;
...
begin
...
  img_alt:=TStringList.Create;
  DocA:=Doc.all.tags('img')as IHTMLElementCollection;
  for i:=0 to DocA.length-1 do
    begin
      DocElement:=DocA.Item(i, 0) as IHtmlElement;//получили элемент коллекции
      //проверяем тег на наличие атрибута
      if length(DocElement.getAttribute('alt',0))>0 then
         img_alt.Add(DocElement.getAttribute('alt',0));
      else
        if length(DocElement.getAttribute('title',0))>0 then
          img_alt.Add(DocElement.getAttribute('title',0));
        else
          if length(DocElement.getAttribute('longdesc',0))>0 then
            img_alt.Add(DocElement.getAttribute('longdesc',0));
    end;
...
end;

6. Получение текста страницы

Здесь опять же все просто и понятно:

var body_html: string;
...
begin
...
  body_html:=Doc.Body.innerText;
...
end;

Теперь у Вас будут в руках все необходимые данные для анализа страницы. Анализируйте, ищите ошибки и недочеты, улучшайте свои сайты.