Delphi в Internet

http://www.google.ru/search?as_q=Delphi+%D0%B2+Internet&hl=ru&newwindow=1&num=100&btnG=Поиск+в+Google&as_epq=&as_oq=&as_eq=&lr=&cr=&as_ft=i&as_filetype=&as_qdr=all&as_occt=any&as_dt=i&as_sitesearch=&as_rights=&safe=images

http://www.google.ru/search?as_q=Delphi+в+Internet&num=100

http://www.google.ru/search?hl=ru&num=100&q=Delphi+в+Internet&start=100

http://www.google.ru/search?hl=ru&num=100&q=Delphi+в+Internet&start=0

http://www.google.ru/search?hl=ru&num=100&q=[ЗАПРОС]&start=[СТРАНИЦА*100]

Думаю, что смысл поиска шаблона страницы Вам понятен. Регулярные выражения тоже из себя ничего сверхъестественного не представляют, просто в отдельную группу выносится адрес сайта и все. Поэтому, чтобы не расписывать ещё пять раз этот же алгоритм – просто приведу список шаблонов страниц и регулярных выражений для каждого поисковика из списка и приступим уже, как говориться, кодить.

Bing

Шаблон страницы поиска:

http://www.bing.com/search?q=[ЗАПРОС]&filt=all&first=[КОЛИЧЕСТВО_URL_НА_СТРАНИЦЕ+1]&FORM=PERE1

К сожалению не нашел в этом поисковике где регулируется количество выдаваемых запросов на страницу.

Регулярное выражение:

Rambler

Шаблон страницы поиска:

http://nova.rambler.ru/srch?query=[ЗАПРОС]&pagelen=50&page=[СТРАНИЦА]

Выдается 50 результатов на страницу. В отличие от Яндекс и Google у Рамблера нумерация страниц идет не с нуля (как полагается у программистов :)), а с единицы и это обстоятельство надо будет учесть при построении алгоритма.

Регулярное выражение:

class="title n_title_.*?href=(.*?)">

Mail.ru

Шаблон страницы результатов:

http://go.mail.ru/search?q=[ЗАПРОС]&num=40&sf=[НОМЕР_СТРАНИЦЫ*40]

Нумерация страницы начинается с нуля.

Yahoo

Шаблон страницы результатов:

http://ru.search.yahoo.com/search?n=100&ei=UTF-8va=[ЗАПРОС]&xargs=0&pstart=1&b=[НОМЕР_СТРАНИЦЫ*100+1]

Регулярное выражение

<a class="yschttl spt" href="http:.*?http.*?//(.*?)"

Апорт

Шаблон страницы результатов:

http://sm.aport.ru/scripts/template.dll?r=[ЗАПРОС]&p=[НОМЕР_СТРАНИЦЫ]

Нумерация, как и полагается у порядочных программистов, начинается с нуля.

Регулярное выражение:

.*n.*s.*?

Признаться, исходник страницы результатов Апорта просто пестрит непонятными переводами на новую строку, кучей пробелов и прочими вещами, ухудшающими самочувствие при составлении регулярного выражения. Постарался сделать его как можно точнее – вроде бы по десятку различных запросов ошибок не было.

Теперь, имея в руках все необходимые данные для парсинга, можно приступать к программированию на Delphi.

Я решил, что лучше всего не создавать 7 отдельных компонентов для каждого поисковика, а просто доработать немного уже готовый компонент для парсинга выдачи Яндекс. И так как основные сведения о нем уже достаточно подробно описаны, то здесь я расскажу только то, что касается непосредственной его доработки. Итак, во-первых, теперь каждый поисковик может быть задан в свойствах компонента. Для того, чтобы облегчить немного процесс настройки компонента, каждый поисковик в компоненте описан константой следующего вида (для Google):

GoogleStr: array [1..2] of string = ('http://www.google.com/search?q=%s&&num=100&&hl=ru&&start=%d',
'
')

Чтобы выбрать необходимую для парсинга выдачи поисковую систему, в компоненте определено свойство типа:

type
  TIncFormula = (tiYandex, tiGoogle, tiBing, tiYahoo, tiMail, tiRambler, tiAport);

которая определяет:

1. Шаблон страницы с выдачей и регулярное выражение

2. Номер в URL, определяющий номер страницы с выдачей в поисковой системе.

Номер в URL, определяющий номер страницы, определяется следующим образом:

function TYaParser.NextInc(var CurrPage: integer): integer;
begin
  case FIncFormula of
    tiYandex,tiAport: result:=CurrPage;
    tiRambler: result:=CurrPage+1;
    tiGoogle:  result:=CurrPage*100;
    tiBing:    result:=CurrPage*10+1;
    tiYahoo:   result:=CurrPage*100+1;
    tiMail:    result:=CurrPage*40;
  end;
end;

где CurrPage – переменная в цикле, определяющее номер сачиваемой страницы поисковика. Чтобы стало предельно ясно как это работает, приведу ещё раз функцию для парсинга выдачи и определения положения сайта, но уже с внесенными изменениями:

function TYaParser.FindPos(Key: string): integer; // поиск позиции домена
var
  Page, i, LinkNum: integer;
  TextList: TStringList;
  isFind: boolean;
  RE: IRegExp2;
  mc: MatchCollection;
  mm: Match;
  sm: SubMatches;
  FindedLink: string;
begin
  Page := 0;//принимаем, что первая скачиваемая страница имеет порядковый номер 0
  LinkNum := 0;
  while (isFind = false) and (LinkNum < FCountPos) do
    begin
      if FActive then     begin       {скачиваем страницу, сразу определяя все необходимые данные для шаблона}
      if  DownloadPage(StringBuilder(FNextPage, Key, NextInc(Page)), TextList) then
          begin
             TextList.Text := Utf8ToAnsi(TextList.Text); //перекодируем в ANSI
// начинаем парсить страницу
              try
                try
                   RE := coRegExp.Create as IRegExp2;
                   RE.Pattern := FRegular;
                   RE.Global := true;
                   RE.IgnoreCase := true;
                   RE.Multiline := true;
                   mc := RE.Execute(TextList.Text) as MatchCollection;
                   for i := 0 to mc.Count - 1 do // проходим по порядку все совпадения
                     begin
                       mm := mc[i] as Match;
                       sm := mm.SubMatches as SubMatches;
                       FindedLink := sm.Item[0];// проверка, является ли ссылка искомой (входит ли она подстрокой в найденную)
                       inc(LinkNum);
                      if Pos(FDomain, FindedLink) > 0 then
                        begin
                          isFind := true;
                          Result := LinkNum;
                          break;
                        end;
            end;
          except
            if Assigned(FOnError) then
              OnError('Ошибка парсинга полученных данных');
          end;
          if mc.Count = 0 then
            LinkNum := FCountPos; // если совпадения не были найдены
        finally
          RE := nil;
          FreeAndNil(TextList);
        end;
        inc(Page);
        Sleep(FTimeShift); // ждем заданное время перед повторным скачиванием
      end
      else
      begin
        Result := -1; // если была ошибка при скачивании страницы, то результат не достигнут
        Exit;
      end;
    end
  end;
end;

При этом функция StringBuilder производит простую замену ключевых подстрок %s и %d на поисковый запрос и номер соответственно:

function TYaParser.StringBuilder(const Template, Key: string; Page: integer)
  : string;
  function StrReplace(const Str, Str1, Str2: string): string;
  var
    P, L: integer;
  begin
    Result := Str;
    L := length(Str1);
    repeat
      P := Pos(Str1, Result); // ищем подстроку
      if P > 0 then
      begin
        Delete(Result, P, L); // удаляем ее
        Insert(Str2, Result, P); // вставляем новую
      end;
    until P = 0;
  end;
begin
  Result := StrReplace(Template, '%d', IntToStr(Page));
  Result := StrReplace(Result, '%s', Key);
end;

Вот так, не прибегая к коренной переделке всего алгоритма парсинга выдачи Яндекс мы смогли разработать компонент для парсинга сразу семи поисковых систем. Кстати сказать, Вы и сейчас можете использовать компонент парсинга Яндекс (старый вариант) для парсинга, например Апорта – просто задайте в компоненте вручную шаблон и регулярное выражение. В шаблоне обязательно должня быть подстроки %s и %d. Кстати, раз уж речь зашла о шаблонах, то могу Вам порекомендовать красивые шаблоны сайтов для joomla
Ну, а пока Вы тренируетесь в работе с поисковыми системами я всё-таки попробую сделать компонент, который будет парсить всё, что потребуется в потоках. Тем более, что Серёга уже как можно более подробно постарался донести до нас информацию по разработке многопоточных приложений.

Related posts:

1. Простейший компонент Delphi 2010 для парсинга выдачи Яндекс.
2. Сбор статистики поисковых систем. Компонент Delphi 2010.