Google　Sitemaps ジェネレーターを作るにあたり、ネットワークから
サイト内のリンクをたどり、同一サイト内のURLを抽出するスクリプトを作ってみた

Code: download

1. use LWP::Simple qw(get head);
2. use HTML::LinkExtor;
3. use strict;
4.  
5. my(%seen,%mod_time,%out,$site,$top_url);
6. $top_url = 'http://sieg.xeong.com/';
7. $top_url = "http://$top_url" unless $top_url =~ /^https?\b/;
8. ($site = $top_url) =~ s/^(http:\/\/.+\/).*$/$1/;
9. $site .= "/" unless ($site =~ /\/$/);
10.  
11. linker($top_url);
12.  
13. sub linker {
14.  my $base_url = shift;
15.  my $parser = HTML::LinkExtor->new(undef, $base_url);
16.  $parser->parse(get($base_url))->eof;
17.  my @links = $parser->links;
18.  for my $linkarray (@links) {
19.    my @element = @$linkarray;
20.    my $elt_type = shift @element;
21.    while(@element) {
22.      my ($attr_name, $attr_value) = splice(@element, 0,2);
23.      if(  $attr_name eq "href" && $attr_value->scheme =~ /\b(https?)\b/ && $attr_value =~ /^$site/){
24.        #   && ($attr_value =~ /\.xml?$/i or $attr_value =~ /\.s?html?$/i or $attr_value =~ /\.php.*$/i or $attr_value =~ /\.cgi.*$/i)){
25.        $attr_value =~ s/^(.+)#.*$/$1/;
26.        next if(defined $seen{$attr_value});
27.        my @heads = LWP::Simple::head($attr_value);
28.        if(@heads) {
29.          $seen{$attr_value}++;
30.          my @date = $heads[2] ? gmtime($heads[2]) : gmtime(time);
31.          $mod_time{$attr_value} = sprintf("%04d-%02d-%02dT%02d:%02d:%02dZ", $date[5]+1900, $date[4]+1, @date[3,2,1,0]);
32.        }
33.      }
34.    }
35.  }
36.  
37.  for (sort keys %seen) {
38.    my $mod = $mod_time{$_};
39. #    s/^(.+\.cgi).*$/$1/i;
40. #    s/^(.+\.php).*$/$1/i;
41.    if(defined $out{$_}) {
42.      next;
43.    } else {
44.      $out{$_} = 'true';
45.      print qq($_ - $mod\n);
46.      linker($_);
47.    }
48.  }
49. }

使い方
６行目で探索するURLを指定
Windowsではコマンドラインから、これを実行するとリンクリストとUTC時間を表示する

Windowsコマンドプロンプトでのテキストファイル(link.txt)への出力例
perl -w linkgen.pl > link.txt

環境
以下のperlモジュールが必要
LWP::Simple
HTML::LinkExtor

解説
６行目: $top_urlに探索したいサイトのトップページを指定する
以下９行目までは、URLの補間処理
１１行目: サブルーチン linker 実行

linker:
１５，１６行でページ内のリンクリストを取得、このリストは１７行目 @links に格納
２３行目で href属性 内の http又はhttps で始まり、サイトの url を含むものだけに分類
２４行目はコメントアウトしてあるが、はずすと xml,htm,html,shtm,shtml,php,cgi だけに絞り込める (その際２３行目後ろの２文字は取り去ること)
２５行目でページ内リンク(アンカー)を取り去る
２６行目重複を確認(再帰しているのでこれを怠ると止まらなくなる)
２７行目でヘッダ情報を取得
２９行目も重複対策 (%seenに格納)
３０行目は対象ページの最終更新日からGMTタイムを取得
３１行目で整形して %mod_time に格納
３８行目は、以下２行をコメントアウトした場合の対策としての位置
３９，４０行目は、コメントアウトしているがCGIとPHPへの変数を削除
以下４行は、更に重複を確認 (心配性です)
４５行目で出力 形式は 完全URL - UTCタイム
４６行目で再帰

注意
しつこいようだが再帰処理しているので、改変時には注意を
サイトの構成、ネットワークの状態にもよるが　かなり時間がかかるはず
できるだけ、コメントアウトしているところを実行させるほうがいい
２７行目: LWP::Simple::headとしているのはCGI.pmのheadとの名前衝突回避のため

参照
UTCタイムについて、W3CのDate and Time Formatsを参考にした
Link::Extorについては Perldoc と、河馬屋二千年堂さんの日本語訳を
LWP::Simple については言うまでもないだろう

方向性
これから、Google Sitemaps ジェネレーターを作っていこうと思っているわけで
とりあえずは、URLの抽出と ISO 8601形式の時間換算をやってみた
次は簡単　Google Sitemaps (BETA) Helpと
グーグル・サイトマップ（ベータ版）FAQとプロトコル全訳
を参考にXMLタグを組むだけ 今度はCGIにしようと思う

トラックバック

このエントリーのトラックバックURL: http://sieg.xeong.com/mt-tb.cgi/21
このエントリーを含むはてなブックマーク

コメント