前回のサイト探索からの続きで
Google　Sitemaps用のXMLファイルを出力するスクリプトを作ってみた(コマンド編)
強調されている行番号は前回(サイト探索)からの変更点

Code: download

1. use LWP::Simple qw(get head);
2. use HTML::LinkExtor;
3. use strict;
4.  
5. my(%seen,%mod_time,%out,$site,$top_url,$freq,$priority);
6. $freq = 'weekly';
7. $priority = '1.0';
8. $top_url = 'http://sieg.xeong.com/';
10. $top_url = "http://$top_url" unless $top_url =~ /^https?\b/;
11. ($site = $top_url) =~ s/^(http:\/\/.+\/).*$/$1/;
12. $site .= "/" unless ($site =~ /\/$/);
13.  
14. &print_xml_head;
15. linker($top_url);
16. &print_xml_foot;
17.  
18. sub linker {
19.  my $base_url = shift;
20.  my $parser = HTML::LinkExtor->new(undef, $base_url);
21.  $parser->parse(get($base_url))->eof;
22.  my @links = $parser->links;
23.  for my $linkarray (@links) {
24.   my @element = @$linkarray;
25.   my $elt_type = shift @element;
26.   while(@element) {
27.    my ($attr_name, $attr_value) = splice(@element, 0,2);
28.    if( $attr_name eq "href" && $attr_value->scheme =~ /\b(https?)\b/ && $attr_value =~ /^$site/
29.     && ($attr_value =~ /\.xml?$/i or $attr_value =~ /\.s?html?$/i or $attr_value =~ /\.php.*$/i or $attr_value =~ /\.cgi.*$/i)
30.    ){
31.     $attr_value =~ s/^(.+)#.*$/$1/;
32.     next if(defined $seen{$attr_value});
33.     my @heads = LWP::Simple::head($attr_value);
34.     if(@heads) {
35.      $seen{$attr_value}++;
36.      my @date = $heads[2] ? gmtime($heads[2]) : gmtime(time);
37.      $mod_time{$attr_value} = sprintf("%04d-%02d-%02dT%02d:%02d:%02dZ", $date[5]+1900, $date[4]+1, @date[3,2,1,0]);
38.     }
39.    }
40.   }
41.  }
42.  
43.  for (sort keys %seen) {
44.   my $mod = $mod_time{$_};
45.   s/^(.+\.cgi).*$/$1/i;
46.   s/^(.+\.php).*$/$1/i;
47.   if(defined $out{$_}) {
48.    next;
49.   } else {
50.    $out{$_} = 'true';
51.    print_xml($_,$mod);
52.    linker($_);
53.   }
54.  }
55. }
56.  
57. sub print_xml_head {
58.  my %in_url = @_;
59.  my @date = gmtime(time);
60.  my $mod_time = sprintf("%04d-%02d-%02dT%02d:%02d:%02dZ", $date[5]+1900, $date[4]+1, @date[3,2,1,0]);
61.  print <<XML;
62. <?xml version="1.0" encoding="UTF-8"?>
63. <urlset xmlns="http://www.google.com/schemas/sitemap/0.84"
64. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
65. xsi:schemaLocation="http://www.google.com/schemas/sitemap/0.84
66. http://www.google.com/schemas/sitemap/0.84/sitemap.xsd">\n
67. <url>
68. <loc>$top_url</loc>
69. <lastmod>$mod_time</lastmod>
70. <changefreq>$freq</changefreq>
71. <priority>$priority</priority>
72. </url>\n
73. XML
74. }
75.  
76. sub print_xml {
77.  print qq(<url>\n<loc>$_[0]</loc>\n<lastmod>$_[1]</lastmod>\n</url>\n);
78. }
79.  
80. sub print_xml_foot {
81.  print qq(\n</urlset>\n);
82. }

使い方
６行目で、内容の更新頻度("always", "hourly", "daily", "weekly", "monthly", "yearly", "never")を指定
７行目で、同じサイト内の他のページと比較した優先度(0.0〜1.0)
８行目で探索するURLを指定
Windowsではコマンドラインから、これを実行するとGooglSitemaps用のXMLを表示する

WindowsコマンドプロンプトでのXMLファイル(sitemap.xml)への出力例
perl -w xmlgen.pl > sitemap.xml

環境
以下のperlモジュールが必要
LWP::Simple
HTML::LinkExtor

参照
UTCタイムについて、W3CのDate and Time Formatsを参考にした
Link::Extorについては Perldoc と、河馬屋二千年堂さんの日本語訳を
Google Sitemapsについては、Google Sitemaps (BETA) HelpのUsing the Sitemap Generatorを参考にした

トラックバック

このエントリーのトラックバックURL: http://sieg.xeong.com/mt-tb.cgi/22
このエントリーを含むはてなブックマーク

コメント