1. HTMLファイルを表示
2. その際JavaScriptで乱数を生成
3. 生成された乱数をFlashへの引数と次画面(登録CGI)へのhiddenパラメータとして渡す
4. Flashの方は、受け取った乱数を書き込み用のCGIへ渡し、戻り値として文字列を受け取り表示する
5. 書き込み用のCGIでは受け取った乱数と更に表示用に生成した６桁の乱数文字列、現在の日付をファイルに書き出し、ここで表示用に生成した６桁の文字列を返す
6. ユーザはFlashで書き出された文字列を読み入力フィールドに書き送信
7. 登録CGIでは、受け取った乱数とセキュリティコード、日付の差をファイルと比較、その他の入力項目も確認して真偽を決定
8. 真なら更に現在の時間フィールドを追加してファイルに保存 (日付超過データを削除)
9. 真ならユーザに登録内容を確認させて、アクティベーション用のURLを書いてメール送信
10. アクティベーションURL用のCGIで正規のコードを受け取った時点で先ほどのデータを削除して、ユーザ登録をする

Code: download

1. use LWP::Simple qw(get head);
2. use HTML::LinkExtor;
3. use strict;
4.  
5. my(%seen,%mod_time,%out,$site,$top_url,$freq,$priority);
6. $freq = 'weekly';
7. $priority = '1.0';
8. $top_url = 'http://sieg.xeong.com/';
10. $top_url = "http://$top_url" unless $top_url =~ /^https?\b/;
11. ($site = $top_url) =~ s/^(http:\/\/.+\/).*$/$1/;
12. $site .= "/" unless ($site =~ /\/$/);
13.  
14. &print_xml_head;
15. linker($top_url);
16. &print_xml_foot;
17.  
18. sub linker {
19.  my $base_url = shift;
20.  my $parser = HTML::LinkExtor->new(undef, $base_url);
21.  $parser->parse(get($base_url))->eof;
22.  my @links = $parser->links;
23.  for my $linkarray (@links) {
24.   my @element = @$linkarray;
25.   my $elt_type = shift @element;
26.   while(@element) {
27.    my ($attr_name, $attr_value) = splice(@element, 0,2);
28.    if( $attr_name eq "href" && $attr_value->scheme =~ /\b(https?)\b/ && $attr_value =~ /^$site/
29.     && ($attr_value =~ /\.xml?$/i or $attr_value =~ /\.s?html?$/i or $attr_value =~ /\.php.*$/i or $attr_value =~ /\.cgi.*$/i)
30.    ){
31.     $attr_value =~ s/^(.+)#.*$/$1/;
32.     next if(defined $seen{$attr_value});
33.     my @heads = LWP::Simple::head($attr_value);
34.     if(@heads) {
35.      $seen{$attr_value}++;
36.      my @date = $heads[2] ? gmtime($heads[2]) : gmtime(time);
37.      $mod_time{$attr_value} = sprintf("%04d-%02d-%02dT%02d:%02d:%02dZ", $date[5]+1900, $date[4]+1, @date[3,2,1,0]);
38.     }
39.    }
40.   }
41.  }
42.  
43.  for (sort keys %seen) {
44.   my $mod = $mod_time{$_};
45.   s/^(.+\.cgi).*$/$1/i;
46.   s/^(.+\.php).*$/$1/i;
47.   if(defined $out{$_}) {
48.    next;
49.   } else {
50.    $out{$_} = 'true';
51.    print_xml($_,$mod);
52.    linker($_);
53.   }
54.  }
55. }
56.  
57. sub print_xml_head {
58.  my %in_url = @_;
59.  my @date = gmtime(time);
60.  my $mod_time = sprintf("%04d-%02d-%02dT%02d:%02d:%02dZ", $date[5]+1900, $date[4]+1, @date[3,2,1,0]);
61.  print <<XML;
62. <?xml version="1.0" encoding="UTF-8"?>
63. <urlset xmlns="http://www.google.com/schemas/sitemap/0.84"
64. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
65. xsi:schemaLocation="http://www.google.com/schemas/sitemap/0.84
66. http://www.google.com/schemas/sitemap/0.84/sitemap.xsd">\n
67. <url>
68. <loc>$top_url</loc>
69. <lastmod>$mod_time</lastmod>
70. <changefreq>$freq</changefreq>
71. <priority>$priority</priority>
72. </url>\n
73. XML
74. }
75.  
76. sub print_xml {
77.  print qq(<url>\n<loc>$_[0]</loc>\n<lastmod>$_[1]</lastmod>\n</url>\n);
78. }
79.  
80. sub print_xml_foot {
81.  print qq(\n</urlset>\n);
82. }

Code: download

1. use LWP::Simple qw(get head);
2. use HTML::LinkExtor;
3. use strict;
4.  
5. my(%seen,%mod_time,%out,$site,$top_url);
6. $top_url = 'http://sieg.xeong.com/';
7. $top_url = "http://$top_url" unless $top_url =~ /^https?\b/;
8. ($site = $top_url) =~ s/^(http:\/\/.+\/).*$/$1/;
9. $site .= "/" unless ($site =~ /\/$/);
10.  
11. linker($top_url);
12.  
13. sub linker {
14.  my $base_url = shift;
15.  my $parser = HTML::LinkExtor->new(undef, $base_url);
16.  $parser->parse(get($base_url))->eof;
17.  my @links = $parser->links;
18.  for my $linkarray (@links) {
19.    my @element = @$linkarray;
20.    my $elt_type = shift @element;
21.    while(@element) {
22.      my ($attr_name, $attr_value) = splice(@element, 0,2);
23.      if(  $attr_name eq "href" && $attr_value->scheme =~ /\b(https?)\b/ && $attr_value =~ /^$site/){
24.        #   && ($attr_value =~ /\.xml?$/i or $attr_value =~ /\.s?html?$/i or $attr_value =~ /\.php.*$/i or $attr_value =~ /\.cgi.*$/i)){
25.        $attr_value =~ s/^(.+)#.*$/$1/;
26.        next if(defined $seen{$attr_value});
27.        my @heads = LWP::Simple::head($attr_value);
28.        if(@heads) {
29.          $seen{$attr_value}++;
30.          my @date = $heads[2] ? gmtime($heads[2]) : gmtime(time);
31.          $mod_time{$attr_value} = sprintf("%04d-%02d-%02dT%02d:%02d:%02dZ", $date[5]+1900, $date[4]+1, @date[3,2,1,0]);
32.        }
33.      }
34.    }
35.  }
36.  
37.  for (sort keys %seen) {
38.    my $mod = $mod_time{$_};
39. #    s/^(.+\.cgi).*$/$1/i;
40. #    s/^(.+\.php).*$/$1/i;
41.    if(defined $out{$_}) {
42.      next;
43.    } else {
44.      $out{$_} = 'true';
45.      print qq($_ - $mod\n);
46.      linker($_);
47.    }
48.  }
49. }

それにしても、Googleってどこまでやるんだろ
最近登録URLが増えたせいか、ただでさえクロールの失敗が多いというのに
こんなこと始めちゃって大丈夫なんだろうか
もしかしたら、これからはこの Google Sitemaps を基準にする気かもね
まぁ、ベータ版ですからね　いろいろと実験してるんだということかも

Googleアカウントを持っているので、とりあえずここでもやってみました
Google Sitemaps (BETA)にログイン後、このMovable Typeで作ったXMLのURLを指定しておきました
あとは、待つだけ　たのしみ　たのしみ

ついでに、このことを調べてるうちになかなかいいサイトを発見検索エンジン三国志なんだけど
なかなかためになること色々あっていいかもよ

更に詳しい情報:
Google、更新情報などを検索結果に反映するツールでインデックス強化 (ニュース)
Google Sitemaps グーグル・サイトマップ（ベータ版）FAQとプロトコル全訳 (ナレッジ)
Google SitemapsのMovable Typeテンプレート完全版 (解説)
Ogawa::Memoranda: Google Sitemaps (解説＆ナレッジ)
Google SitemapsのXMLジェネレータ (ツール)

#-----------------------------------
# 低水準言語
#-----------------------------------

機械語とアセンブリ言語が代表的

■機械語
CPUがそのまま解釈できる命令の集まりで、人間が直接書くことはまずない
参考書: 『マシン語・機械語・真心語』   (参考書: は『Amazon.co.jp各商品詳細ページ』へのリンクです)

■アセンブリ言語
英単語に近いニーモック表記で、機械語の命令に1対1に対応したプログラムの作成が可能となる
ただし、CPU毎に命令体系が異なるため、CPUの種類だけ機械語やアセンブリ言語は存在することになる
アセンブリ言語は、CPUの全ての動作を制御することができ、非常に細かい部分までプログラム可能である
つまり、アセンブリ言語を学習・理解することはCPUの動作自体を理解することになるので、コンピュータの基礎的な学習をする際には必修となる
参考書: 『アセンブリ言語』 『アセンブリ言語の教科書』 『アセンブリ言語の基礎―CASL2によるプログラミング』

「Yahoo！BB」を除くADSLサービスでは、PPPoE（PPPoverEthe，net）やPPPoA（PPP over ATM）というプロトコルでTCP/IPを運ぶ
これらは、その名のとおりイーサネットプロトコルやATMでPPPをカプセル化するものだ
PPP部分にはさらにTCP／IPがカプセル化されているという、およそ美しくないプロトコルなのだが、イーサネットプロトコルやATMでPPPの持つユーザー認証機能を利用するために考案された

■ルータタイプのモデム
ルータタイプのADSLモデムは、PPPoEやPPPoAを処理する機能を持ち、LANポートにはTCP/IPが流れる
ISDNルータと同じように、IPマスカレード機能により複数のPCをインターネットに同時接続させることも可能だ
Webブラウジングなど、インターネット上のサーバに接続する場合は、PCの設定が簡単なルータタイプのモデムが手軽でよいのだが、IPマスカレード機能を有効にしたままでサーバを公開するには、ポートフォワードという仕組みを利用しなければならない

■ブリッジタイプのモデム
ブリッジタイプのADSLモデムは、LANポートにPPPoEが流れる
そのため、LinuxマシンでPPPoEを扱えるようにする必要がある
ただし、ADSL回線業者とプロバイダの両方を1社で行う「Yahoo！BB」は、ユーザー認証の必要がないため、PPPoEではなくTCP/IPが直接流れる
「Yahoo！BB」を利用するときは、モデムとPCをイーサネットでつなぎ、TCP/IPの設定を行うだけで利用可能だ
IPアドレスなどのネットワーク情報は、DHCPによって取得する
PPPoEで接続する場合は、LinuxマシンにPPPoE接続ソフトウェアをインストールする
IPアドレスなどの情報はPPPの機能で取得するので、DHCPクライアントを動かす必要はない

今回は、Roaring Penguin'sSoftwareInc．のRP-PPPOEを紹介しよう
なお、モデムとLinuxマシンの間にPPPoE対応ブロードバンドル一夕をつなぎ、PPPoEの面倒をルータにみさせることも可能だが、サーバを公開するにはルータタイプのモデムを使うときと同様にポートフォワードの設定が必須となる

ブロードバンド環境の普及で、誰もが比較的容易に自宅サーバを持てるようになった
これを、会社や学校など出先からいつでもアクセスできる便利な"ファイルサーバ"にできないか？と期待するのは私だけではあるまい
残業持ち帰りのExcelファイルとか、学校のパソコン室で書いたレポートなど、サイズが大きくてフロッピーで持ち帰るっていうのもちょっとメールで送るにもアカウントがない現場から、なんてこともある
FTPが使えればいいのだが、こういったシーンでは外部インターネット接続が制限されていて「webアクセスしかできません」状態なことが多い
あえなく"自宅ファイルサーバ"計画は断念・・・？

そこで登場するのが「webDAV」（ウェブダブ）というプロトコル
この名は「web−based Distributed Authoringand Versioning」の略で、長ったらしいが「webのプロトコルだけでコンテンツの書き換え/配布などをできるようにしましょう」というしくみを意味している
従来、遠隔地にあるwebサーバ上のファイルはFTP経由でアクセスしないと更新できないのが常識だったが、webDAVではHTTPプロトコルを拡張、FTPなどを使わないでこれらのことができるようにした
RFC2518で提案され、現在ではWindows、MacOSの多くのwebオーサリングツールが対応する

webDAVを使えば遠隔地サーバからのファイルのダウンロードはもちろん、アップロードも更新も可能
しかもHTTPを使用するのでファイアウォール内でも利用できる可能性が高い
さらに、クライアントがWindowsの場合、InternetExplorer5以降で導入された「webフォルダ」機能を用い、ファイルのやりとりが簡単にできる
そのうえ、Microsoft Office2OO0以降ではwebDAVとの親和性が高くなっており、webフォルダ上のExcelファイルなどを直接集でき、しかもファイルロック機能に対応しているので複数人の共用ファイルスペースとしても活用を期待できる
なお、ユーザー認証はふつうのwebコンテンツと同じように制限をかけられる

#--------------------------------------------
# まずはダイナミックDNSについて
#--------------------------------------------

常時接続環境が利用できるとなると、インターネットの活用法も飛躍的に広がってくる
単にWebページを閲覧するだけに使用するというのではあまりにもったいない
次なるステップはマイ・インターネットサーバの構築ということになるだろう
プロバイダのメールサーバではメールアドレスやメールの送受信量に制限もあるだろうし、Webサーバも容量やCGIなどに制限が課せられる
せっかく常時接続に近い環境が得られるのであれば、自分だけの自由なサーバを構築してみたくなるものだ

#--------------------------------------------
グローバルIPアドレスとプライベートIPアドレス
#--------------------------------------------

インターネットに直接接続されるPCやホストには、インターネット上において一意で重複しないIPアドレスが割り当てられている
このIPアドレスをグローバルIPアドレスという
このグローバルIPアドレスがないとインターネット上のホストを特定することができない
インターネットが考案された当時は、現在のようにインターネットが爆発的に普及し、インターネットに接続されるホストが膨大になるとは想定されていなかったため、グローバルIPアドレスが不足するという事態となってしまった
こうしたグローバルIPアドレスの枯渇問題に対応するために、LANなどインターネットに直接接続されないPCやホストには、プライベートIPアドレスという内部的に使用されるIPアドレスを割り当てることが多い

プライベートIPアドレスでは直接インターネットに接続することはできない
このため、NAT（Network Address Translation）やIPマスカレードといった、プライーベートIPアドレスとグローバルIPアドレスを変換する仕組みを利用することで、インターネット上のホストに接続できるようにしている
こうした仕組みは、一種のファイアウォールとして機能するというメリットもあるが、逆にインターネット上からプライベートIPアドレスのホストに接続することはできない
このため残念ながらプライベートIPアドレスによるサーバの公開は不可能だ
つまりインターネットサーバを公開するとなると、グローバルIPアドレスが割り当てられていることが必須ということになる
IPアドレスがグローバルIPアドレスかプライベートIPアドレスかは、割り当てられたIPアドレスの範囲（アドレス空間）で知ることができる (下記)

----------------------------------------
10.0.0.0 〜 10.255.255.255
----------------------------------------
172.16.0.0 〜 172.31.255.255
----------------------------------------
192.168.0.0 〜 192.168.255.255
----------------------------------------

これらの範囲のIPアドレスはインターネット上に存在することが禁止されているものだ
ただし、ルータを使ってインターネットに接続している場合は、ルータがグローバルIPアドレスを持ち、サーバ自体はプライベートIPアドレスを持つこともある
この場合は、ルーターとサーバの間でパケットをポートフォワードすることによって、サーバを外部に公開することができる

Code: [download]

1. <html>
2. <body>
3. <script src="js.cgi"></script>
4. </body>
5. </html>

Code: [download]

1. print <<HTML;
2. Content-Type: application/x-javascript\n
3. rf = parent.document.referrer; //フレーム内なら top.document.referrer
4. document.write(rf); //ページに表示するならば
5. logurl = "js2.cgi?ref="+rf;
6. document.write('<script src="' + logurl + '"></script>');
7. HTML

Code: [download]

1. use CGI qw (:standard);
2. $ref = param('ref');
3. open FH, ">>js.txt";
4. print FH "$ref\n";
5. close FH;

# 全角スペース
$str = '(?:\xA1\xA1)'; # EUC-JP
$str_sjis = '(?:\x81\x40)'; # SJIS

# 全角数字 [０-９]
$str = '(?:\xA3[\xB0-\xB9])'; # EUC-JP
$str_sjis = '(?:\x82[\x4F-\x58])'; # SJIS

# 全角大文字 [Ａ-Ｚ]
$str = '(?:\xA3[\xC1-\xDA])'; # EUC-JP
$str_sjis = '(?:\x82[\x60-\x79])'; # SJIS

# 全角小文字 [ａ-ｚ]
$str = '(?:\xA3[\xE1-\xFA])'; # EUC-JP
$str_sjis = '(?:\x82[\x81-\x9A])'; # SJIS

# 全角アルファベット [Ａ-Ｚａ-ｚ]
$str = '(?:\xA3[\xC1-\xDA\xE1-\xFA])'; # EUC-JP
$str_sjis = '(?:\x82[\x60-\x79\x81-\x9A])'; # SJIS

# 全角ひらがな [ぁ-ん]
$str = '(?:\xA4[\xA1-\xF3])'; # EUC-JP
$str_sjis = '(?:\x82[\x9F-\xF1])'; # SJIS

# 全角ひらがな(拡張) [ぁ-ん゛゜ゝゞ]
$str = '(?:\xA4[\xA1-\xF3]|\xA1[\xAB\xAC\xB5\xB6])'; # EUC-JP
$str_sjis = '(?:\x82[\x9F-\xF1]|\x81[\x4A\x4B\x54\x55])'; # SJIS

# 全角カタカナ [ァ-ヶ]
$str = '(?:\xA5[\xA1-\xF6])'; # EUC-JP
$str_sjis = '(?:\x83[\x40-\x96])'; # SJIS

# 全角カタカナ(拡張) [ァ-ヶ・ーヽヾ]
$str = '(?:\xA5[\xA1-\xF6]|\xA1[\xA6\xBC\xB3\xB4])'; # EUC-JP
$str_sjis = '(?:\x83[\x40-\x96]|\x81[\x45\x5B\x52\x53])'; # SJIS

# 半角カタカナ [ヲ-゜]
$str = '(?:\x8E[\xA6-\xDF])'; # EUC-JP
$str_sjis = '[\xA6-\xDF]'; # SJIS