2004-08-04

2004-08-04

/. ed によりOSS-WEBパンク

(株)タイムインターメディアのサイトで、Kahua のアプリケーション kahua-web を つかって、08/02 より、OpenSource WEB を運営しはじめました。

「ゆっくり、試行錯誤しながら、少しずつ、コンテンツを蓄えていこう。 アクセスは徐々に増せればいいでしょう」なんて悠長なことをほざいていたら。。。 /. ed されてアクセスが想定を超えてバクハツ。大富豪 Kahua を 慎しやかなマシンで動かしていたものだから、贅沢な Kahua にメモリを 食われて、大量のスワップアウトが発生。おかげで、Load アベレージが 激増、個々のプロセスがスローダウン。しまいには、コンソールからの操作も できなくなるありさま。そのときの経過を今後の教訓として記憶に留めるために 公開します。

「イタイ」気な技術者のタコっ気たっぷりの対応を御笑覧あれ。

経過

  • 06:51 /. に「Open Source WEB」に関する投稿。
  • 08:48 /. ed になったせいで、アクセスが重くなっているとの一報のメールが、 Kahua 開発メイリングリストにとどく。プロセス監視などサービスの挙動に 留意せよとの注意も書かれていた。
  • 10:00頃 アクセスが重いことに気づく。この時点でまだ先のメールは、 読んでいなかった。これはプロセス監視をしないといけないなぁと、 具体的方法を知らないのに、悠長に、どんな方法があるかしらん。とか考えていた。
  • 10:50頃 Socket エラーのメッセージが画面が出ていることに気づいた。 Kahua 開発メイリングリストのメールに気づく。
  • 11:14 Kahua 開発メイリングリストに先のエラーメッセージとともに、メールを を投稿
  • 11:30頃 サーバにリモートでログインできなくなっていることに気づく。サーバ機 管理者にやっと相談。コンソールでログインを試みるが、既にコンソールからの ログインに5分以上かかるような状態。どうする?
  • 12:00頃 サービスを別のプチブルマシンに移動することを決断。社内に待機中の マシンはあるものの、すでに予約済み。ううむ。。。。 稼働中の、スペックの 良いマシンに載せることを決定。元のサーバ機をリブート。OSS-WEBのサービス停止。 移動作業開始。
  • 18:00頃 さんざんてこずったあげくに、移動完了。
  • web アクセス解析ツールの仕込み
  • バックアップ用スクリプト仕込み
  • 20:00頃 すでにアクセスが減っている。おおよそのところは安定しているように 見える。

数字

旧いマシン
  • PC: K6 500MHz
  • Memory: 256MB
  • Swap: 512MB
  • OS: FreeBSD 4.8-RELEASE-p23
新しいマシン
  • PC: Pentium 4 2.4GHz
  • Memory: 1 GB
  • Swap: 1 GB
  • OS: Debian GNU/Linux 3.0 woody
Apache のアクセスログ

06:30 から 30分間毎のOSS-WEBへのアクセス(KahuaのCGIブリッジへの GET リクエスト)

時間帯 GET
06:30 - 23
07:00 - 229
07:30 - 387
08:00 - 460
08:30 - 792
09:00 - 801
09:30 - 790
10:00 - 813
10:30 - 704
11:00 - 676
11:30 - 687
12:00 - 497
12:18 ころに System を再起動する直前のプロセス
プロセス総数 313
KahuaのCGIブリッジのプロセス 115
ApacheのHTTPdプロセス 157
SwapOut 240 MB (記録がなく記憶の値)

Powered by Kahua