ムーバブルタイプで3000エントリーの実験・・・限界を探る

ムーバブルタイプは約300エントリー前後で
再構築の際に動作が苦しくなると言われますが

そのなんと10倍の3000エントリーの
再構築にチャレンジしてみました。



使うデータは友達が運営している
某ショップの商品データと
そのHTML形式で書かれた商品説明文の
3000レコードです。


レコードの読み込みには
ムーバブルタイプ(MT3.2ja)の
管理メニューにある

読み込み/書き出し

の機能を使います。


ムーバブルタイプ(MT)の読み込みは
基本的にテキストベースの
ムーバブルタイプ(MT)専用のデータ形式の
テキストファイルでOKなので
某ショップのデータベースで管理されている
商品レコードを一旦エクセルで読めるように
CSV形式のファイルでデータベースから書き出します。


横一行が1レコードになりますので
縦に3000行あるCSVファイルの出来上がりです。


ムーバブルタイプ(MT)へのデータ変換は
VBAを使ってムーバブルタイプ(MT)用の

データに変換するプログラムを自作しても
よかったんですがムーバブルタイプ(MT)のデータ変換に
使える良いツールがありましたので
そちらを使用することにしてみました。


出来上がったムーバブルタイプ(MT)専用の
テキストファイルを文字コードEUCに変換して

いざムーバブルタイプ(MT)へ
読み込まそうとすると

日付の形式が正しくないって

ムーバブルタイプ(MT)がエラーを出します。


仕方ないのでエクセルのオートフィルの
機能をなんかを使って日付を付け加えて

再度ムーバブルタイプ(MT)用のデータを出力させ、
CSVからムーバブルタイプ(MT)用にデータ変換しました。


参考までにですがこのムーバブルタイプ(MT)用に
データ変換されたテキストベースのファイルサイズは
約10メガ位になりました。


2バイト文字の日本語で計算すると
一メガあたり約75万文字相当になるので

これを単純に1000倍すれば7億5千万文字となります。


イメージとしては一メガ約75万文字相当で
新聞約3日分と言われています。


7億5千万文字となれば3000日分に匹敵、
1年365日で計算すれば約8年分です。


ムーバブルタイプ(MT)用に
データ変換されたテキストファイルで
10メガと言えばいかに大きいファイルサイズで
あるかと言うことがお分かりですね!


ムーバブルタイプ(MT)のテキストデータは
下記のようになっています。


この形式で1エントリー分になります。


–一部変更ここから–
この部分にMTのバックアップファイルの
表示形式の書き込みをしていたのですが、
バックアップファイルからの読み込みが
上手くいかないことに気がつきこの部分削除してます・・・

バックアップファイルの形式を見たい方は
MTのユーティリティー⇒読み込み/書き込み
⇒エントリーの書き出しから
バックアップをとりテキストエディターで
直接開いてみてください・・・(>_<)
–一部変更ここまで–


ムーバブルタイプ(MT)用に
データ変換されたテキストベースの
ファイルの読み込みに、今回使用した
サーバーのマシンのスペックは
ペンティアム4の3ギガヘルツに
メモリー1ギガとかなりハイスペックな
サーバーマシンです。


データベースとしてはperlの
データベース拡張モジュールのsqliteを使用です。


いざムーバブルタイプ(MT)用に
変換されたデータの読み込みを始めてみると

CPU負荷99%でそのまま延々と
7時間強もかかりました。


途中あまりにも時間がかかるので
プロセスが止まってしまうかな?

と思いましたがそこはリナックス系のOS
だけあって止まりません。


もちろんムーバブルタイプ(MT)の
プログラムが優れている証拠でもあります。


ムーバブルタイプ(MT)のデータの読み込みに
7時間もかかりましたが逆に考えると

3000エントリーを7時間で終了したと思えば
手動でムーバブルタイプ(MT)の
エントリーをコピペでムーバブルタイプ(MT)に

3000エントリーもすることを思えば
比べ物にならないくらい早いとも考えられますね。


そして問題の全ての再構築ですが
約3時間でCPU負荷99%でしたが終了しました。


3000ものHTMLファイルを3時間で
出力するとはかなり予想より早かったです。


今回のムーバブルタイプ(MT)用に変換された
データ3000レコードを読みこまし、

再構築すると言う実験の結果から
専用サーバーでなければこのような離れ業は
共有サーバーでは実現不可能に近いってことで
現実的ではありませんね


以上、ムーバブルタイプ(MT)の
限界を探ってみる実験でした。


これからこのような処理をムーバブルタイプ(MT)で
行おうと思っている方、
いらっしゃいましたら是非参考にしてください。



こんな記事も読まれています

  • ロバートキヨサキ氏考案のキャッシュフローゲームを友達とプレイしてみましたロバートキヨサキ氏考案のキャッシュフローゲームを友達とプレイしてみました 本日、ご存知、 金持ち父さん貧乏父さんで 有名な、ロバートキヨサキ氏考案の キャッシュフローゲームを 友達とその子供達とプレイしてました。 さとるは生意気にもトレーナー兼バンカー役を 引き受け実際のキャッシュフローゲームの プレイは3人です。 あれ?って思われるかたいらっしゃると 思いますがそうです! ついにキャッシュフ […]
  • 念願のゴールド免許ゲットです念願のゴールド免許ゲットです 前回の運転免許証の書き換え時に 本当はゴールド免許になる予定だったのですが 道路交通法の改定で 後数日不足でゴールドを逃して さらには青色の3年、 違反者講習2時間付きで悔しい思いをして、 あれから我慢の3年! 念願が運転免許証が ゴールド免許についになりました(^O^) 前回の書き換え時で 既に2年以上の無事故無違反だったので […]
  • 実家で高級牛肉のしゃぶしゃぶ実家で高級牛肉のしゃぶしゃぶ オヤジが何を思ったのか 近くの近鉄百貨店の地下、 通称デパチカで高級?な、 しゃぶしゃぶ用の牛肉を買ってきて くれたので久々?の 贅沢なご馳走を食べてきました。 食べた感じでは高級なのかどうかは分かりませんが 口に入れてみると溶けてしまうような やわらかい牛肉で確かに美味しいです(^O^) うちの実家では肉より魚料理が多いので あま […]
  • ブログMTテンプレートを自分でカスタマイズするススメブログMTテンプレートを自分でカスタマイズするススメ ブログって一言でいっても WEBLOGが短くなって BLOGブログってなったって 話はよく聞きますねっ! ブログ=日記といったイメージと 同時に市民権を得た感がありますが ウェブ上のログってことなんで ホームページビルダーなんかの ホームページエディターソフトを使って こさえたホームページもある意味 ブログBLOGなんて言えるかもしれませんね […]
  • アクセスアップ-儲かる儲けるキーワードの探し方の方法情報を考えるアクセスアップ-儲かる儲けるキーワードの探し方の方法情報を考える ホームページの作成や ブログなんかを運営していると どうしてもアクセスアップや 広告収入なんかで儲けたいとか 儲かるとかの自分にとっての ドル箱キーワードを探したくなってきますよねっ 実際ホームページ中に含まれる キーワード一つでアクセスの数が 月とすっぽん位の差 が有るのも事実で 欲望キーワードや儲かるキーワード 儲けるキーワードみたい […]
  • 消えたグーグルのインデックスキャッシュがまだ復活しません消えたグーグルのインデックスキャッシュがまだ復活しません このホームページの トップページ以外が グーグルのインデックスのキャッシュから 消えてから現在、やっぱりまだ復活してません・・・ 5エントリー位、復活したかな? って思ったのも束の間、また消えてます。 グーグルのクロールは来てくれてるみたいなんですが キャッシュから消えているってのは淋しい話です・・・ アクセス激減してるし(涙) […]
  • 元ボーダフォン現ソフトバンク携帯の維持コスト価格でサプライズの発表元ボーダフォン現ソフトバンク携帯の維持コスト価格でサプライズの発表 ボーダフォンの買収で一時、 話題騒然だったソフトバンク、 所有する球団福岡ソフトバンクホークスは リーグ優勝できませんでしたが、 この度始まるナンバーポータビリティーに 合わせ元vodafone現ソフトバンクの 携帯電話のサービスがなんとっ ビビリまくりの嬉しい通話料0円が スタートするとのサプライズの発表が ソフトバンク社長孫正義氏の 直接会 […]
  • SEO対策を意識し過ぎかな?ユニークなアクセスが激減ですSEO対策を意識し過ぎかな?ユニークなアクセスが激減です 最近この日記を訪れてくれる 新規の訪問者さんが激減しました・・・ 超しょぼぉ~い弱小ブログで 内容は無いよ~、な (すいませんオヤジギャグです) ページですがアクセス無いのは 寂しい限りです。 なんで?なんて思いつつ 色々調べてみるとグーグルの検索エンジンから 訪問してくれる新規(ユニーク)の アクセスが目に見えて激減してました […]

コメントは受け付けていません。

サブコンテンツ

このページの先頭へ