Kazuhiro's BBS

http://green.ribbon.to/~ikazuhiro/にて提供しているソフトウェア及びパッチに関する質問、要望等あれば御記入下さい。

書き込み一覧

分冊時のcatalogs.txtの書き方について

By YKM この投稿を引用

はじめまして。
現在、英語版WikipediaのEPWING化を試みています。
2Gの壁があるので、2つに分けて(分冊)して辞書を作成しようとしています。
「fpwmake catalogs」あるいは、「fpwmake package」を実行する前に、catalogs.txtをどのように記述すればよいのかが、今ひとつわかりません。
お手数ですが、ご教授願います。

現在、以下のような書き方を考えております。

■ 1冊目作成時のcatalogs.txt
[Catalog]
FileName = catalogs1
Type = EPWING1
Books = 1

[Book]
Title = "Wikipedia_A-M"
BookType = 5001
Directory = "WIKIP_EN1"


■ 2冊目作成時のcatalogs.txt
[Catalog]
FileName = catalogs2
Type = EPWING1
Books = 1

[Book]
Title = "Wikipedia_N-Z"
BookType = 5001
Directory = "WIKIP_EN2"

No.102 2008/10/24 13:49:25

Re: 分冊時のcatalogs.txtの書き方について

By kazuhiro URL このコメントを引用

どのようにして分冊を作成しようとしているのかが分からないので、
wikipedia-fpwのソースを展開後、分冊ごとに設定を書換えて
fpwmake package
でパッケージを作成し、
そのパッケージを任意のディレクトリに展開して使用すると仮定します。

catalogs.txtで変更すべき部分は
Title = "ウィキペディア日本語版"
Directory = "WIKIP"
の2行です。
Directory名は分冊毎に異なる名前で、8文字以内にしてください。
Titleの部分は全角文字で記述してください。

続いてMakefileの
DIR = WIKIP
の部分をcatalogs.txtのDirectory名に合わせてください。
それから、Makefileの
PACKAGE = wikipedia-fpw-20080616
の部分でパッケージ名が決まるので、分冊毎に重ならない名前に
変更してください。

ただし、私自身は分冊の作成をしたことがないので、
以上の内容でうまくいくかどうかは不明です。
書式等の詳細はFreePWINGのドキュメントを参照してください。

また、ブログの方に書きましたが、単一ファイルとして作成した場合で
honmonファイルのサイズが15GB弱だったので
分冊の数は2では足りないと思います。

No.103 2008/10/25 09:08:57

Re: 分冊時のcatalogs.txtの書き方について

By YKM このコメントを引用

kazuhiro 様、
たいへん役に立ちました。ありがとうございました。

> どのようにして分冊を作成しようとしているのかが分からないので、

以前このBBSで議論されていた方法で行いました。
つまり、wikipedia-fpw.conf の skip_headings の正規表現の箇所を変更しました。

> ただし、私自身は分冊の作成をしたことがないので、
> 以上の内容でうまくいくかどうかは不明です。
> 書式等の詳細はFreePWINGのドキュメントを参照してください。

了解いたしました。
うまくいきましたら、ご報告いたします。

> また、ブログの方に書きましたが、単一ファイルとして作成した場合で
> honmonファイルのサイズが15GB弱だったので
> 分冊の数は2では足りないと思います。

ご指摘の通りでした。
タイトルの1文字目が「a-mA-M」とそれ以外とで2分冊を考えていましたが、「a-mA-M」の部分だけで約9GBありました。もっと分冊数を大きくします。

No.104 2008/10/27 10:08:15

install.el

By tk++ この投稿を引用

「クリエイト」の綴りです。
--- install.el.ORIG Tue Jul 10 06:51:00 2007
+++ install.el Fri Oct 03 22:34:47 2008
@@ -39,7 +39,7 @@

(defun install-check-directory (directory)
(and (not (file-exists-p directory))
- (y-or-n-p (format "Directory %s is not exist. Creat it? " directory))
+ (y-or-n-p (format "Directory %s is not exist. Create it? " directory))
(make-directory directory t))
(if (not (file-directory-p directory))
(error "%s is not directory" directory))

No.100 2008/10/03 22:40:38

Re: install.el

By kazuhiro URL このコメントを引用

報告ありがとうございます。
手元では修正しておきましたので、次のリリースで反映されます。

No.101 2008/10/04 19:54:30

CygwinのPerl

By kazuhiro URL この投稿を引用

fpwwikipediaで落ちる不具合が改善されているようなので
wikipedia-fpwをCygwinで利用している方は
Perlをアップデートしてみてください。

No.99 2008/07/31 23:12:09

Freepwing1.5

By ATX この投稿を引用

kazuhiroさん こんにちは、お久しぶりです。
今回6月7日版のダンプデータとFreepwing1.5で変換を実行すると、
QX9650で開始約50分ぐらいの所で、
Entry: 429718; 大内インターチェンジ.
preparser: Unexpected file end
gmake: *** [preparse.dep] エラー 9
と表示され、止まってしまいます。
環境は
Fedora9(x86_64)
Perl-4:5.10.0-22.fc9(x86_64)
trim_long_indexについては有効、無効どちらでもダメでした。
相互参照は有効です
もしかして、64bit環境だからなのでしょうか?

No.94 2008/06/16 14:51:51

Re: Freepwing1.5

By kazuhiro URL このコメントを引用

エラーで止まっている preparser 自体は FreePWING の機能を
使っていないので、preparser の動作と FreePWING のバージョンは
ほぼ無関係です。

また、少なくとも32ビット環境では6月7日版のデータを変換できていますので
オリジナルのデータがおかしいという事は無いと思います。
以上を踏まえて普通にエラーを見れば wikipedia.xml が尻切れに
なっている可能性を疑います。

ただし、そのクラスのマシンで50分も経ってまだ preparser が
終了していないのは遅すぎると思います。
何か特殊なファイルシステムを利用している等はありませんか?
もしそうであれば、それらの不具合を疑ってみてもいいと思います。

64ビット環境については、問題になりそうなところは無いとは思いますが、
動作は未確認であり、いいともダメとも聞いていません。

No.95 2008/06/16 21:02:13

Re: Freepwing1.5

By ATX このコメントを引用

こんにちは。早速の返信ありがとうございます。
仰せのとおり、wikipedia.xmlが変でした。
Firefoxでダウンロードし直したダンプデータを差し替えるとうまくいきました。
変換時間はパッケージも含め約75分かかりました。
どうもOSがクアッドコアに対応していないらしく、
合計CPU使用率が約160/400%になります。仕様ですね。↓
※1.2MB近くあります。ご注意ください。
http://imagepot.net/image/121370155803.png
RAID0で組んでますし、他に原因はないようです。
また、この度は丁寧なご回答ありがとうございます。
開発頑張ってください。

No.96 2008/06/17 21:04:49

Re: Freepwing1.5

By kazuhiro URL このコメントを引用

マルチプロセッサ環境でCPUを使い切らないのはOSの問題ではなく
wikipedia-fpwの仕様です。
一度マルチスレッドなものを試作しましたが、スレッドの生成にものすごく
時間がかかるのが改善できずに結局あきらめました。
(私とPerlのどっちの問題なのかは検討していません)

ちなみに、160%のうち約60%はwikipedia-fpw自体ではなく、
ターミナルの描画等に使われているものだと思います。

No.97 2008/06/18 19:02:21

fpwmakeについて

By meatbag この投稿を引用

はじめまして
このツールを使って、wikipediaをEPWING化しようですが、うまくいきません

当時のエラーメッセージ

/usr/local/libexec/freepwing/perl.sh preparser \
./wikipedia.xml ./entries
Quantifier follows nothing in regex; marked by <-- HERE in m/(^(Wikipedia|MediaW
iki|Template|WP|Portal|Category|鐢诲儚|Help):|^(銆€| |\xEF\xBC\x8D|\xE2\x88\x92|
鈥恷-|'|鈥檤? <-- HERE )+$|/灞ユイ$)/ at wikipedia-fpw.conf line 116, <GEN0> lin
e 560.
make: *** [preparse.dep] Error 255

素人ですのて、意味はぜんぜんわかりません、
アドバイスしていただければありがたいです

No.92 2008/06/14 02:38:03

Re: fpwmakeについて

By kazuhiro URL このコメントを引用

Cygwinだと思いますが、こちらの環境では再現しません。
まず、wikipedia-fpw.confの文字コードがutf-8から
変更されていないことを確認してください。
それから、utf-8が扱えるテキストエディタなりビューアなどで開いて

my @skip_headings = (
'^(Wikipedia|MediaWiki|Template|WP|Portal|Category|画像|Help):',
'^( | |\xEF\xBC\x8D|\xE2\x88\x92|‐|-|\'|’|・)+$',

という記述が変更されていないか確認してください。
このあたりに問題が無いようでしたら私には分かりません。

No.93 2008/06/14 10:25:05

FreePWING更新

By kazuhiro URL この投稿を引用

そろそろ何か書いとかないとまた消えそうなので。

FreePWINGの改造版を更新しました。
機能には変更はありませんが、動作が速くなりましたので
wikipedia-fpw等を利用する場合にはFreePWINGの更新をおすすめします。

http://green.ribbon.to/~ikazuhiro/dic/dic.html#FREEPWING

No.83 2008/05/27 14:44:39

Re: FreePWING更新

By m-kasahr このコメントを引用

このパッチをFreePWING本体に取り込みたいのですが、いいでしょうか?

あるいは本体のメンテをkazuhiroさんに引き取って頂いても私は差し支えないのですが、いかがですか? (^^;)

No.87 2008/06/04 11:58:44

Re: FreePWING更新

By kazuhiro URL このコメントを引用

> このパッチをFreePWING本体に取り込みたいのですが、いいでしょうか?

是非お願いします。
ずっとsound patchが取り込まれないままだったので更新の予定は無しかなぁと
思ってこっちでやっていましたが、本体を更新されるのでしたら歓迎します。

No.88 2008/06/04 13:31:47

Re: FreePWING更新

By m-kasahr このコメントを引用

> 是非お願いします。

さぼっていてすみません...。

Kazuhiroさんの記述をもとに、バージョン1.5 のリリースノート (NEWS) を書きました。これで合ってるでしょうか?

* 検索語の登録を行う際に検索語が255バイトよりも長い場合、エラーにする
のではなく、前方一致検索と条件検索インデックスへは最後尾を切り詰め、
後方一致インデックスは先頭を切り詰めて登録すようにした。

* JPEG画像に対応した。
FreePWING::BaseTextクラスにadd_jpeg_graphic_startおよびadd_jpeg_graphic_endメソッドを新設した。

* FreePWING::BaseTextクラスにadd_jpeg_graphic_startおよびadd_jpeg_graphic_endメソッドを新設した。

* 複数の副本を作成した場合、不正なcatalogs.txtを生成してしまう不具合を修正した。

* Cygwinでfpwmake installが通らない不具合を修正した。

あとは、新設したメソッドをドキュメントに載せないといけないですね。

No.89 2008/06/05 13:07:04

Re: FreePWING更新

By kazuhiro URL このコメントを引用

メールで返信しましたので御確認ください。

No.90 2008/06/05 15:42:44

FreePWING 1.5 is released

By kazuhiro URL このコメントを引用

パッチを取り込んだFreePWING 1.5が公開されました。
http://www.sra.co.jp/people/m-kasahr/freepwing/

No.91 2008/06/09 12:46:31

wikipediaのEPWING化について

By kitani この投稿を引用

ご紹介のツールを使って、以前wikipediaをEPWING化した経験はあるのですが、最新のものと思われる日付のツールを使ったところ、
 honmonがwikipedia-fpwフォルダー内
 catalogも同じフォルダー内
 WIKIPフォルダーは見あたりません。
 辞書の検索も出来ません。
以前と違った様子です。
何か間違っているのか見当がつきません。
アドバイスしていただければ助かります。

No.84 2008/06/03 05:52:10

Re: wikipediaのEPWING化について

By kazuhiro URL このコメントを引用

fpwmake
として実行した直後の状態としては、その結果が以前と変わらない
正常動作であり、fpwmakeで何かした後にWIKIPディレクトリが
存在する方が異常です。

以前の書き込みから推測すると、以前はzipコマンドがないまま
fpwmake package
を実行したためにWIKIPディレクトリが残っていたのではないでしょうか。

fpwmake package
を実行してみてください。以前のままならWIKIPディレクトリが
作られると思います。
以前と異なり、zipコマンドが正常に動作していればWIKIPディレクトリはなく
zipファイルが作成されるので適当なところに展開してください。

No.85 2008/06/03 11:40:39

Re: wikipediaのEPWING化について

By kitani このコメントを引用

無事、見つけることが出来ました。
素人の質問にもいつも丁寧にこたえていただき、大変感謝します。ありがとうございます。

No.86 2008/06/03 18:45:42

以下のフォームに記事No.と投稿時のパスワードを入力すれば、 投稿後に記事の編集や削除が行えます。

72/200件 [ ページ : << 1 2 3 4 5 6 7 8 9 10 11 >> ]

- HOME - お知らせ(3/8) - 記事検索 - 携帯用URL - フィード - ヘルプ - メール - 環境設定 -

Rocket Board Type-X (Free) Rocket BBS