Kazuhiro's BBS

http://green.ribbon.to/~ikazuhiro/にて提供しているソフトウェア及びパッチに関する質問、要望等あれば御記入下さい。

書き込み一覧

CygwinのPerl

By kazuhiro URL この投稿を引用

fpwwikipediaで落ちる不具合が改善されているようなので
wikipedia-fpwをCygwinで利用している方は
Perlをアップデートしてみてください。

No.99 2008/07/31 23:12:09

Freepwing1.5

By ATX この投稿を引用

kazuhiroさん こんにちは、お久しぶりです。
今回6月7日版のダンプデータとFreepwing1.5で変換を実行すると、
QX9650で開始約50分ぐらいの所で、
Entry: 429718; 大内インターチェンジ.
preparser: Unexpected file end
gmake: *** [preparse.dep] エラー 9
と表示され、止まってしまいます。
環境は
Fedora9(x86_64)
Perl-4:5.10.0-22.fc9(x86_64)
trim_long_indexについては有効、無効どちらでもダメでした。
相互参照は有効です
もしかして、64bit環境だからなのでしょうか?

No.94 2008/06/16 14:51:51

Re: Freepwing1.5

By kazuhiro URL このコメントを引用

エラーで止まっている preparser 自体は FreePWING の機能を
使っていないので、preparser の動作と FreePWING のバージョンは
ほぼ無関係です。

また、少なくとも32ビット環境では6月7日版のデータを変換できていますので
オリジナルのデータがおかしいという事は無いと思います。
以上を踏まえて普通にエラーを見れば wikipedia.xml が尻切れに
なっている可能性を疑います。

ただし、そのクラスのマシンで50分も経ってまだ preparser が
終了していないのは遅すぎると思います。
何か特殊なファイルシステムを利用している等はありませんか?
もしそうであれば、それらの不具合を疑ってみてもいいと思います。

64ビット環境については、問題になりそうなところは無いとは思いますが、
動作は未確認であり、いいともダメとも聞いていません。

No.95 2008/06/16 21:02:13

Re: Freepwing1.5

By ATX このコメントを引用

こんにちは。早速の返信ありがとうございます。
仰せのとおり、wikipedia.xmlが変でした。
Firefoxでダウンロードし直したダンプデータを差し替えるとうまくいきました。
変換時間はパッケージも含め約75分かかりました。
どうもOSがクアッドコアに対応していないらしく、
合計CPU使用率が約160/400%になります。仕様ですね。↓
※1.2MB近くあります。ご注意ください。
http://imagepot.net/image/121370155803.png
RAID0で組んでますし、他に原因はないようです。
また、この度は丁寧なご回答ありがとうございます。
開発頑張ってください。

No.96 2008/06/17 21:04:49

Re: Freepwing1.5

By kazuhiro URL このコメントを引用

マルチプロセッサ環境でCPUを使い切らないのはOSの問題ではなく
wikipedia-fpwの仕様です。
一度マルチスレッドなものを試作しましたが、スレッドの生成にものすごく
時間がかかるのが改善できずに結局あきらめました。
(私とPerlのどっちの問題なのかは検討していません)

ちなみに、160%のうち約60%はwikipedia-fpw自体ではなく、
ターミナルの描画等に使われているものだと思います。

No.97 2008/06/18 19:02:21

fpwmakeについて

By meatbag この投稿を引用

はじめまして
このツールを使って、wikipediaをEPWING化しようですが、うまくいきません

当時のエラーメッセージ

/usr/local/libexec/freepwing/perl.sh preparser \
./wikipedia.xml ./entries
Quantifier follows nothing in regex; marked by <-- HERE in m/(^(Wikipedia|MediaW
iki|Template|WP|Portal|Category|鐢诲儚|Help):|^(銆€| |\xEF\xBC\x8D|\xE2\x88\x92|
鈥恷-|'|鈥檤? <-- HERE )+$|/灞ユイ$)/ at wikipedia-fpw.conf line 116, <GEN0> lin
e 560.
make: *** [preparse.dep] Error 255

素人ですのて、意味はぜんぜんわかりません、
アドバイスしていただければありがたいです

No.92 2008/06/14 02:38:03

Re: fpwmakeについて

By kazuhiro URL このコメントを引用

Cygwinだと思いますが、こちらの環境では再現しません。
まず、wikipedia-fpw.confの文字コードがutf-8から
変更されていないことを確認してください。
それから、utf-8が扱えるテキストエディタなりビューアなどで開いて

my @skip_headings = (
'^(Wikipedia|MediaWiki|Template|WP|Portal|Category|画像|Help):',
'^( | |\xEF\xBC\x8D|\xE2\x88\x92|‐|-|\'|’|・)+$',

という記述が変更されていないか確認してください。
このあたりに問題が無いようでしたら私には分かりません。

No.93 2008/06/14 10:25:05

FreePWING更新

By kazuhiro URL この投稿を引用

そろそろ何か書いとかないとまた消えそうなので。

FreePWINGの改造版を更新しました。
機能には変更はありませんが、動作が速くなりましたので
wikipedia-fpw等を利用する場合にはFreePWINGの更新をおすすめします。

http://green.ribbon.to/~ikazuhiro/dic/dic.html#FREEPWING

No.83 2008/05/27 14:44:39

Re: FreePWING更新

By m-kasahr このコメントを引用

このパッチをFreePWING本体に取り込みたいのですが、いいでしょうか?

あるいは本体のメンテをkazuhiroさんに引き取って頂いても私は差し支えないのですが、いかがですか? (^^;)

No.87 2008/06/04 11:58:44

Re: FreePWING更新

By kazuhiro URL このコメントを引用

> このパッチをFreePWING本体に取り込みたいのですが、いいでしょうか?

是非お願いします。
ずっとsound patchが取り込まれないままだったので更新の予定は無しかなぁと
思ってこっちでやっていましたが、本体を更新されるのでしたら歓迎します。

No.88 2008/06/04 13:31:47

Re: FreePWING更新

By m-kasahr このコメントを引用

> 是非お願いします。

さぼっていてすみません...。

Kazuhiroさんの記述をもとに、バージョン1.5 のリリースノート (NEWS) を書きました。これで合ってるでしょうか?

* 検索語の登録を行う際に検索語が255バイトよりも長い場合、エラーにする
のではなく、前方一致検索と条件検索インデックスへは最後尾を切り詰め、
後方一致インデックスは先頭を切り詰めて登録すようにした。

* JPEG画像に対応した。
FreePWING::BaseTextクラスにadd_jpeg_graphic_startおよびadd_jpeg_graphic_endメソッドを新設した。

* FreePWING::BaseTextクラスにadd_jpeg_graphic_startおよびadd_jpeg_graphic_endメソッドを新設した。

* 複数の副本を作成した場合、不正なcatalogs.txtを生成してしまう不具合を修正した。

* Cygwinでfpwmake installが通らない不具合を修正した。

あとは、新設したメソッドをドキュメントに載せないといけないですね。

No.89 2008/06/05 13:07:04

Re: FreePWING更新

By kazuhiro URL このコメントを引用

メールで返信しましたので御確認ください。

No.90 2008/06/05 15:42:44

FreePWING 1.5 is released

By kazuhiro URL このコメントを引用

パッチを取り込んだFreePWING 1.5が公開されました。
http://www.sra.co.jp/people/m-kasahr/freepwing/

No.91 2008/06/09 12:46:31

wikipediaのEPWING化について

By kitani この投稿を引用

ご紹介のツールを使って、以前wikipediaをEPWING化した経験はあるのですが、最新のものと思われる日付のツールを使ったところ、
 honmonがwikipedia-fpwフォルダー内
 catalogも同じフォルダー内
 WIKIPフォルダーは見あたりません。
 辞書の検索も出来ません。
以前と違った様子です。
何か間違っているのか見当がつきません。
アドバイスしていただければ助かります。

No.84 2008/06/03 05:52:10

Re: wikipediaのEPWING化について

By kazuhiro URL このコメントを引用

fpwmake
として実行した直後の状態としては、その結果が以前と変わらない
正常動作であり、fpwmakeで何かした後にWIKIPディレクトリが
存在する方が異常です。

以前の書き込みから推測すると、以前はzipコマンドがないまま
fpwmake package
を実行したためにWIKIPディレクトリが残っていたのではないでしょうか。

fpwmake package
を実行してみてください。以前のままならWIKIPディレクトリが
作られると思います。
以前と異なり、zipコマンドが正常に動作していればWIKIPディレクトリはなく
zipファイルが作成されるので適当なところに展開してください。

No.85 2008/06/03 11:40:39

Re: wikipediaのEPWING化について

By kitani このコメントを引用

無事、見つけることが出来ました。
素人の質問にもいつも丁寧にこたえていただき、大変感謝します。ありがとうございます。

No.86 2008/06/03 18:45:42

OALD7

By UNI この投稿を引用

はじめまして。
Wiki成功いたしました!どうもありがとうございました。
ところでOALD7が未だ成功してません。
原因はCompress-Raw-Zlibにあるのではと推測してます。Perlがこれを利用可能かどうかはどこを見ればわかるのでしょうか? 
また、使えない場合、どのようにインストールすればよいのでしょうか?
恐れ入りますがご教授よろしくお願い致します。

No.81 2008/04/19 19:50:53

Re: OALD7

By UNI このコメントを引用

先程、OALD7も成功致しました! 音声もEBWinで確認できました。どうもありがとうございました!!

No.82 2008/04/19 20:44:26

lookup-content-collect-references

By 白井 この投稿を引用

白井です。

lookup で Wikipedia を引いていて気づいたのですが "L: lookup-entry-list-references" を動かしたときに同一のエントリは一つにまとめてしまってもよいのではないでしょうか?

# この掲示板でコードが張れるかどうかわりませんが↓

(defun lookup-content-collect-references ()
;; Content バッファのリファレンスを全て集めてリストにして返す。
(with-current-buffer (lookup-content-buffer)
(let (entries)
(lookup-map-over-property
(point-min) (point-max) 'lookup-reference
(lambda (start end entry)
(unless (member entry entries)
(setq entries
(if (and (lookup-reference-p entry)
(not (lookup-reference-dynamic-p entry)))
(nconc (reverse (lookup-reference-entries entry)) entries)
(cons entry entries))))))
(nreverse entries))))

例えば、"福原愛" を引いて "L" すると、「全日本空輸」が 5回、「卓球王国」が 3回、「アテネ五輪」が 2回出てきて冗長に感じます。上記のコードにすると、184項目だったのが 154項目に減り、少しはすっきりします。

# ちなみに「アテネ五輪」と「アテネオリンピック」を同一視するのはやめました :-)

No.76 2008/03/19 09:35:15

Re: lookup-content-collect-references

By kazuhiro URL このコメントを引用

そのまま取り込みました、どうもありがとうございます。
遅くても日曜日にはリリースできると思います。

# 個人的にはウィキペディアのダンプデータは
# リンクをはりすぎじゃないかと思います。

No.77 2008/03/20 00:02:37

Re: lookup-content-collect-references

By 白井 このコメントを引用

> そのまま取り込みました。

どうもありがとうございます。確認しました。

> # 個人的にはウィキペディアのダンプデータは
> # リンクをはりすぎじゃないかと思います。

まぁ、Wiki っていうぐらいなんだから、問答無用で
自動的にリンク張っちゃうんじゃないでしょうか?

ところで、Web のウィキペディアで「日本の女優一覧」
のようにずら〜と一覧が出るものが epwing化したもの
では、すべて欠落するようです。

全然調べていないのですが、もとから欠落しているか、
<table>の扱いかどちらかだとは思います。

# というわけで、wikipedia ダウンロード中 :-)

No.78 2008/03/25 10:07:20

Re: lookup-content-collect-references

By kazuhiro URL このコメントを引用

> ところで、Web のウィキペディアで「日本の女優一覧」
> のようにずら〜と一覧が出るものが epwing化したもの
> では、すべて欠落するようです。

表として書かれているので、wikipedia-fpwによる変換時に
捨てらているはずです。
今のところ、(多分これからも)仕様です。

No.79 2008/03/27 18:46:06

Re: lookup-content-collect-references

By 白井 このコメントを引用

> 表として書かれているので、wikipedia-fpwによる変換時に
> 捨てらているはずです。

あ、やっぱり。

> 今のところ、(多分これからも)仕様です。

はい、了解です。

No.80 2008/03/28 09:20:04

以下のフォームに記事No.と投稿時のパスワードを入力すれば、 投稿後に記事の編集や削除が行えます。

70/200件 [ ページ : << 1 2 3 4 5 6 7 8 9 10 >> ]

- HOME - お知らせ(3/8) - 記事検索 - 携帯用URL - フィード - ヘルプ - 環境設定 -

Rocket Board Type-X (Free) Rocket BBS