Kazuhiro's BBS

http://green.ribbon.to/~ikazuhiro/にて提供しているソフトウェア及びパッチに関する質問、要望等あれば御記入下さい。

書き込み一覧

fuwmakeでのエラーについて

By 柴田 この投稿を引用

WindowsXP上のCygwin環境で、
freeuwing-1.6とwikipedia-fuw(共に最新版)を使って、
2009/09/27版のwikipedia日本語版データをUTF8対応のEPWING辞書に変換しようとしているのですが、
下のようなエラーが出て変換できません。

Entry: 932656; 邯ュ邂。譚滓、咲黄繝ャ繝・ラ繝ェ繧ケ繝医・螟蛾・ (迺ー蠅・怐)
Out of memory during "large" request for 528384 bytes, total sbrk() is 325801984
bytes at fuwwikipedia line 426, <GEN14> line 54827725.
make: *** [work/parse.dep] Error 12

上のエラーは参照無し・数式無しの設定で実行した場合のものですが、
参照有りにしても、やはりエラーが出て変換が出来ません。

perl -Vで64bit intなどは問題なく使用でき、
freepwing-1.6とwikipedia-fpwの組み合わせでは、
エラー無く変換出来ています。

どのようにしたら、変換できるでしょうか。
アドバイス、お願いします。

No.139 2009/10/05 22:50:14

Re: fuwmakeでのエラーについて

By kazuhiro URL このコメントを引用

最近はCygwinで変換していないので確認はしていませんが
メモリ不足で止まっているように見えます。

http://www.cygwin.com/cygwin-ug-net/setup-maxmem.html

を参照してCygwinが利用できるメモリを増やしてみてはどうでしょうか。
上記のページにもありますが、無指定の場合は384MBだそうです (今知りました)。

regtool -i set /HKLM/Software/Cygnus\ Solutions/Cygwin/heap_chunk_in_mb 1024

で1GB使用できるようになります。

# どのくらいに増やせば良いのかは分かりません。

No.142 2009/10/06 21:07:42

Re: fuwmakeでのエラーについて

By 柴田 このコメントを引用

アドバイスありがとうございます。

早速メモリ設定を1Gと1.5Gまで上げて、
念のためfreeuwingを再構成してから、
fuwを実行してみたのですが、
1G,1.5Gの両設定とも、
以前と全く同じ箇所でエラーが出てしまいます。

実搭載RAMは4Gあります。
(XPが認識しているのは3.5Gですが)

また、タスクマネージャーで見た限りでは、
perlのメモリー使用量が、
300Mもいっていない段階で落ちている感じです。

No.144 2009/10/07 02:57:53

Re: fuwmakeでのエラーについて

By kazuhiro URL このコメントを引用

fuwwikipediaを

http://green.ribbon.to/~ikazuhiro/dic/files/tmp/fuwwikipedia

のものと差し替えてみてください。
変換速度は落ちますが、手元のCygwin環境では変換できることを確認しています。

wikipedia-fpwで英語版Wikipediaのダンプデータを変換した際に、
従来の動作とこの版の動作とを切り替えられる様にしようと (1年くらいに) 思って
いたのですが、変換にCygwin環境を使わなくなったので放置状態となっています。

No.145 2009/10/07 17:55:35

Re: fuwmakeでのエラーについて

By 柴田 このコメントを引用

ありがとうございます。
変換できました。

もう一つ変換できる方法を見つけました。
cygwinのコンソールを下のページを使ってUTF8化したら、
元のfreeuwingとfuwのままで変換できました。
http://www.okisoft.co.jp/esc/cygwin-20.html

どちらの辞書もeblookでアクセスしているのですが、
正常表示部分と文字化け部分が出てきてしまっています。
自分の環境でのeblookの作成で問題が起きている可能性もありそうなので、
もうちょっといじってみるつもりです。
(win32用バイナリは、content表示させるときに落ちてしまって使えませんでした)

No.146 2009/10/08 12:56:05

Re: fuwmakeでのエラーについて

By kazuhiro URL このコメントを引用

eblook 1.6.1+mediaの、JIS X 4081 UTF-8 extension対応については
Lookup のバックエンドとして使うことしか想定されておらず、
人間がinteractiveに扱う事は考慮されていません

Win32のバイナリであれば、eblookを"-e euc-jp"オプションで起動したうえで
入出力をUTF-8で行なえばFreeUWINGで作成した書籍のcontent表示が行えます。
(この時、listやsubinfoコマンドの出力はeuc-jpで行われます。)

No.147 2009/10/08 17:05:35

wikip の & と "

By 白井 この投稿を引用

# 変換かかりそうな気もするので、一部全角文字にします。

お久しぶりです。

読み仮名で検索できるっていうんで、久しぶりに wikipedia を変換してみて気づいたのですが、エントリ?の中の "&amp;", "&quot;" がそのまま残っていて、例えば、『スタスキー&ハッチ』だと『スタスキー&amp;ハッチ』で検索しないとヒットしません。

lookup だけなら :expanders で変換しちゃえば良いのだけど、他の辞書引きツールもあるでしょうから、可能なら変換の時に置き換えちゃった方が良いかと思われます。

# しかし、辞書を引くときに " を入力するかどうかははなはだ疑問ですが。。。

No.135 2009/10/01 23:29:26

Re: wikip の & と "

By kazuhiro URL このコメントを引用

お久しぶりです。

wikipedia-fuwではその様になっているのですが、wikipedia-fpwに反映しそこねていたようです。
近日中に修正版を出します。

No.136 2009/10/02 18:57:29

Re: wikip の & と "

By 白井 このコメントを引用

> お久しぶりです。

ども。

> wikipedia-fuwではその様になっているのですが、wikipedia-fpwに反映しそこねていたようです。
> 近日中に修正版を出します。

了解です。だけど、utf-8 extension も良いかなぁー

p.s.
ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。

No.137 2009/10/04 11:59:59

Re: wikip の & と "

By kazuhiro URL このコメントを引用

修正版を出しました。

> だけど、utf-8 extension も良いかなぁー

今のところはeblookでしか使えませんが、使える環境ではこっちの方がおすすめです。

> ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。

こちらではMeadow1, 2, 3で簡単に動かした範囲では大丈夫っぽかったです。
何か分かったらお知らせください。

No.138 2009/10/05 22:04:22

Re: wikip の & と "

By 白井 URL このコメントを引用

> 修正版を出しました。

昼間見つけて、ただいま変換中(会社で)です。

> > だけど、utf-8 extension も良いかなぁー
>
> 今のところはeblookでしか使えませんが、使える環境ではこっちの方がおすすめです。

今度試してみますね。

> > ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。
>
> こちらではMeadow1, 2, 3で簡単に動かした範囲では大丈夫っぽかったです。
> 何か分かったらお知らせください。

日記に現象と解決策を書いておきました。sqlite3 の作り方に完璧に依存するようですが、readline 付けていても大丈夫な人は大丈夫だと思われます。

No.140 2009/10/05 23:14:03

Re: wikip の & と "

By 白井 URL このコメントを引用

> 日記に現象と解決策を書いておきました。

日記の URI 間違えちゃった ^^;;;

No.141 2009/10/05 23:16:18

Re: wikip の & と "

By kazuhiro URL このコメントを引用

調べていただいてありがとうございます。
readline が (私には) よく分からない動きすることはeblookでもあって、
eblook 1.6.1+mediaでは無効にするオプションをつけた事を思い出しました。

あとでndwnjのページにも書いておきます。

No.143 2009/10/06 21:08:31

wikipedia-fpw-20090428 - cgraph.depエラー

By あるぺじお この投稿を引用

こんにちは。

wikipedia-fpw-20090428でenable_mathを利用しようとしておりますが、エラーで落ちてしまいます。チェック事項などがあればアドバイスいただきたく思います。

環境は Debian (sid) で、標準の perl (5.10.0) はUSE_64_BIT_INTが定義されていないので、これを定義してビルドし直したものを利用(USE_LARGE_FILESは標準で定義済)。FreePWINGは1.6、mimeTeXは最新版(08年9月)をwebから入手しビルドしました。

この環境で、jawiki の 09年7月1日のdump版をbuildしようとしていますが、以下のようなエラーで、すぐに落ちてしまいます。

Entry: 30; 情報工学
Entry: 31; 形式言語
/usr/share/freepwing/perl.sh: line 3: 6217
セグメンテーション違反です。 /usr/bin/perl ${1+"$@"}
make: *** [work/cgraph.dep] エラー 139

よろしくお願いいたします。

No.130 2009/07/04 11:22:38

Re: wikipedia-fpw-20090428 - cgraph.depエラー

By kazuhiro URL このコメントを引用

Image::Magickモジュールが正しくインストールされていない可能性を疑います。
ImageMagickやImage::Magickモジュールをパッケージシステムから
導入している場合は、自分でビルドしたPerlを使ってビルドし直してみてください。
Ubuntuでは問題なく導入できるようなので、そうでない場合は私には分かりません。

No.131 2009/07/05 08:12:22

Re: wikipedia-fpw-20090428 - cgraph.depエラー

By あるぺじお このコメントを引用

> Image::Magickモジュールが正しくインストールされていない可能性を疑います。
> ImageMagickやImage::Magickモジュールをパッケージシステムから
> 導入している場合は、自分でビルドしたPerlを使ってビルドし直してみてください。
> Ubuntuでは問題なく導入できるようなので、そうでない場合は私には分かりません。

早速のアドバイスありがとうございました。
Perl、EncodeモジュールをUSE_64_BIT_INT付でビルドしたpackageに置き換え、Imagemagickもこの環境下でビルドしなおしたものに置き換えたところ、fpwmakeはenable_mathを定義した状態でもエラーなく完了しました。

ところが、出来上がったHONMONで検索ができません。

eblook> list
1. wikip ウィキペディア日本語版
eblook> select 1
eblook> search ウィキペディア
An error occured in search_pattern: no such search method

この後、(1) この環境でenable_mathを定義しない状態、(2) Perl その他をOS(Debian)標準環境に戻して enable_mathを定義しない状態で、それぞれ fpwmakeして出来上がったHONMONで試したのですが、同様エラーとなってしまいました。
本年1月のjawikiのダンプではOS標準環境で問題なく(enable_mathは未定義)HONMON作成できていたのですが、他に何かチェックすべきポイントなどありますでしょうか。

大変お手数ですが、再度アドバイスいただければ幸甚です。

No.132 2009/07/05 19:57:59

Re: wikipedia-fpw-20090428 - cgraph.depエラー

By あるぺじお このコメントを引用

> ところが、出来上がったHONMONで検索ができません。
>
> eblook> list
> 1. wikip ウィキペディア日本語版
> eblook> select 1
> eblook> search ウィキペディア
> An error occured in search_pattern: no such search method
>
> この後、(1) この環境でenable_mathを定義しない状態、(2) Perl その他をOS(Debian)標準環境に戻して enable_mathを定義しない状態で、それぞれ fpwmakeして出来上がったHONMONで試したのですが、同様エラーとなってしまいました。

すみません。その後の試行錯誤で解決できたようです。
KazuhiroさんのWebからリンクを見ていて、2GB超えのデータには eb 4.4.1 以降が必要とされていることに気がつきました。
EB Library with UTF-8 support、eblook-1.6.1+media-20090527、Lookup 1.4+mediaに環境更新し、少なくともenable_math無しの版では、eblook, emacsから、共に、無事検索できることを確認しました。(enable_math付きで作成したデータは現在手元にないので、追って確認します。)
ありがとうございました。

(全く別の要因ですが、ebライブラリのバージョンをあげたところ、須藤さんのEBVIEWがビルド出来なくなりました。もう少し検討してみます。)

No.133 2009/07/06 12:34:20

Re: wikipedia-fpw-20090428 - cgraph.depエラー

By あるぺじお このコメントを引用

> KazuhiroさんのWebからリンクを見ていて、2GB超えのデータには eb 4.4.1 以降が必要とされていることに気がつきました。
> EB Library with UTF-8 support、eblook-1.6.1+media-20090527、Lookup 1.4+mediaに環境更新し、少なくともenable_math無しの版では、eblook, emacsから、共に、無事検索できることを確認しました。(enable_math付きで作成したデータは現在手元にないので、追って確認します。)

ありがとうございました。先ほど帰宅し、enable_math付きで作成したデータも、数式とも、emacs (23.0.50.1) からはちゃんと読み出し、表示できることが確認できました。

しばし悩んでいたので、感激しました。

No.134 2009/07/06 22:53:14

oald7-fpwの音声ファイルが再生されません。

By nobu この投稿を引用

oald7-fpwを作成していただき、ありがとうございます。非常に有効に活用させていただきております。

ただ、残念なことに、いくつかの音声ファイルが再生されませんでした。(大半は再生されます)

たとえば、UKのget(148558:1450 148569:53)ですが、音声ファイルを抜き出して確認してみたところ、再生時間が”0秒”となっており、環境によっては、再生されませんでした。

MP3にRIFF-WAVEのヘッダをつけて収録されているとのことですが、RIFF-WAVEのヘッダを付ける際、再生時間を0としてセットしてしまう音声ファイルが存在するようです。

修正することは、可能でしょうか。

現状でも、快適に使用することができています。
ただ、できれば、すべての発音が確認できるとうれしいので。

No.128 2009/06/27 17:17:08

Re: oald7-fpwの音声ファイルが再生されません。

By kazuhiro URL このコメントを引用

RIFF-WAVEヘッダは悪い意味で適当にでっちあげています。
他のソフトで元のMP3データにRFF-WAVEヘッダを付加してみたところ、
oald7-fpwでは固定値にしている部分が変動しているようでした。

元のMP3データに応じて正しくヘッダを作ればよいのだとは思いますが、
その辺の知識は無いのでちょっと時間がかかるかもしれません。

No.129 2009/06/29 22:29:48

テンプレートの表示について

By NoiR この投稿を引用

wikipedia-fpwを使っています
お世話になっています

仕様で,表は表示しないようになっているということですが,一部ページではテンプレート中に説明文が含まれている場合があります
例:http://ja.wikipedia.org/wiki/%E6%9D%B1%E6%96%B9Project%E3%81%AE%E7%99%BB%E5%A0%B4%E3%82%AD%E3%83%A3%E3%83%A9%E3%82%AF%E3%82%BF%E3%83%BC
これは,説明文とテンプレートの表部分がずれないようにするための措置ですが,この場合内容を確認することが出来ません
タグの内容からそれを判断し,本文部分に含まれる文章を無視しないようには出来ないでしょうか?

No.126 2009/06/14 18:48:04

Re: テンプレートの表示について

By kazuhiro URL このコメントを引用

テンプレートは必要に応じて個別に対応(と呼べるほどの処理を
しているものはないですが)しています。
あらゆる項目がテンプレートとして使用可能なようなので、
自動的に処理するならデータベースのミラーを構築する必要がある為です。

ただ、今回の件に関してはウィキペディアの側で変更されたようで、
次のダンプデータには反映されるかと思います。

No.127 2009/06/15 19:46:54

wikipedia分割について

By PEKO この投稿を引用

 こんにちは
 wikiepdiaをepwing化しました。そこで、最新のwikipediaを変換すると2G強になりました。サイズ的なもので、分割をしたいと思ったのですが、分割することができません。どのようにすればよいかアドバイスをください。
 初心者ですみません。

No.124 2009/05/13 13:53:01

Re: wikipedia分割について

By kazuhiro URL このコメントを引用

http://www3.rocketbbs.com/602/bbs.cgi?id=kzhr&mode=pickup&no=23
http://www3.rocketbbs.com/602/bbs.cgi?id=kzhr&mode=pickup&no=102
の書き込みを参照してください。
私自身は分冊したことはありませんが、アルファベットで始まる項目と
それ以外で分けるのが分かりやすいのではと思います。

No.125 2009/05/13 20:57:05

jawiki-20090423-pages-articles.xml.bz2変換時エラー

By kolo URL この投稿を引用

いつもお世話になっています。

私はUbuntuの9.04を使って変換しています。

wikipedia-fpw-20090220-src.tar.gzで、 okatti さんと同じエラーが出まして、

Entry: 1136053; ザ・ダッシュ
Entry: 1136059; テリー・カー
fpwwikipedia: Elapsed time : 21466sec.
fpwwikipedia: Number of entries: 590806
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwsort -workdir work
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwindex -workdir work
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwcontrol -workdir work
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwlink -workdir work -module GDBM
/usr/local/libexec/freepwing/fpwlink: unknown tag name, cgraph:math_c364f545548545350203e3: line 968686, work/textref
make: *** [work/link.dep] エラー 9

相対リンクも途中までしかついていなくて、EBWinでの検索も全文検索しか受け付けませんでした。またすべての数式が収録されていなくて数式が収録されるべき場所に空白行が挿入されています。

formulaのエラーの出た、
"形式言語","位取り記数法","仮面ライダーBLACK","線形回帰","デュレーション","スターリングの近似","グラフ彩色","プロトキン限界","ティコノフ正則化",

をはずして変換したところ、

/usr/local/libexec/freepwing/fpwlink: unexpected position.: work/eidxref0
make: *** [work/link.dep] エラー 9

というエラーが出ました。

多分 Link.pm からエラーが出ているものと思われます。


wikipedia-fpw-20090428-src.tar.gzを使って変換したところ、同じ、バッファエラーが出ました。

Entry: 1136053; ザ・ダッシュ
Entry: 1136059; テリー・カー
fpwwikipedia: Elapsed time : 12902sec.
fpwwikipedia: Number of entries: 590806
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwsort -workdir work
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwindex -workdir work
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwcontrol -workdir work
/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwlink -workdir work -module GDBM
/usr/local/libexec/freepwing/fpwlink: unexpected position.: work/eidxref0
make: *** [work/link.dep] エラー 9

こちらは検索ができますし、相対リンクもあるようですが、すべての数式が収録されていなくて数式が収録されるべき場所に空白行が挿入されています。

しかし、試しに円周率、積分、数学に関する記事など収録対象タイトルを細かく指定すると、wikipedia-fpw-20090220-src.tar.gz でもちゃんと数式が収録されます。
最初はmimetex,Perlmagickを疑ったのですが、こちらのほうはちゃんと働いているようです。

変換報告まで。

No.121 2009/05/03 21:16:22

Re: jawiki-20090423-pages-articles.xml.bz2変換時エラー

By kazuhiro URL このコメントを引用

現在ダウンロードできる最新のダンプデータからそのまま書籍を作成すると
HONMONファイルが2GBを超えてしまいますが、2GB以上の書籍の作成には
perl側の対応が必要です。
(FreePWINGも 1.6の方が安全だとは思いますが、必須かどうかは
確認はしていません。)

perl -V等で、Compile-time optionsにUSE_64_BIT_INTとUSE_LARGE_FILESが
あるのをを確認してください。
多分USE_64_BIT_INTがないのだと思います。

No.122 2009/05/04 07:36:17

Re: jawiki-20090423-pages-articles.xml.bz2変換時エラー

By kolo URL このコメントを引用

ああ、そこで引っかかるんですね。
確かにUSE_64_BIT_INTが、Ubuntuの9.04のPerlではなぜかわざわざUndefになっているんですよ。
しかし、ご相談したら一発で回答いただけて有難いです。これからworkフォルダーの中のファイルをひとつずつMIFES8であけて見ていこうと思っていたので助かりました。
本当は人に聞かないで自分でなんとかしなきゃないけないんですけどね。今回ギブアップで甘えが出てしまいました。
ちょっといまからPerlをなんとかしてみます。ありがとうございました。

No.123 2009/05/04 18:52:13

以下のフォームに記事No.と投稿時のパスワードを入力すれば、 投稿後に記事の編集や削除が行えます。

72/200件 [ ページ : << 1 2 3 4 5 6 7 8 9 10 11 >> ]

- HOME - お知らせ(3/8) - 記事検索 - 携帯用URL - フィード - ヘルプ - メール - 環境設定 -

Rocket Board Type-X (Free) Rocket BBS