http://green.ribbon.to/~ikazuhiro/にて提供しているソフトウェア及びパッチに関する質問、要望等あれば御記入下さい。
By kitani この投稿を引用
久しぶりにwikipediaをEPWING化しようとしました。Cygwin上でwikipedia-fpw-20080616で変換を試みましたが、反応がほとんどなく変換を始めません。以前は同じ環境でできたはずです。wikipedia-fpw-20091006に変えたところ変換を始めたのですが、３時間後ぐらいに下記のエラーで止まりました。再度試みましたが同じ結果でした。'enable_reference' => 0 にすると変換は一応終了しました。しかし、entry:130691までしか変換は行っていませんでした。wikipediaを現時点のものではなく９月２７日のものを使うとentry:249696までいき終了しました。２Gを当然超えていません。よくわからないまま、見よう見まねで行っているので的を射ていない文章かもしれませんが、変換できる方法を教えて頂けるとありがたいです。EPWING化の度に質問をして申し訳なく思います。なお、windows2000 512Mです。メモリー不足でしょうか？perlは5.8.8でUSE_64_BIT_INTとUSE_LARGE_FILESはあるようです。−−−略−−−Entry: 130691; X-繝。繝ｳ/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwsort -workdir work/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwindex -workdir work/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwcontrol -workdir work/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwlink -workdir work/usr/local/libexec/freepwing/fpwlink:unknow tag name, text:e38393e38383e38388e6bc94e7ae97: line 13,work/textrefmake:***[work/link.dep]Error 255
No.148 2009/10/19 18:42:28
By kazuhiro このコメントを引用
「Cygwinのperlでfpwwikipediaを実行するとperlが落ちる」にあてはまっている様に思います。PerlをCygwinから提供されている最新版 (5.10) にしてみてください。ちなみに、メモリー不足の場合はその時点で正しくエラーが出て終了します。
No.149 2009/10/19 21:47:51
By kitani このコメントを引用
レス感謝します。ハードル高そうですが、チャレンジしてみます。ありがとうございます。
No.150 2009/10/19 22:47:47
ありがとうございました。無事変換できました。すばらしいソフトと適切なアドバイス感謝します。
No.151 2009/10/23 21:46:28
By 柴田 この投稿を引用
WindowsXP上のCygwin環境で、freeuwing-1.6とwikipedia-fuw(共に最新版)を使って、2009/09/27版のwikipedia日本語版データをUTF8対応のEPWING辞書に変換しようとしているのですが、下のようなエラーが出て変換できません。Entry: 932656; 邯ｭ邂｡譚滓､咲黄繝ｬ繝・ラ繝ｪ繧ｹ繝医・螟蛾・ (迺ｰ蠅・怐)Out of memory during "large" request for 528384 bytes, total sbrk() is 325801984 bytes at fuwwikipedia line 426, <GEN14> line 54827725.make: *** [work/parse.dep] Error 12上のエラーは参照無し・数式無しの設定で実行した場合のものですが、参照有りにしても、やはりエラーが出て変換が出来ません。perl -Vで64bit intなどは問題なく使用でき、freepwing-1.6とwikipedia-fpwの組み合わせでは、エラー無く変換出来ています。どのようにしたら、変換できるでしょうか。アドバイス、お願いします。
No.139 2009/10/05 22:50:14
最近はCygwinで変換していないので確認はしていませんがメモリ不足で止まっているように見えます。http://www.cygwin.com/cygwin-ug-net/setup-maxmem.htmlを参照してCygwinが利用できるメモリを増やしてみてはどうでしょうか。上記のページにもありますが、無指定の場合は384MBだそうです (今知りました)。regtool -i set /HKLM/Software/Cygnus\ Solutions/Cygwin/heap_chunk_in_mb 1024で1GB使用できるようになります。# どのくらいに増やせば良いのかは分かりません。
No.142 2009/10/06 21:07:42
By 柴田 このコメントを引用
アドバイスありがとうございます。早速メモリ設定を1Gと1.5Gまで上げて、念のためfreeuwingを再構成してから、fuwを実行してみたのですが、1G,1.5Gの両設定とも、以前と全く同じ箇所でエラーが出てしまいます。実搭載RAMは4Gあります。(XPが認識しているのは3.5Gですが)また、タスクマネージャーで見た限りでは、perlのメモリー使用量が、300Mもいっていない段階で落ちている感じです。
No.144 2009/10/07 02:57:53
fuwwikipediaをhttp://green.ribbon.to/~ikazuhiro/dic/files/tmp/fuwwikipediaのものと差し替えてみてください。変換速度は落ちますが、手元のCygwin環境では変換できることを確認しています。wikipedia-fpwで英語版Wikipediaのダンプデータを変換した際に、従来の動作とこの版の動作とを切り替えられる様にしようと (1年くらいに) 思っていたのですが、変換にCygwin環境を使わなくなったので放置状態となっています。
No.145 2009/10/07 17:55:35
ありがとうございます。変換できました。もう一つ変換できる方法を見つけました。cygwinのコンソールを下のページを使ってUTF8化したら、元のfreeuwingとfuwのままで変換できました。http://www.okisoft.co.jp/esc/cygwin-20.htmlどちらの辞書もeblookでアクセスしているのですが、正常表示部分と文字化け部分が出てきてしまっています。自分の環境でのeblookの作成で問題が起きている可能性もありそうなので、もうちょっといじってみるつもりです。(win32用バイナリは、content表示させるときに落ちてしまって使えませんでした)
No.146 2009/10/08 12:56:05
eblook 1.6.1+mediaの、JIS X 4081 UTF-8 extension対応についてはLookup のバックエンドとして使うことしか想定されておらず、人間がinteractiveに扱う事は考慮されていません Win32のバイナリであれば、eblookを"-e euc-jp"オプションで起動したうえで入出力をUTF-8で行なえばFreeUWINGで作成した書籍のcontent表示が行えます。(この時、listやsubinfoコマンドの出力はeuc-jpで行われます。)
No.147 2009/10/08 17:05:35
By 白井 この投稿を引用
# 変換かかりそうな気もするので、一部全角文字にします。お久しぶりです。読み仮名で検索できるっていうんで、久しぶりに wikipedia を変換してみて気づいたのですが、エントリ？の中の "＆ａｍｐ；", "＆ｑｕｏｔ；" がそのまま残っていて、例えば、『スタスキー&ハッチ』だと『スタスキー＆ａｍｐ；ハッチ』で検索しないとヒットしません。lookup だけなら :expanders で変換しちゃえば良いのだけど、他の辞書引きツールもあるでしょうから、可能なら変換の時に置き換えちゃった方が良いかと思われます。# しかし、辞書を引くときに " を入力するかどうかははなはだ疑問ですが。。。
No.135 2009/10/01 23:29:26
お久しぶりです。wikipedia-fuwではその様になっているのですが、wikipedia-fpwに反映しそこねていたようです。近日中に修正版を出します。
No.136 2009/10/02 18:57:29
By 白井 このコメントを引用
> お久しぶりです。ども。> wikipedia-fuwではその様になっているのですが、wikipedia-fpwに反映しそこねていたようです。> 近日中に修正版を出します。了解です。だけど、utf-8 extension も良いかなぁーp.s.ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。
No.137 2009/10/04 11:59:59
修正版を出しました。> だけど、utf-8 extension も良いかなぁー今のところはeblookでしか使えませんが、使える環境ではこっちの方がおすすめです。> ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。こちらではMeadow1, 2, 3で簡単に動かした範囲では大丈夫っぽかったです。何か分かったらお知らせください。
No.138 2009/10/05 22:04:22
> 修正版を出しました。昼間見つけて、ただいま変換中（会社で）です。> > だけど、utf-8 extension も良いかなぁー> > 今のところはeblookでしか使えませんが、使える環境ではこっちの方がおすすめです。今度試してみますね。> > ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。> > こちらではMeadow1, 2, 3で簡単に動かした範囲では大丈夫っぽかったです。> 何か分かったらお知らせください。日記に現象と解決策を書いておきました。sqlite3 の作り方に完璧に依存するようですが、readline 付けていても大丈夫な人は大丈夫だと思われます。
No.140 2009/10/05 23:14:03
> 日記に現象と解決策を書いておきました。日記の URI 間違えちゃった ^^;;;
No.141 2009/10/05 23:16:18
調べていただいてありがとうございます。readline が (私には) よく分からない動きすることはeblookでもあって、eblook 1.6.1+mediaでは無効にするオプションをつけた事を思い出しました。あとでndwnjのページにも書いておきます。
No.143 2009/10/06 21:08:31
By あるぺじお この投稿を引用
こんにちは。wikipedia-fpw-20090428でenable_mathを利用しようとしておりますが、エラーで落ちてしまいます。チェック事項などがあればアドバイスいただきたく思います。環境は Debian (sid) で、標準の perl (5.10.0) はUSE_64_BIT_INTが定義されていないので、これを定義してビルドし直したものを利用(USE_LARGE_FILESは標準で定義済)。FreePWINGは1.6、mimeTeXは最新版(08年9月)をwebから入手しビルドしました。この環境で、jawiki の 09年7月1日のdump版をbuildしようとしていますが、以下のようなエラーで、すぐに落ちてしまいます。Entry: 30; 情報工学Entry: 31; 形式言語/usr/share/freepwing/perl.sh: line 3: 6217セグメンテーション違反です。 /usr/bin/perl ${1+"$@"}make: *** [work/cgraph.dep] エラー 139よろしくお願いいたします。
No.130 2009/07/04 11:22:38
Image::Magickモジュールが正しくインストールされていない可能性を疑います。ImageMagickやImage::Magickモジュールをパッケージシステムから導入している場合は、自分でビルドしたPerlを使ってビルドし直してみてください。Ubuntuでは問題なく導入できるようなので、そうでない場合は私には分かりません。
No.131 2009/07/05 08:12:22
By あるぺじお このコメントを引用
> Image::Magickモジュールが正しくインストールされていない可能性を疑います。> ImageMagickやImage::Magickモジュールをパッケージシステムから> 導入している場合は、自分でビルドしたPerlを使ってビルドし直してみてください。> Ubuntuでは問題なく導入できるようなので、そうでない場合は私には分かりません。早速のアドバイスありがとうございました。Perl、EncodeモジュールをUSE_64_BIT_INT付でビルドしたpackageに置き換え、Imagemagickもこの環境下でビルドしなおしたものに置き換えたところ、fpwmakeはenable_mathを定義した状態でもエラーなく完了しました。ところが、出来上がったHONMONで検索ができません。eblook> list 1. wikip ウィキペディア日本語版eblook> select 1eblook> search ウィキペディアAn error occured in search_pattern: no such search methodこの後、(1) この環境でenable_mathを定義しない状態、(2) Perl その他をOS(Debian)標準環境に戻して enable_mathを定義しない状態で、それぞれ fpwmakeして出来上がったHONMONで試したのですが、同様エラーとなってしまいました。本年1月のjawikiのダンプではOS標準環境で問題なく(enable_mathは未定義)HONMON作成できていたのですが、他に何かチェックすべきポイントなどありますでしょうか。大変お手数ですが、再度アドバイスいただければ幸甚です。
No.132 2009/07/05 19:57:59
> ところが、出来上がったHONMONで検索ができません。> > eblook> list> 1. wikip ウィキペディア日本語版> eblook> select 1> eblook> search ウィキペディア> An error occured in search_pattern: no such search method> > この後、(1) この環境でenable_mathを定義しない状態、(2) Perl その他をOS(Debian)標準環境に戻して enable_mathを定義しない状態で、それぞれ fpwmakeして出来上がったHONMONで試したのですが、同様エラーとなってしまいました。すみません。その後の試行錯誤で解決できたようです。KazuhiroさんのWebからリンクを見ていて、2GB超えのデータには eb 4.4.1 以降が必要とされていることに気がつきました。EB Library with UTF-8 support、eblook-1.6.1+media-20090527、Lookup 1.4+mediaに環境更新し、少なくともenable_math無しの版では、eblook, emacsから、共に、無事検索できることを確認しました。(enable_math付きで作成したデータは現在手元にないので、追って確認します。)ありがとうございました。(全く別の要因ですが、ebライブラリのバージョンをあげたところ、須藤さんのEBVIEWがビルド出来なくなりました。もう少し検討してみます。)
No.133 2009/07/06 12:34:20
> KazuhiroさんのWebからリンクを見ていて、2GB超えのデータには eb 4.4.1 以降が必要とされていることに気がつきました。> EB Library with UTF-8 support、eblook-1.6.1+media-20090527、Lookup 1.4+mediaに環境更新し、少なくともenable_math無しの版では、eblook, emacsから、共に、無事検索できることを確認しました。(enable_math付きで作成したデータは現在手元にないので、追って確認します。)ありがとうございました。先ほど帰宅し、enable_math付きで作成したデータも、数式とも、emacs (23.0.50.1) からはちゃんと読み出し、表示できることが確認できました。しばし悩んでいたので、感激しました。
No.134 2009/07/06 22:53:14
By nobu この投稿を引用
oald7-fpwを作成していただき、ありがとうございます。非常に有効に活用させていただきております。ただ、残念なことに、いくつかの音声ファイルが再生されませんでした。（大半は再生されます）たとえば、UKのget(148558:1450 148569:53)ですが、音声ファイルを抜き出して確認してみたところ、再生時間が”０秒”となっており、環境によっては、再生されませんでした。MP3にRIFF-WAVEのヘッダをつけて収録されているとのことですが、RIFF-WAVEのヘッダを付ける際、再生時間を０としてセットしてしまう音声ファイルが存在するようです。修正することは、可能でしょうか。現状でも、快適に使用することができています。ただ、できれば、すべての発音が確認できるとうれしいので。
No.128 2009/06/27 17:17:08
RIFF-WAVEヘッダは悪い意味で適当にでっちあげています。他のソフトで元のMP3データにRFF-WAVEヘッダを付加してみたところ、oald7-fpwでは固定値にしている部分が変動しているようでした。元のMP3データに応じて正しくヘッダを作ればよいのだとは思いますが、その辺の知識は無いのでちょっと時間がかかるかもしれません。
No.129 2009/06/29 22:29:48
By NoiR この投稿を引用
wikipedia-fpwを使っていますお世話になっています仕様で，表は表示しないようになっているということですが，一部ページではテンプレート中に説明文が含まれている場合があります例:http://ja.wikipedia.org/wiki/%E6%9D%B1%E6%96%B9Project%E3%81%AE%E7%99%BB%E5%A0%B4%E3%82%AD%E3%83%A3%E3%83%A9%E3%82%AF%E3%82%BF%E3%83%BCこれは，説明文とテンプレートの表部分がずれないようにするための措置ですが，この場合内容を確認することが出来ませんタグの内容からそれを判断し，本文部分に含まれる文章を無視しないようには出来ないでしょうか？
No.126 2009/06/14 18:48:04
テンプレートは必要に応じて個別に対応(と呼べるほどの処理をしているものはないですが)しています。あらゆる項目がテンプレートとして使用可能なようなので、自動的に処理するならデータベースのミラーを構築する必要がある為です。ただ、今回の件に関してはウィキペディアの側で変更されたようで、次のダンプデータには反映されるかと思います。
No.127 2009/06/15 19:46:54
By PEKO この投稿を引用
こんにちは wikiepdiaをepwing化しました。そこで、最新のwikipediaを変換すると2G強になりました。サイズ的なもので、分割をしたいと思ったのですが、分割することができません。どのようにすればよいかアドバイスをください。 初心者ですみません。
No.124 2009/05/13 13:53:01
http://www3.rocketbbs.com/602/bbs.cgi?id=kzhr&mode=pickup&no=23http://www3.rocketbbs.com/602/bbs.cgi?id=kzhr&mode=pickup&no=102の書き込みを参照してください。私自身は分冊したことはありませんが、アルファベットで始まる項目とそれ以外で分けるのが分かりやすいのではと思います。
No.125 2009/05/13 20:57:05
以下のフォームに記事No.と投稿時のパスワードを入力すれば、 投稿後に記事の編集や削除が行えます。
