http://green.ribbon.to/~ikazuhiro/にて提供しているソフトウェア及びパッチに関する質問、要望等あれば御記入下さい。
By kolo この投稿を引用
お世話になっておりますお忙しいところ申し訳ありません。現在、英語版のダンプデータを変換しているのですが、下記エラーが出てしまいました。---------------------------------------------------Entry: 9326858; Canfield Island SiteEntry: 9326859; Dalius aurelius bioEntry: 9326861; Raglan, Chatham-Kent, OntarioEntry: 9326862; List of Sweet Adelines International quartet champions by yearEntry: 9326863; Raglan, Durham Regional Municipality, OntarioEntry: 9326865; Ferdinand Faithfull BeggEntry: 9326868; Railton, OntarioEntry: 9326870; List of Pan American Gamesfuwwikipedia: Elapsed time : 78283sec.fuwwikipedia: Number of entries: 4040910/usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwsort -workdir work /usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwindex -workdir work /usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwcontrol -workdir work/usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwlink -workdir work -module BDB/usr/local/libexec/freeuwing/fuwlink: unknown tag name, cgraph:math_xmlns="http://www.w3.org/1998/Math/MathML": line 2119183, work/textref---------------------------------------------------どのように訂正すればよろしいでしょうか。ご教授ください。あと、 Jiro さんのNo.156の投稿に対するNo.157の---------------------------------------------------print "Entry: $page_count; $heading\n";の直前にif ($heading =~ /^Backfitting algorithm$/) {$text =~ s/＆amp;lt;math /＆amp;lt;math＆amp;gt; /;}のようなコードを入れてください (＆は正しくは半角です)。-----------------------------------------------------ですが、＆amp;lt;＆amp;gt;ではなくて、＆ｌｔ；（すべて半角）＆ｇｔ；（すべて半角）ではないでしょうか。念のためご報告まで。
No.158 2010/02/01 15:52:00
By kazuhiro このコメントを引用
> 現在、英語版のダンプデータを変換しているのですが、> 下記エラーが出てしまいました。> /usr/local/libexec/freeuwing/fuwlink: unknown tag name, cgraph:math_xmlns="http://www.w3.org/1998/Math/MathML": line 2119183, work/textref半分無理矢理通すようにしたので下記のものと差し替えてください。真面目な対策はそのうち考えます。http://green.ribbon.to/~ikazuhiro/dic/files/tmp/fuwwikipediahttp://green.ribbon.to/~ikazuhiro/dic/files/tmp/fuwwikipedia_cgraph> あと、 Jiro さんのNo.156の投稿に対するNo.157の(snip)> ですが、> ＆amp;lt;> ＆amp;gt;> ではなくて、> ＆ｌｔ；（すべて半角）> ＆ｇｔ；（すべて半角）> ではないでしょうか。すみません、その通りです。このBBSへの書き込みで試行錯誤している間におかしくなった事に気付いていませんでした。
No.159 2010/02/03 08:34:05
By kolo このコメントを引用
早速の回答ありがとうございます。いつもいつもすみません。>> あと、 Jiro さんのNo.156の投稿に対するNo.157の(snip)>> ですが、>> ＆amp;lt;>> ＆amp;gt;>> ではなくて、>> ＆ｌｔ；（すべて半角）>> ＆ｇｔ；（すべて半角）>> ではないでしょうか。>すみません、その通りです。>このBBSへの書き込みで試行錯誤している間におかしくなった事に>気付いていませんでした。掲示板に投稿してから、なにかキツイ書き方になっていないか心配してましたが、あちゃー、ですね。いや、掲示板に投稿したら対応していただけるだけでありがたいですし、責めるようなニュアンスはまったくありませんので、その点は誤解なきよう。文字だけのコミュニケーションは難しいですね。これから早速、英語版に取り掛かってみます。うちのマシンだとちょっと時間がかかりますので、ここに再度書き込みがなければ問題なし、ということでお願いします。（1週間ぐらいかかるかもしれませんので。）ありがとうございました。
No.160 2010/02/03 17:41:54
えーと、結果が出てきました。前回20091128版から、ちょうど20100130版のダンプデータがアップされたのでエントリーが増えています。で、またエラーが出てしまいました。------------------------------------------------------------------Entry: 9541302; Chalkboard (disambiguation)Entry: 9541303; Club hausEntry: 9541304; KocarijaEntry: 9541306; Greatest Hits (Beth Nielsen Chapman album)Entry: 9541307; Maha Dharmafuwwikipedia: Elapsed time : 72311sec.fuwwikipedia: Number of entries: 4106106/usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwsort -workdir work/usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwindex -workdir work/usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwcontrol -workdir work/usr/local/libexec/freeuwing/perl.sh /usr/local/libexec/freeuwing/fuwlink -workdir work -module BDB/usr/local/libexec/freeuwing/fuwlink: unknown tag name, text:536f7665726569676e207374617465: line 1, work/textref------------------------------------------------------------------これはどのように訂正すればよいのでしょうか。
No.161 2010/02/07 16:54:32
By Jiro この投稿を引用
wikipedia-fpw-20091202で、英語版wiki(enwiki-latest-pages-articles.xml.bz2)をEPWINGに変換しようとしたのですが、Entry: 9261091; Backfitting algorithm./fpwwikipedia_cgraph: invalid tag name: cgraph:math_\hat{f}_1^(i) </mathgnumake: *** [work/cgraph.dep] Error 2このようなエラーが出てとまってしまいました。解決策があれば、よろしくお願いいたします。
No.156 2009/12/18 22:14:07
元データの文法エラーのようなので、fpwwikipediaとfpwwikipedia_cgraphの、print "Entry: $page_count; $heading\n";の直前に if ($heading =~ /^Backfitting algorithm$/) { $text =~ s/＆amp;lt;math /＆amp;lt;math＆amp;gt; /; }のようなコードを入れてください (＆は正しくは半角です)。もしくはダンプデータを直接修正してください。
No.157 2009/12/20 08:40:07
By たかはし この投稿を引用
バージョン：wikipedia-fpw-20091012-src.tar.gz【redirect での検索インデックスが不正です】fpwwikipedia での、以下の部分？: # Expand search entry by redirect if (length($entry_headings->get($key))) { push (@keys, split(/\t/, $entry_headings->get($key))); }EBDump での前方一致表記形INDEX の出力結果：（'−＞' が、'＞' となっているのは、FreePWing で '−' が削除される仕様のため）block#=11B826(1161254) ID=60 桁数=120 要素数=10 ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（営団日比谷線脱線衝突事故）[120] <blk=11B827(1161255)>ＷＩＫＩＰＥＤＩＡＦＰＷ：：ＨＡＳＨ：：ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（ＬＧＡ７７５）[120] <blk=11B828(1161256)>ＷＩＫＩＰＥＤＩＡＦＰＷ：：ＨＡＳＨ：：ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（じおきゃっしんぐ）[120] <blk=11B829(1161257)>ＷＩＫＩＰＥＤＩＡＦＰＷ：：ＨＡＳＨ：：ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（アカデミー脚色賞）[120] <blk=11B82A(1161258)>ＷＩＫＩＰＥＤＩＡＦＰＷ：：ＨＡＳＨ：：ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（バーバラパーマー）[120] <blk=11B82B(1161259)>・・・・・・ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（ＥＲＯＮＥ）[90] <blk=11B831(1161265)>ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（ＭＩＣＲＯＳＤアタッチメントＭＡＳＤ１）[90] <blk=11B832(1161266)>ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（ＸＲＥＡ）[90] <blk=11B833(1161267)>ＨＡＳＨ＝ＨＡＳＨ（０Ｘ９ＡＦＦＡ８８）＞ＧＥＴ（うぉーかーぶれいん）[90] <blk=11B834(1161268)>・このため、「WIKI」で検索すると 38,559 件がヒットします。・このため、「HASH」で検索すると 89,414 件がヒットします。・このため、検索用INDEXのサイズが、50575 Blocks x 2,048b ≒ 100MB と肥大化（本来は、その半分程度）・このため、「リダイレクト元のキーワード」での検索が不可能となっています。どこを直せば宜しいのでしょうか？
No.152 2009/12/02 04:36:36
すみません、チェックが不十分だったようです。取り急ぎ、preparserの最後のほうにある、$output->print("$heading\t$redirects->get($heading)\n");を$output->print("$heading\t" . $redirects->get($heading) . "\n");と変更してみてください。
No.153 2009/12/02 08:34:37
By たかはし このコメントを引用
直りました。ありがとうございまいました。
No.154 2009/12/02 21:05:41
修正版を出しました。ご報告ありがとうございました。
No.155 2009/12/04 08:51:56
By kitani この投稿を引用
久しぶりにwikipediaをEPWING化しようとしました。Cygwin上でwikipedia-fpw-20080616で変換を試みましたが、反応がほとんどなく変換を始めません。以前は同じ環境でできたはずです。wikipedia-fpw-20091006に変えたところ変換を始めたのですが、３時間後ぐらいに下記のエラーで止まりました。再度試みましたが同じ結果でした。'enable_reference' => 0 にすると変換は一応終了しました。しかし、entry:130691までしか変換は行っていませんでした。wikipediaを現時点のものではなく９月２７日のものを使うとentry:249696までいき終了しました。２Gを当然超えていません。よくわからないまま、見よう見まねで行っているので的を射ていない文章かもしれませんが、変換できる方法を教えて頂けるとありがたいです。EPWING化の度に質問をして申し訳なく思います。なお、windows2000 512Mです。メモリー不足でしょうか？perlは5.8.8でUSE_64_BIT_INTとUSE_LARGE_FILESはあるようです。−−−略−−−Entry: 130691; X-繝。繝ｳ/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwsort -workdir work/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwindex -workdir work/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwcontrol -workdir work/usr/local/libexec/freepwing/perl.sh /usr/local/libexec/freepwing/fpwlink -workdir work/usr/local/libexec/freepwing/fpwlink:unknow tag name, text:e38393e38383e38388e6bc94e7ae97: line 13,work/textrefmake:***[work/link.dep]Error 255
No.148 2009/10/19 18:42:28
「Cygwinのperlでfpwwikipediaを実行するとperlが落ちる」にあてはまっている様に思います。PerlをCygwinから提供されている最新版 (5.10) にしてみてください。ちなみに、メモリー不足の場合はその時点で正しくエラーが出て終了します。
No.149 2009/10/19 21:47:51
By kitani このコメントを引用
レス感謝します。ハードル高そうですが、チャレンジしてみます。ありがとうございます。
No.150 2009/10/19 22:47:47
ありがとうございました。無事変換できました。すばらしいソフトと適切なアドバイス感謝します。
No.151 2009/10/23 21:46:28
By 柴田 この投稿を引用
WindowsXP上のCygwin環境で、freeuwing-1.6とwikipedia-fuw(共に最新版)を使って、2009/09/27版のwikipedia日本語版データをUTF8対応のEPWING辞書に変換しようとしているのですが、下のようなエラーが出て変換できません。Entry: 932656; 邯ｭ邂｡譚滓､咲黄繝ｬ繝・ラ繝ｪ繧ｹ繝医・螟蛾・ (迺ｰ蠅・怐)Out of memory during "large" request for 528384 bytes, total sbrk() is 325801984 bytes at fuwwikipedia line 426, <GEN14> line 54827725.make: *** [work/parse.dep] Error 12上のエラーは参照無し・数式無しの設定で実行した場合のものですが、参照有りにしても、やはりエラーが出て変換が出来ません。perl -Vで64bit intなどは問題なく使用でき、freepwing-1.6とwikipedia-fpwの組み合わせでは、エラー無く変換出来ています。どのようにしたら、変換できるでしょうか。アドバイス、お願いします。
No.139 2009/10/05 22:50:14
最近はCygwinで変換していないので確認はしていませんがメモリ不足で止まっているように見えます。http://www.cygwin.com/cygwin-ug-net/setup-maxmem.htmlを参照してCygwinが利用できるメモリを増やしてみてはどうでしょうか。上記のページにもありますが、無指定の場合は384MBだそうです (今知りました)。regtool -i set /HKLM/Software/Cygnus\ Solutions/Cygwin/heap_chunk_in_mb 1024で1GB使用できるようになります。# どのくらいに増やせば良いのかは分かりません。
No.142 2009/10/06 21:07:42
By 柴田 このコメントを引用
アドバイスありがとうございます。早速メモリ設定を1Gと1.5Gまで上げて、念のためfreeuwingを再構成してから、fuwを実行してみたのですが、1G,1.5Gの両設定とも、以前と全く同じ箇所でエラーが出てしまいます。実搭載RAMは4Gあります。(XPが認識しているのは3.5Gですが)また、タスクマネージャーで見た限りでは、perlのメモリー使用量が、300Mもいっていない段階で落ちている感じです。
No.144 2009/10/07 02:57:53
fuwwikipediaをhttp://green.ribbon.to/~ikazuhiro/dic/files/tmp/fuwwikipediaのものと差し替えてみてください。変換速度は落ちますが、手元のCygwin環境では変換できることを確認しています。wikipedia-fpwで英語版Wikipediaのダンプデータを変換した際に、従来の動作とこの版の動作とを切り替えられる様にしようと (1年くらいに) 思っていたのですが、変換にCygwin環境を使わなくなったので放置状態となっています。
No.145 2009/10/07 17:55:35
ありがとうございます。変換できました。もう一つ変換できる方法を見つけました。cygwinのコンソールを下のページを使ってUTF8化したら、元のfreeuwingとfuwのままで変換できました。http://www.okisoft.co.jp/esc/cygwin-20.htmlどちらの辞書もeblookでアクセスしているのですが、正常表示部分と文字化け部分が出てきてしまっています。自分の環境でのeblookの作成で問題が起きている可能性もありそうなので、もうちょっといじってみるつもりです。(win32用バイナリは、content表示させるときに落ちてしまって使えませんでした)
No.146 2009/10/08 12:56:05
eblook 1.6.1+mediaの、JIS X 4081 UTF-8 extension対応についてはLookup のバックエンドとして使うことしか想定されておらず、人間がinteractiveに扱う事は考慮されていません Win32のバイナリであれば、eblookを"-e euc-jp"オプションで起動したうえで入出力をUTF-8で行なえばFreeUWINGで作成した書籍のcontent表示が行えます。(この時、listやsubinfoコマンドの出力はeuc-jpで行われます。)
No.147 2009/10/08 17:05:35
By 白井 この投稿を引用
# 変換かかりそうな気もするので、一部全角文字にします。お久しぶりです。読み仮名で検索できるっていうんで、久しぶりに wikipedia を変換してみて気づいたのですが、エントリ？の中の "＆ａｍｐ；", "＆ｑｕｏｔ；" がそのまま残っていて、例えば、『スタスキー&ハッチ』だと『スタスキー＆ａｍｐ；ハッチ』で検索しないとヒットしません。lookup だけなら :expanders で変換しちゃえば良いのだけど、他の辞書引きツールもあるでしょうから、可能なら変換の時に置き換えちゃった方が良いかと思われます。# しかし、辞書を引くときに " を入力するかどうかははなはだ疑問ですが。。。
No.135 2009/10/01 23:29:26
お久しぶりです。wikipedia-fuwではその様になっているのですが、wikipedia-fpwに反映しそこねていたようです。近日中に修正版を出します。
No.136 2009/10/02 18:57:29
By 白井 このコメントを引用
> お久しぶりです。ども。> wikipedia-fuwではその様になっているのですが、wikipedia-fpwに反映しそこねていたようです。> 近日中に修正版を出します。了解です。だけど、utf-8 extension も良いかなぁーp.s.ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。
No.137 2009/10/04 11:59:59
修正版を出しました。> だけど、utf-8 extension も良いかなぁー今のところはeblookでしか使えませんが、使える環境ではこっちの方がおすすめです。> ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。こちらではMeadow1, 2, 3で簡単に動かした範囲では大丈夫っぽかったです。何か分かったらお知らせください。
No.138 2009/10/05 22:04:22
> 修正版を出しました。昼間見つけて、ただいま変換中（会社で）です。> > だけど、utf-8 extension も良いかなぁー> > 今のところはeblookでしか使えませんが、使える環境ではこっちの方がおすすめです。今度試してみますね。> > ndwnj.el ですが、なんか Meadow だと出力の filter でごみが残ります。調べてみますね。> > こちらではMeadow1, 2, 3で簡単に動かした範囲では大丈夫っぽかったです。> 何か分かったらお知らせください。日記に現象と解決策を書いておきました。sqlite3 の作り方に完璧に依存するようですが、readline 付けていても大丈夫な人は大丈夫だと思われます。
No.140 2009/10/05 23:14:03
> 日記に現象と解決策を書いておきました。日記の URI 間違えちゃった ^^;;;
No.141 2009/10/05 23:16:18
調べていただいてありがとうございます。readline が (私には) よく分からない動きすることはeblookでもあって、eblook 1.6.1+mediaでは無効にするオプションをつけた事を思い出しました。あとでndwnjのページにも書いておきます。
No.143 2009/10/06 21:08:31
By あるぺじお この投稿を引用
こんにちは。wikipedia-fpw-20090428でenable_mathを利用しようとしておりますが、エラーで落ちてしまいます。チェック事項などがあればアドバイスいただきたく思います。環境は Debian (sid) で、標準の perl (5.10.0) はUSE_64_BIT_INTが定義されていないので、これを定義してビルドし直したものを利用(USE_LARGE_FILESは標準で定義済)。FreePWINGは1.6、mimeTeXは最新版(08年9月)をwebから入手しビルドしました。この環境で、jawiki の 09年7月1日のdump版をbuildしようとしていますが、以下のようなエラーで、すぐに落ちてしまいます。Entry: 30; 情報工学Entry: 31; 形式言語/usr/share/freepwing/perl.sh: line 3: 6217セグメンテーション違反です。 /usr/bin/perl ${1+"$@"}make: *** [work/cgraph.dep] エラー 139よろしくお願いいたします。
No.130 2009/07/04 11:22:38
Image::Magickモジュールが正しくインストールされていない可能性を疑います。ImageMagickやImage::Magickモジュールをパッケージシステムから導入している場合は、自分でビルドしたPerlを使ってビルドし直してみてください。Ubuntuでは問題なく導入できるようなので、そうでない場合は私には分かりません。
No.131 2009/07/05 08:12:22
By あるぺじお このコメントを引用
> Image::Magickモジュールが正しくインストールされていない可能性を疑います。> ImageMagickやImage::Magickモジュールをパッケージシステムから> 導入している場合は、自分でビルドしたPerlを使ってビルドし直してみてください。> Ubuntuでは問題なく導入できるようなので、そうでない場合は私には分かりません。早速のアドバイスありがとうございました。Perl、EncodeモジュールをUSE_64_BIT_INT付でビルドしたpackageに置き換え、Imagemagickもこの環境下でビルドしなおしたものに置き換えたところ、fpwmakeはenable_mathを定義した状態でもエラーなく完了しました。ところが、出来上がったHONMONで検索ができません。eblook> list 1. wikip ウィキペディア日本語版eblook> select 1eblook> search ウィキペディアAn error occured in search_pattern: no such search methodこの後、(1) この環境でenable_mathを定義しない状態、(2) Perl その他をOS(Debian)標準環境に戻して enable_mathを定義しない状態で、それぞれ fpwmakeして出来上がったHONMONで試したのですが、同様エラーとなってしまいました。本年1月のjawikiのダンプではOS標準環境で問題なく(enable_mathは未定義)HONMON作成できていたのですが、他に何かチェックすべきポイントなどありますでしょうか。大変お手数ですが、再度アドバイスいただければ幸甚です。
No.132 2009/07/05 19:57:59
> ところが、出来上がったHONMONで検索ができません。> > eblook> list> 1. wikip ウィキペディア日本語版> eblook> select 1> eblook> search ウィキペディア> An error occured in search_pattern: no such search method> > この後、(1) この環境でenable_mathを定義しない状態、(2) Perl その他をOS(Debian)標準環境に戻して enable_mathを定義しない状態で、それぞれ fpwmakeして出来上がったHONMONで試したのですが、同様エラーとなってしまいました。すみません。その後の試行錯誤で解決できたようです。KazuhiroさんのWebからリンクを見ていて、2GB超えのデータには eb 4.4.1 以降が必要とされていることに気がつきました。EB Library with UTF-8 support、eblook-1.6.1+media-20090527、Lookup 1.4+mediaに環境更新し、少なくともenable_math無しの版では、eblook, emacsから、共に、無事検索できることを確認しました。(enable_math付きで作成したデータは現在手元にないので、追って確認します。)ありがとうございました。(全く別の要因ですが、ebライブラリのバージョンをあげたところ、須藤さんのEBVIEWがビルド出来なくなりました。もう少し検討してみます。)
No.133 2009/07/06 12:34:20
> KazuhiroさんのWebからリンクを見ていて、2GB超えのデータには eb 4.4.1 以降が必要とされていることに気がつきました。> EB Library with UTF-8 support、eblook-1.6.1+media-20090527、Lookup 1.4+mediaに環境更新し、少なくともenable_math無しの版では、eblook, emacsから、共に、無事検索できることを確認しました。(enable_math付きで作成したデータは現在手元にないので、追って確認します。)ありがとうございました。先ほど帰宅し、enable_math付きで作成したデータも、数式とも、emacs (23.0.50.1) からはちゃんと読み出し、表示できることが確認できました。しばし悩んでいたので、感激しました。
No.134 2009/07/06 22:53:14
メールアドレスは公開されません。
以下のフォームに記事No.と投稿時のパスワードを入力すれば、 投稿後に記事の編集や削除が行えます。
