5ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

NAMAZUで論文の全文検索データベースを作る

1 :132人目の素数さん:04/07/02 17:14
2ちゃんねら数学者が2ちゃんねら数学者のための論文データベースを作るスレです。

全文検索システム Namazu http://www.namazu.org/

2 :132人目の素数さん:04/07/02 18:36
Mac 用も考えてね。

3 :132人目の素数さん:04/07/02 19:08
でどうやったらできるの?

4 :132人目の素数さん:04/07/03 10:13
はやくつくってよ。つかうから。

5 :1:04/07/03 14:03
web上の数学論文に対してこういうhttp://2ken.net/のが
作りたいんだけどどうすればいいんだろ。アイデアを教えてください。

6 :132人目の素数さん:04/07/03 14:15
namazu ってテキストファイルでない,
dvi とか pdf とかも検索できるんだっけ?

7 :132人目の素数さん:04/07/03 14:28
google は一部の pdf を検索できてるけど dvi はヒットしないみたい。
ソース、dvi なら出来そうだけど。

8 :1:04/07/04 02:52
>>6 >>7
dviもpdfもできます。ローカルで確認済みです。dvi2ttyと、pdf2textなどで
テキストに変換できます。postscriptもできます。

データベース作成の件ですが、まずここに標準的な作成手順を書き込んで
興味をもつ人が、興味のある論文についてのデータベースを作成して
それをどこかのサーバーにアップする、というやり方で作りたいのですが。
ここで問題点は、・標準的な作成手順を決める、・ネットで検索出来るようにする、
・アップされたデータのマージ方法、・サーバーの確保が考えられます。
アイディアあったら教えてください。

9 :132人目の素数さん:04/07/04 05:54
数式とかも検索できるようにしたら神だな。
しかし、それやんなかったら作る意味なし。
他の検索エンジンとかあるし。

10 :132人目の素数さん:04/07/04 05:55
pdf2text とかで生成されたテキスト内を検索するようなら、あまり意味はないとおもう。

11 :132人目の素数さん:04/07/04 05:58
論文書いた奴が全員で *.tex ファイルをうぷすればいいのにな。w

12 :1:04/07/04 06:55
>>9
ttp://front.math.ucdavis.eduやttp://www.numdam.org/enで検索できるけど
全文は出来ないので意味あるとおもってます。それに2ちゃんねら数学者が
随時データベースを更新していけば最強のデータベースになるはず。。。
>>10
全文検索してその論文がおいてサイトにリンクさせたいんです。
webのディレクトリ構成は変更しないでデータベースを作れば
うまくいくとおもいます。あとnamazuのフィルタが故障しててdvi,postscriptを
直接namazuに送るとうまく動かないので、一度テキストに変換してから
それをもとの拡張子に変えてデータベースをつくると拡張子は違うけど
namazuが自動判別してテキストとして処理してくれます。
これでリンク時のファイル名の違いは防げます。

13 :132人目の素数さん:04/07/04 10:53
結局、数式とかは対処外なのね。。。

> 全文は出来ないので意味あるとおもってます。それに2ちゃんねら数学者が
> 随時データベースを更新していけば最強のデータベースになるはず。。。

2chを買い被りすぎじゃないか? ここの住人で実際に数学の論文とかを読んでる奴らは
手で数えれるほどしかいないんじゃないん?

まー、がんばってくれよ

14 :1:04/07/04 11:53
>>13
数式を検索させようとするとまずテキスト抽出方法を見直して
その部分のプログラムを作る必要があるかとおもいます。
今手に入るソフトだとテキストと、一行のみの簡単な数式しか出力されません。
それと数式検索時の共通フォーマットを考える必要があるかとおもいます。
一番困難なのは、初めの数式を出力させるプログラムの設計なのですが。
だれかここを作ってくれればいいんですが。おれは少しもプログラムできなくてすみません。

>ここの住人で実際に数学の論文とかを読んでる奴らは
>手で数えれるほどしかいないんじゃないん?
実際に論文読んでいる人は少ないですか?読んでる人いますか〜

あとサーバーって無料のやつでもnamazu対応させられるんでしょうか?
既にデータはあるので実験してみたいんです。自鯖っていうのは回線鈍いから
無理っぽいです。機能としてはローカルでデータベースをつくってそれをUP
して検索させるという部分ができればいいんですけど。
2000ファイルくらいで40メガくらいになるけど太っ腹の無料サーバーあるかな?

15 :132人目の素数さん:04/07/04 13:16
>>12
> 2ちゃんねら数学者
Rom 2ちゃんねら数学者は多数居るだろう。が、荒らしも居るから、その対策に
とんでもない苦労を要するだろう。サーバパンクを画策するだろうから、桁違いの余裕も
必要だろう。
もちろん数学的内容に関しては利用者任せが原則。
通報に基く事後対策は必須としても、各種フィルターをセットし易い様にしておく。
となると、小規模でも独立した管理用掲示板も有った方が良い。

と、思い付くことはきりがない。知恵を出し合う仲間が必要だ。


16 :132人目の素数さん:04/07/04 13:27
2ch って関係データベイスつかってんだっけ?

17 :1:04/07/04 18:59
>>15
実際に継続して可動させるためにはお金かかりそうですね。
簡単なのはデータベースのデータだけをUPして使うときはローカルに落としてから
検索するという方法がありますがこれだと検索時に手間がかかりますから実際使う人がいるのか
わかりません。ネット上で瞬時に結果が出せた方が利用するのは楽ですから。
しかしローカルでもデータベースを構築してくれる人が集まらないことには
大規模なものを作るのはむずかしそうです。↓はローカルでデータベースを
作るときに必要なソフトと解説を集めてみました。自パソでデータベースを
作ってみたい、ということでなにか問題点があったらいってください。
○Namazuを使おう  http://www10.plala.or.jp/miyazawa/namazu/
Namazuのインストール方法の解説
○xdoc2txt http://www31.ocn.ne.jp/~h_ishida/xdoc2txt.html
PDF,WORD,EXCEL,一太郎などの各種バイナリ文書からテキストを抽出
○xpdf  http://www.foolabs.com/xpdf/
pdfをテキストに変換
○日本語 dvi2tty(Home page of A. Kakuto)  http://members.jcom.home.ne.jp/kakuto/w32tex.html
dviをテキストに変換

18 :1:04/07/05 07:43
今日中に無料CGIサーバーにサンプルをUPしてみます。
こういうのって経験ないのでUP出来なかったらごめんなさい。
うまくいったらアドレス書きます。

19 :1:04/07/05 10:00
サンプルうぷできたよ!!負荷かけると消されると思うので試してみるには
すみませんがメールでアドレスきぼんぬっておくってください。

20 :132人目の素数さん:04/07/06 07:17
ガムバレ

21 :1:04/07/06 09:48
興味もっている人すくないようなのでここに直に書いときます。
タイトルと著者が変なんだけどどうしたらうまくでるんだろ?
cgi.f48.aaacafe.ne.jp/~gouan/namazu/namazu.cgi

22 :132人目の素数さん:04/07/06 12:37
gj がんばれ

23 :132人目の素数さん:04/07/07 01:05
23

24 :1:04/07/07 09:44
だれか一緒にデータベース作ってくれる人いませんか?
あといいサーバー知ってる人。複数のデータベースを
をマージする方法わかる人も。おねがいします。

25 :132人目の素数さん:04/07/07 14:46
悪いけど、俺の手には負えないです。

26 :132人目の素数さん:04/07/07 18:59
24

27 :132人目の素数さん:04/07/08 18:29
25

28 :132人目の素数さん:04/07/09 18:23
26

29 :132人目の素数さん:04/07/09 18:27
27

30 :132人目の素数さん:04/07/09 18:48
>>24
誰か応じてくれた?


31 :1:04/07/09 22:38
>>30
ここのカキコではいませんし、
最近、送られてきたメールは
件名:ここだけの話きいてくれる? 『Hな女の子、美少女系の女の子続々と新規登録中☆☆ 以下省略
だけです。

32 :1:04/07/09 22:42
検索するデータって複数のサーバーにデータを置いて同時に検索できるんでしょうか?
この場合のもっとも負荷がかかるサーバーはどこなんでしょうか?データ参照する側、される側?

33 :1:04/07/09 22:48
最近のArxiv.orgが検索できるサンプルです。
ttp://cgi.f48.aaacafe.ne.jp/~gouan/namazu/namazu.cgi
登録量も少ないし、使いにくいところもありますが貼っておきます。

34 :1:04/07/09 22:55
データベース作ってみたいけど作成手順がワカラナイヨていう人いますか?
作成手順、マニュアルをアップしようかとおもうんですけど。windowsしかわかりません。

35 :132人目の素数さん:04/07/27 17:59
933

36 :1:04/07/29 12:21
1なんですけど500Mのデータベースが完成しました。
需要あればUPしますけど。空きスペースどっかにありませんか?

37 :132人目の素数さん:04/07/29 12:38
500mって。。。

38 :132人目の素数さん:04/07/29 13:06
500メートル。

39 :uzai ◆zlkh4nwMQE :04/07/29 18:46
1にメール送ったのに無視されてしまった。(´・ω・`)ショボーン

40 :1:04/07/29 19:36
>>39
期間限定で自動返信のために使ったので読んでなかったよ。スマソ。
まずは今あるデータベースをUPして利用してもらい感想などを聞きたいなぁ。
それで協力者を募ってさらに大きいデータベースを目指したい。

http://cgi.f48.aaacafe.ne.jp/~gouan/namazu/namazu.cgi
↑前にUPした50Mのサンプルです。
500Mだと容量的にAAA!CAFEにおけないしどうしよう。個々のファイルをばらばら
に設置してもよければ可能なんだけど。

41 :uzai ◆zlkh4nwMQE :04/07/29 23:09
>>40
自宅サーバー


42 :1:04/07/30 19:09
>>41
パソコンもへぼいし、回線ものろいからむりだよ。それに固定のIP取得したら
年間いくらか取られるはず。データベースを分散させて、さらに個々のデータベースごと
の各ファイルも分散させられればいいんだけど。それなら容量的な問題はなくなる。
Namazuに詳しい人いますか?


43 :132人目の素数さん:04/08/10 14:45
301

44 :132人目の素数さん:04/08/17 14:54
813

45 :132人目の素数さん:04/08/23 23:00
368

46 :132人目の素数さん:04/08/31 09:16
183

47 :132人目の素数さん:04/09/06 17:29
401

48 :132人目の素数さん:04/09/11 12:10:27
791

49 :132人目の素数さん:04/09/17 03:01:21
562

50 :132人目の素数さん:04/09/22 08:41:39
517

51 :132人目の素数さん:04/09/27 09:27:34
123

52 :132人目の素数さん:04/10/03 09:17:33
719

53 :132人目の素数さん:04/10/08 00:36:52
660

54 :132人目の素数さん:04/10/13 05:45:24
416

55 :132人目の素数さん:04/10/18 00:23:54
343

56 :LettersOfLiberty ◇rCz1Zr6hLw:04/10/18 00:25:26
私がLettersOfLiberty ◇rCz1Zr6hLw
http://ime.st/www.media-k.co.jp/jiten/imgbbs/bbs1/img-box/img20040603224140.jpg

57 :132人目の素数さん:04/10/18 02:53:44
しばらくきてなかったけど
>>56って元kingなの?
ぐろいよ。

58 :132人目の素数さん:04/10/22 20:22:35
197

59 :LettersOfLiberty ◆rCz1Zr6hLw :04/10/22 22:03:31
Re:>57 お前何考えてんだよ?

60 :132人目の素数さん:04/10/28 00:39:42
360

61 :132人目の素数さん:04/11/02 15:44:05
601

62 :132人目の素数さん:04/11/07 05:19:55
832

63 :132人目の素数さん:04/11/13 16:56:47
183

64 :132人目の素数さん:04/11/13 18:11:34
5

65 :132人目の素数さん:04/11/17 17:41:48
112

66 :132人目の素数さん:04/11/19 14:47:51
http://scholar.google.com/

67 :132人目の素数さん:04/11/24 22:41:21
868

68 :132人目の素数さん:04/12/02 07:29:38
978

69 :132人目の素数さん:04/12/09 09:18:54
181

70 :132人目の素数さん:04/12/23 19:20:45
181



71 :132人目の素数さん:04/12/28 16:03:03
567

72 :132人目の素数さん:04/12/28 16:24:20
一緒に作るやついませんか?

73 :132人目の素数さん:04/12/30 00:08:30
誰か?

74 :132人目の素数さん:04/12/30 17:09:58
いませんか?

75 :132人目の素数さん:04/12/31 15:18:47
どなたかcgiが動かせるスペースを提供してくださいませんでしょうか
データベースを作りました
役立つことは間違いないです
おながいします

76 :132人目の素数さん:04/12/31 15:46:01
データベース進行状況

http://arxiv.org/ ←大分進んでいます
http://www.emis.de/journals/ ←計画中
http://www.numdam.org/en/ ←ある程度進んでいます

誰か協力者いないですか。
他にデータベース化してほしいサイトありますか。

77 :132人目の素数さん:04/12/31 18:38:18
だれかいないのかのぉ

78 :132人目の素数さん:05/01/01 13:01:38
だれも....いませんか..

79 :132人目の素数さん:05/01/01 22:26:14
作ってみました。動作確認をおねがいします。
内容の要約が読みにくいですが。
http://www15.tok2.com/home/gouan/hep-th/namazu.cgi

80 :132人目の素数さん:05/02/16 02:28:58
886

81 :132人目の素数さん:05/02/21 13:30:10
483

82 :132人目の素数さん:05/03/02 21:32:29
797

83 :132人目の素数さん:05/03/13 10:01:12
790

84 :132人目の素数さん:2005/03/23(水) 18:49:56
108

85 :132人目の素数さん:2005/03/23(水) 19:06:54
>>79
ちゃんと動いていて、いいんじゃないの。なんか、こう
検索された各論文の(あれば)mathsciへのリンク付けると
か、著者の名前をクリックすると所属のサイトに飛ぶと
か、なんか付加価値があるといいんじゃない。

86 :132人目の素数さん:2005/04/05(火) 13:35:40
543

87 :132人目の素数さん:2005/04/23(土) 10:43:11
774

88 :132人目の素数さん:2005/05/08(日) 16:05:04
722

89 :132人目の素数さん:2005/05/27(金) 15:23:06
229

90 :132人目の素数さん:2005/06/23(木) 18:29:07
299

91 :132人目の素数さん:2005/07/25(月) 01:12:21
344

92 :132人目の素数さん:2005/08/05(金) 20:10:17
798

93 :132人目の素数さん:2005/09/21(水) 18:14:21
615

94 :132人目の素数さん:2005/10/08(土) 13:33:48
541

95 :132人目の素数さん:2005/11/18(金) 09:54:20
979

96 :132人目の素数さん:2005/12/06(火) 00:22:15
68BNO7H8s2I

97 :132人目の素数さん:2005/12/06(火) 00:25:56
t1e54BC7/H6

98 :132人目の素数さん:2005/12/06(火) 00:29:39
Yq9.6BiMgB.

99 :132人目の素数さん:2005/12/06(火) 00:29:40
4LL9OsI5vDY

100 :132人目の素数さん:2005/12/06(火) 00:29:43
gejRCEHwsF6

101 :132人目の素数さん:2005/12/07(水) 19:06:33
age

102 :132人目の素数さん:2006/01/02(月) 02:37:11
919

103 :132人目の素数さん:2006/01/16(月) 19:24:43
つくったよ

104 :132人目の素数さん:2006/02/05(日) 06:23:55
409

105 :132人目の素数さん:2006/03/02(木) 16:35:55
985

106 :132人目の素数さん:2006/03/26(日) 13:25:12


107 :132人目の素数さん:2006/04/08(土) 14:36:11
king

108 :GiantLeaves ◆6fN.Sojv5w :2006/04/08(土) 14:42:30
talk:>>107 私を呼んだか?

109 :132人目の素数さん:2006/04/15(土) 23:26:49
103

110 :132人目の素数さん:2006/05/13(土) 20:39:43
418

111 :132人目の素数さん:2006/05/26(金) 14:24:17
394

112 :132人目の素数さん:2006/06/16(金) 01:11:08
400

113 :132人目の素数さん:2006/07/02(日) 17:14:30
二年。


114 :132人目の素数さん:2006/07/07(金) 01:57:11
age

115 :132人目の素数さん:2006/07/28(金) 16:49:01
430

116 :132人目の素数さん:2006/08/30(水) 15:33:01
956

117 :132人目の素数さん:2006/10/02(月) 23:54:40
423

118 :132人目の素数さん:2006/11/04(土) 00:10:53
ああぁぁ...
頓挫したか...

119 :132人目の素数さん:2006/11/13(月) 05:50:47
553

120 :132人目の素数さん:2006/12/06(水) 19:08:10
king

121 :KingOfUniverse ◆667la1PjK2 :2006/12/06(水) 21:10:54
talk:>>120 私を呼んだだろう?

122 :132人目の素数さん:2006/12/27(水) 16:08:08
2

123 :132人目の素数さん:2007/02/05(月) 14:56:56
714

16 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.04.00 2017/10/04 Walang Kapalit ★
FOX ★ DSO(Dynamic Shared Object)