サクサク読めて、アプリ限定の機能も多数！アプリで開くはてなブックマーク閉じる ●はてなブックマークって？●アプリ・拡張の紹介●ユーザー登録●

●ログアウト

知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！／“データを丸ごとほしい！”という場合に便利【やじうまの杜】

テクノロジーカテゴリーの変更を依頼記事元:

forest.watch.impress.co.jp

678 usersがブックマークコメント

60

現在プライベートモードです設定を変更する

678 users forest.watch.impress.co.jp

現在プライベートモードです設定を変更する

みんなの興味と感想が集まることで新しい発見や、深堀りがもっと楽しくアカウントをお持ちの方はログインページへ

記事へのコメント60件

●注目コメント ●新着コメント

dominion525 青空文庫は自動で生まれてくるわけではなく多くの人の努力によって回ってるシステムだし、近年は技術面からの改善を進めるべく中の人がかなり頑張ってるんですよう。 2018/07/24 リンクその他 ● ● ●

nakaken88888888 青空文庫としても、スクレイピングで大量アクセスされるよりは、こうした方がいいんだろうなぁ。 2018/07/24 リンクその他 ● ● ●

diveintounlimit すごいな(´・ω・｀)ちらっと見たら校正中とか校了とか書いてあったし、これわりと人力なんでは… 2018/07/24 リンクその他 ● ● ●

delphinus35 こんな青々しい大草原初めて見た。 2018/07/24 リンクその他 ● ● ●

tach ハリウッド・ディズニー利権を背景とした米国の圧力で著作権保護期間が70年に延長されたことによって今後20年間この青空文庫に新作が加わらないことになる。何という文化的損失。これが安倍晋三売国内閣だ ●政経社 ●文学 ●歴史 ●net ●pc 2018/07/24 リンクその他 ● ● ●

timetrain テキストデータとしてはすごい量なんだけど、現代と話法が違うからそのまんまトレーニングに使うわけにもいかないような…… ●青空文庫 ●本 ●データ 2018/07/24 リンクその他 ● ● ●

hackapellmanda 作家ごとの特性とか可視化されそう 2018/07/24 リンクその他 ● ● ●

thesecret3 間違ってあげちゃった場合、消せないよな。。 2018/07/24 リンクその他 ● ● ●

enhanky 良い試みだし基本的には支持するけど、GitHubはアメリカ企業だし、サーバーがどこにあるか不明なので、著作権がアメリカでは存続している場合︵50年以上70年未満︶に法的扱いが厳密にはどうなるのかは気になる。 2018/07/24 リンクその他 ● ● ●

kumagoro_morino 知らなかった ●本 ●github 2021/03/20 リンクその他 ● ● ●

sisicom まるごとおとすることが出来るとは、シラナカッタ。 ●github ●データ ●青空文庫 2018/07/30 リンクその他 ● ● ●

tym1101 ランキングが見れるのが面白い。ソースをテキストエディタにコピペして、htmlで保存して見る、というのが正しい見方なのか知らないけど… 2018/07/26 リンクその他 ● ● ●

richard_raw あたり一面の緑凄い︵小並感︶ ●github ●本 ●電子書籍 ●clip 2018/07/25 リンクその他 ● ● ●

adsty 青空文庫のデータ一式はGitHubに置かれ毎日更新されている。 ●本 2018/07/24 リンクその他 ● ● ●

nakakzs 結構注目の情報。 ●青空文庫 ●github 2018/07/24 リンクその他 ● ● ●

kitaj mjd! 2018/07/24 リンクその他 ● ● ●

pyo_hei 青空のもと、素晴らしい草原が育ってますね。 2018/07/24 リンクその他 ● ● ●

nmcli まじか ●技術 2018/07/24 リンクその他 ● ● ●

rxjun 青空文庫の全データはGitHubから一括ダウンロードできる。 ●データ ●github ●青空文庫 2018/07/24 リンクその他 ● ● ●

Dragoonriders 人力がいるからこそGitHubでやる意味があるんだな 2018/07/24 リンクその他 ● ● ●

enhanky 良い試みだし基本的には支持するけど、GitHubはアメリカ企業だし、サーバーがどこにあるか不明なので、著作権がアメリカでは存続している場合︵50年以上70年未満︶に法的扱いが厳密にはどうなるのかは気になる。 2018/07/24 リンクその他 ● ● ●

cubick リポジトリのサイズが10GBもあってワロタ 2018/07/24 リンクその他 ● ● ●

kyukyunyorituryo zipファイルだからdiffは無理じゃね。エディターツールを作ったけど、機能をひとまとめにしたい。https://99nyorituryo.hatenablog.com/entry/2013/10/09/220711 2018/07/24 リンクその他 ● ● ●

internetkun id:slkby 法の不遡及というものがあるので無用な心配です 2018/07/24 リンクその他 ● ● ●

akiramaz すげー緑 2018/07/24 リンクその他 ● ● ●

rinsuki “GitHub”の“Contributions Calendar”” あれそういう名前なの 2018/07/24 リンクその他 ● ● ●

slkby 著作権伸びて消せって言われたらリポジトリごと消さないと怒られるのかなこういうのって 2018/07/24 リンクその他 ● ● ●

zyzy 昔からちょいちょいコーパス系のデータマイニングネタで青空文庫のデータが使われてるけど、あれいちいち個別にDLしなくてよくなったのか。 ●考え方 2018/07/24 リンクその他 ● ● ●

tossy_yukky これは色々使いみちがありそうな・・・ ●GitHub ●techfeed ●あとで読む 2018/07/24 リンクその他 ● ● ●

tailriver 毎日青空だからこその大草原 2018/07/24 リンクその他 ● ● ●

dekasasaki word2vec向けにこのデータ使ったことある。︵結局Wikipediaにした︶ 2018/07/24 リンクその他 ● ● ●

okumuraa1 すごい 2018/07/24 リンクその他 ● ● ●

osnq すげえ 2018/07/24 リンクその他 ● ● ●

fuyu77 これは知らなかった。 ●GitHub 2018/07/24 リンクその他 ● ● ●

toaruR 例の70年化で半分以上消えるのよね︵´－｀︶ 2018/07/24 リンクその他 ● ● ●

YukeSkywalker 後でcloneしとこう。/10GBほどあるから、割と覚悟が必要だぞ。 2018/07/24 リンクその他 ● ● ●

fln92vw GitHubってのよく見かけるけど未だになにかわかってない。エンジニア用の掲示板と想像していつも記事を読んでる。 2018/07/24 リンクその他 ● ● ●

anpaku これは、使えるかも。 2018/07/24 リンクその他 ● ● ●

tach ハリウッド・ディズニー利権を背景とした米国の圧力で著作権保護期間が70年に延長されたことによって今後20年間この青空文庫に新作が加わらないことになる。何という文化的損失。これが安倍晋三売国内閣だ ●政経社 ●文学 ●歴史 ●net ●pc 2018/07/24 リンクその他 ● ● ● 注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の﹁建設的コメント順位付けモデルAPI﹂を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fforest.watch.impress.co.jp%2Fdocs%2Fserial%2Fyajiuma%2F1134357.html" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://akarinohon.com/text/taketori.cgi/https://forest.watch.impress.co.jp/docs/serial/yajiuma/1134357.html">知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！／“データを丸ごとほしい！”という場合に便利【やじうまの杜】</a><a href="https://akarinohon.com/text/taketori.cgi/https://b.hatena.ne.jp/entry/s/forest.watch.impress.co.jp/docs/serial/yajiuma/1134357.html">はてなブックマーク - 知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！／“データを丸ごとほしい！”という場合に便利【やじうまの杜】</a></div></iframe>