タグ

関連タグで絞り込む (4)

タグの絞り込みを解除

crawlerに関するrochefortのブックマーク (6)

  • なぜWebサイトのURLに”#!”を付けるのか？クローラーはインデックス可能なのか？について。


    まず、”#!”の呼び方から。 ﹁シャープエクスクラメーション﹂とか呼ぶのかと思ってたら、 ﹁hash=#﹂﹁bang=!﹂の略で、﹁shebang=シバン﹂っつーらしいんです。 シバンがURLに付いてるサイトで、最も有名どころで言うと、Twitter。Gmailなんかもそうですかね。 https://twitter.com/#!/i/connect　然り、https://twitter.com/#!/i/discover　も然り。 lifehackerやfacebookも、今は違うけど昔はどうやら付いていたらしい。 ”#”と”！”をわけて考えると、 ・”#”は、Ajaxアプリケーションとして、画面遷移ではなくページ内遷移をするため。 ・”!”は、”#”とセットにして、Googleクローラーにクロール可能なAjaxアプリと認識させるため。(※注1) Ajaxアプリケーションなので、 ・Ja
    rochefort
    rochefort 2015/04/05
    _escaped_fragment_
    リンク

  • AJAX クロール: ウェブマスターおよびデベロッパー向けガイド - ウェブマスター ツール ヘルプ

    概要 検索結果に表示したいコンテンツで AJAX アプリケーションを実行している場合、Google が新しく作成したプロセスを実装すると、Google によるサイトのクロールとインデックス登録が可能になります。このプロセスは、Google 以外の検索エンジンでもうまく機能する可能性があります。AJAX コンテンツはブラウザによって動的に生成されるためにクロールで検出することができず、検索エンジンで AJAX アプリケーションを処理することは困難でした。この問題に対応するメソッドも既にありますが、このメソッドでコンテンツを最新の状態に保つには、手動で定期的に保守を行う必要があります。 一方、以下のスキームでは、検索エンジンでスケーラブルにコンテンツをクロールし、インデックスに登録できます。また、ウェブマスターが継続的に手動で保守を行わなくても常に最新のコンテンツがインデックスに登録されます。

    rochefort
    rochefort 2015/04/05
    _escaped_fragment_
    リンク

  • Ajaxコンテンツをクローラーに認識させてインデックスに登録する方法


    AjaxはJavascriptによってサーバーと通信する技術で、それによって後からコンテンツを表示させる遅延ロードといったことなど、便利なことが実現できます。Ajaxは現在、多くのサイトで使われていますが、GoogleのクローラーはAjaxを処理できず、Ajaxで取得するコンテンツの内容を正確に読み取ることができず、その内容はインデックスには反映されません。そこで、今回はAjaxコンテンツをクローラーに読み取らせ、インデックスに登録させる方法を紹介します。スポンサーリンク Ajaxコンテンツをクローラーに認識させてインデックスに登録する方法GoogleのクローラーはAjaxを読み取れるのか？Ajaxを読み取らせる方法の前に、まずGoogleはAjaxを処理できるのかということについて取り上げてみます。Googleは近年進化を続けており、JavascriptやAjaxで表示するコンテンツを理
    Ajaxコンテンツをクローラーに認識させてインデックスに登録する方法
    rochefort
    rochefort 2015/04/05
    _escaped_fragment_
    リンク

  • プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい


    ﹁Rubyによるクローラー開発技法﹂で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス︵SaaS︶です。クローラー本を書いておいて何ですが、9割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。︵書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後︶ kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
    プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
    rochefort
    rochefort 2014/08/14
    ちまちまスクリプト書いてる時代じゃない
    リンク

  • ant-eater.com - ant eater リソースおよび情報

    This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

  • 法と技術とクローラと私 - 最速転職研究会

    こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識

    法と技術とクローラと私 - 最速転職研究会
    rochefort
    rochefort 2010/07/10
    ポリス沙汰にした方が悪いだろうとは、技術者の多くが思っているはずなんだが、実際には逮捕されちゃった訳で。まぁ今は、そんなことが自分には起きませんようにとブクマ。
    リンク
  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.