サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
●はてなブックマークって？
●アプリ・拡張の紹介
●ユーザー登録
●ログイン
●ログアウト
検索対象
●すべて
●タグ
●タイトル
●本文
並び順
●新着
●人気
ブックマーク数
●1 user
●3 users
●50 users
●100 users
●500 users
セーフサーチ
●オン
●オフ
期間指定
●すべて
●1週間
●1ヶ月
●1年
まで
1 - 7 件 / 7件
新着順
人気順
絞り込み
検索対象
ブックマーク数
期間
セーフサーチ
crawlerの検索結果1 - 7 件 / 7件
●
791 users
●
toyoshi.hatenablog.com
●
テクノロジー
●2023/10/13
キーワードベースで情報収集をしているという下記の記事を読みました。私も似たようなことをしているのですがキーワードは使わない方法でニュースの収集をしていて、そのほうがLLMを活用できていると思うのでその方法を紹介します。 forest.watch.impress.co.jp キーワードではなく自分の目的や関心を伝える 以前私が手動でやっていたのはRSSリーダーにサイトを登録して、記事のタイトルと概要を読んで気になる記事を開いて読むということでした。こういうときに人間はキーワード検索をしていません。何をしているかというと自分の目的や関心があって、それに関連する記事をピックアップするということです。それと同じようなことをさせようというのが今回紹介する方法です。 ポイントは今回の場合は私の所属する会社について情報をプロンプトで与え、それに関連するニュースが何かをLLMに考えさせることです。 今回の
●ChatGPT
●AI
●あとで読む
●slack
●ニュース
●プログラミング
●rss
●情報収集
●prompt
●GPT
●
510 users
●
www.itmedia.co.jp
●
テクノロジー
●2023/07/12
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア﹁Seamless﹂︵シームレス︶を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文﹁EasySpider: A No-Code Visual System for Crawling the Web﹂は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI︵Graphical User Interface︶を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設
●スクレイピング
●あとで読む
●web
●ツール
●プログラミング
●webサービス
●crawler
●programming
●ソフトウェア
●オープンソース
●
391 users
●
tech.layerx.co.jp
●
テクノロジー
●2024/03/12
皆さんこんにちは。CTOの松本です。LLM使ってますか？ChatGPT毎日触ってますか？ LLMに熱狂してすでに1年以上が経ちましたが周辺エコシステムが充実してきたことでいろいろな取り組みがとても簡単に実現出来るようになったなーと感じています。 ということで今回はZapierを使った小ネタのご紹介です。AI・LLM事業部の今 とその前に、AI・LLM事業部での取り組みから着想を得たものでして、AI・LLM事業部について簡単に紹介させてください。 LayerXの新規事業であるAI・LLM事業部では、バクラクでも取り組んできたビジネス文書の解析の延長としてLLMを活用して文書分析エンジンの開発を進めています。現在このエンジンを使ったエンタープライズ向けの新規プロダクト開発にいそしんでおります。とても楽しいですし、最近は様々なお客様からの引き合いも増えておりまして、事業成長に向けて満を持しての
●ChatGPT
●AI
●あとで読む
●Zapier
●LLM
●rss
●情報収集
●ニュース
●マネジメント
●crawler
●
389 users
●
qiita.com/naohikowatanabe
●
テクノロジー
●2023/05/08
今回やりたかったこと 目標‥ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く︵？︶今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
●ChatGPT
●あとで読む
●AI
●プログラミング
●GPT
●スクレイピング
●LLM
●機械学習
●ツール
●
349 users
●
shinyorke.hatenablog.com
●
テクノロジー
●2020/03/15
私個人の話なのですが. 最近は仕事でAWSやGCPのサーバレスアーキテクチャにふれる機会が増えた*1と同時に, 自分が気になる世の中のニュース︵グルメとかいろいろ︶だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい という怠け者欲ライフハック欲が高まってきたので, GCP︵とちょっとしたPythonスクリプト︶でSlack Botを作りました. 趣味開発で雑にはじめた結果, 三日程度でできちゃった*2のでその知見をメモ代わりに残します. おしながき おしながき TL;DR 対象読者 作ったもの GCPをフル活用して実質三日でBotをローンチした Bot本体の開発 GCPの何を使うかで試行錯誤 プランA﹁GCEを使う﹂ プランB﹁Cloud Run + Cloud Scheduler﹂ 採用した構成﹁Cloud Functions + Cloud Sc
●GCP
●あとで読む
●開発
●slack
●python
●個人開発
●cloud
●アーキテクチャ
●docker
●bot
●
184 users
●
tech.stockmark.co.jp
●
テクノロジー
●2022/10/19
はじめにStockmark のプロダクトでは、各メディアから記事を収集するために AWS Lambda (実行環境はNode.js) を大量に利用しています。﹁大量﹂とは実際にはどの程度なのかを紹介すると、月間で 1.6億 秒ほど(1日で約60日分) 使用しています。もしかしたら﹁えっ、なんでそんなに使っているの？﹂と思われているかもしれません。 本記事ではその疑問に回答しつつ、実運用から得られた知見を一部共有していきます。段階的に理解いただけるように、技術選定理由から説明していきます。 なぜ Node.js なのか？なぜ AWS Lambdaなのか？Lambda x Node.js でスクレイピングする際の落とし穴ということで、早速1つ目からいってみましょう！ なぜ Node.js なのか?ストックマークのプロダクトでは、Web記事などを中心としてスクレイピングして収集した情報をベースに
●lambda
●Node.js
●あとで読む
●aws
●スクレイピング
●scraping
●techfeed
●node
●qiita
●
103 users
●
techblog.zozo.com
●
テクノロジー
●2020/05/15
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。むしろ提供していないケースの方がはるかに多いです。そのため、Webクローラーを作成して構造化されていないWebページを解析し、構造化データを生成する必要があります。 しかし、Webクローラーの運用には数多くの﹁つらみ﹂があります。特に大量のWebページを1日1回などの頻度で定期的にクロールする際には
●crawler
●クローラー
●scraping
●スクレイピング
●あとで読む
1
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
●総合
●一般
●世の中
●政治と経済
●暮らし
●学び
●テクノロジー
●エンタメ
●アニメとゲーム
●おもしろ
●アプリ・拡張機能
●開発ブログ
●ヘルプ
●お問い合わせ
●ガイドライン
●利用規約
●プライバシーポリシー
●利用者情報の外部送信について
●ガイドライン
●利用規約
●プライバシーポリシー
●利用者情報の外部送信について
●公式アカウント
●ホットエントリー
●はてなブログ
●はてなブログPro
●人力検索はてな
●はてなブログ タグ
●はてなニュース
●ソレドコ
Copyright © 2005-2024 Hatena. All Rights Reserved.
設定を変更しましたx
AIにニュースの収集を任せている方法︵GPT-4からSlack投稿︶ - toyoshiの日記
無料Webクローラー﹁EasySpider﹂ プログラミングスキル不要、マウスクリックだけで操作可能
今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集 - LayerX エンジニアブログ
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
小さいプロダクト開発におけるGCP利用の勘どころ - 個人的なプロダクトを三日でローンチした話 - Lean Baseball
月間1.6億秒の Lambda x Node.js 利用から得られた知見
クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG