話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与
クラウドサービスでは大量の機能が多種多様に提供されており、簡単なアプリでも複数のサービスを組み合わせて利用することも珍しくありません。そうしたバックグラウンドのサービスを設計する際に役立つのがサービス間の構造を図に落とし込んだ「アーキテクチャ図」です。これまでもサードパーティーからさまざまなアーキテクチャ図作成ツールが提供されてきましたが、2022年2月17日にGoogleが自社クラウド向けの公式アーキテクチャ図作成ツールをリリースしたので、早速使い勝手を試してみました。 Google Cloud Developer Cheat Sheet https://googlecloudcheatsheet.withgoogle.com/architecture Introducing a Google Cloud architecture diagramming tool | Google Cl
2019年8月28日(日本時間)更新: 最初の事象概要で言及した通り、今回のイベントは、東京リージョンの1つのアベイラビリティゾーン(AZ)の一部に影響を与えました。この影響は当該 AZ の Amazon EC2 および Amazon EBS のリソースに対するものですが、基盤としている EC2 インスタンスが影響を受けた場合には、当該 AZ の他のサービス(RDS、 Redshift、 ElastiCache および Workspaces 等)にも影響がありました。お客様と今回のイベントの調査をさらに進めたところ、 個別のケースのいくつかで、複数のアベイラビリティゾーンで稼働していたお客様のアプリケーションにも、予期せぬ影響(例えば、 Application Load Balancer を AWS Web Application Firewall やスティッキーセッションと組み合わせてご
ある中国の小説家がクラウドで使っていたワープロソフトに原稿をロックされたと訴えている。原稿は未公開の状態だったとされ、中国のインターネットユーザーは国家の検閲がどこまで及ぶのか、疑心暗鬼になっている。 by Zeyi Yang2022.07.20 444 5 あなたが自宅のパソコンで小説を執筆しているとしよう。すでにおよそ100万語を書き上げ、完成は間近だ。ところが突然、クラウドで使っていたワープロソフトから、「この原稿には違法な情報が含まれているため開くことはできません」と通知された。これまで書き上げてきた言葉が、一瞬のうちに失われてしまった。 この話は今年6月、ミツ(Mitu)というペンネームで執筆している中国の小説家が実際に経験したことだ。ミツは「WPSオフィス」を使って小説を書いていた。WPSは中国のソフト会社キングソフト(金山弁公軟件)が提供しているクラウドベースのワープロソフト
JAWS-UG 初心者支部 #22 ハンズオン用の資料です。 目的 AWSアカウントを不正利用されないために、アカウントを作成したらまずやるべきセキュリティ周りの設定を行います。 前提 AWSアカウントを作成済みであること AWSアカウントにログインしていること リージョンは東京リージョンを利用します ハンズオン手順 アカウント周りの設定 ルートアクセスキーの削除 ※ルートアカウントのアクセスキーは、デフォルトでは作成されておりません。アクセスキーを作成済みの方を対象とします。 ルートアカウントは全てのサービスへのアクセスが出来てしまうため、ルートアカウントは使用せず、IAMユーザーを使用しましょう。 CLI等のプログラムアクセスも不要なため、アクセスキーを削除します。 https://console.aws.amazon.com/iam/home#/security_credential
この度は、こちらの依頼に目を止めてくださり、 ありがとうございます。 映画『えんとつ町のプペル』について、 あなたが訪れた映画館の情報をお願いいたします。 報酬目当てではなく、 「プペルが面白かったから、ぜひみんなにシェアしたい」 という気持ちをもった方向けのお仕事です。 映画『えんとつ町のプペル』の魅力を、 素敵な映画館情報を通してより多くの人に伝えましょう! ★記事形式★ 以下をご覧ください。 https://docs.google.com/document/d/10qbHszbqPt69q1lKgaqUbu2I3xKZad-Nyynk5oXViIE/edit?usp=sharing ★報酬★ 文字数:1850文字以上 1記事:19円 ★その他★ 映画館の外観や、 チケット売り場などの写真がありましたら、 添付していただければ幸いです。 年代・性別・イニシャルをお願いいたします。 以下
AWS Startup ブログ スタートアップのためのコンテナ入門 – 導入編 こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 今回はコンテナのお話です。今日、多くのスタートアップのお客様が本番環境でコンテナを採用し、ビジネスに活かしております。その一方で、「そろそろコンテナやった方がいいか?」「なんとなく使い始めたけれどこれでいいのか?」「コンテナ自体は分かったけど、サービスでの利用に踏み切れていない」といったご相談も数多く頂いております。 本記事ではコンテナ技術のサービス利用を検討されている方向けに、AWS 上でどうコンテナ化を進めていけばいいのかをお話致します。 目次 コンテナとは コンテナオーケストレーション コンテナ利用時・検討時によくある誤解 コンテナへの移行ステップ コンテナとは まずはじめに改めてコンテナ技術についての復習です。
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
技術部 SRE グループの mozamimy です。 クックパッドでは、 SRE が中心となって、サービスを動かす基盤の大部分である AWS のコスト最適化を組織的に取り組んでいます。 昨年夏に公開した記事である、インフラのコスト最適化の重要性と RI (リザーブドインスタンス) の維持管理におけるクックパッドでの取り組みでは、 なぜインフラのコスト最適化が必要なのか、具体的にどのような考え方に沿って進めてゆけばよいのか。 SRE が一括して管理する AWS のリソースプールそのもののコスト最適化を実践するための具体的な取り組みの一例として、RI のモニタリングや異常時の対応フローによる維持管理。 といった話題にフォーカスしました。 今回は、インフラにかかるコストを正しく「説明」するための取り組みということで、コスト最適化に貢献する社内アプリケーションである Costco (Cost Co
こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 最近調べものをしている中で見つけたドキュメントが良かったのでご紹介したいと思います。 先にまとめ Microsoft の RESTful Web API の設計 のドキュメントが API 設計を考える上で勉強になった 関連する クラウド アプリケーションのベスト プラクティス のドキュメントもアプリケーションを設計する際の指標として良さそう RESTful Web API の設計 最近 API 設計やパス設計について考える機会があったのですが、これという正解がなかったり、人によって思想やこだわりが違ったりして結構難しいなと感じていました。 そんな中で下記のドキュメントを見つけてひとつの指標として良いなと思ったのでご紹介します。 内容(項目) REST とは何か リソースを中心とした API 設計の整理 HTTP
人気サンドボックスゲーム『Terraria(テラリア)』を手がけるRe-Logicの設立者Andrew Spinks氏は2月8日、本作のStadia版のリリースを取りやめると発言した。この背景には、同スタジオのGoogleアカウントの停止と、これにかかわるGoogleの対応があったようだ。 After spending 3 hours tonight actively trying to get a response we are no closer to recovering our Youtube or Gmail account. We have been locked out of both without explanation for 10 days now. https://t.co/XFQKI2wuMj — Terraria🌳 (@Terraria_Logic) Janu
月間ページビュー(PV)が500万PVあり、データ転送量も80TBあるという人気ウェブサイトを400ドル(約4万6000円)以下で維持する方法を、3Dのアセットライブラリを一般公開しているPoly Havenがまとめています。 How we handle 80TB and 5M page views a month for under $400 – Poly Haven Blog https://blog.polyhaven.com/how-we-handle-80tb-and-5m-page-views-a-month-for-under-400/ ウェブサイト運営のポイントの1つは「資金リソースをどう管理するか」です。資金があればAmazon S3のようなクラウドプラットフォームを利用するのが簡単ですが、データ転送量が月間80TBもあるPoly HavenのようなウェブサイトでAmaz
超巨大クラウドのシステム開発現場を行動観察。ガチ三流プログラマが米国システム開発の現状をリークする話(1) Regional Scrum Gathering Tokyo 2022 代表的なアジャイル開発手法であるスクラムをテーマにしたイベント「Regional Scrum Gathering Tokyo 2022」が、1月5日から7日までの3日間、都内およびオンラインのハイブリッドで開催されました。 そのクロージングセッションとして行われたのが、現在シアトル在住でMicrosoft Azureの開発を担当している牛尾剛氏による「アメリカの超巨大クラウドの中の人に転生したガチ三流プログラマが米国システム開発の現実をリークする話」です。 本記事ではほぼ90分におよぶセッションの内容を、前編、後編(1)、後編(2)の3本に分けて紹介します(この記事は後編(1)です)。 前編では、子供の頃からプロ
トポロジー図作成などに使ったりするアイコンは、結構サービス側で提供していたりする。 そう、よく目にするであろう、あのアイコンたちである。 リンクとともにまとめてみた。 Cloudサービス AWS AWSの公式アイコン集です。 2019/1/31からリリース2が公開されデザインが一新されました。PPT形式のドキュメントには、GroupsやIcons, Arrowsの使い方指南(すること、やってはいけないこと)が書かれています。このガイドにしたがって使いましょう。 また。この新しいバージョンの他に従来の旧バージョンも公開されています。 新バージョン 旧バージョン Google Cloud Platform 以前リンク切れていたのですがいつの間にか復活していました。アイコンが一新されたようです。 (ページには「図の例」があるよ、と言っているものの、2021/5/11現在まだ準備されていないようで
AWS Startup ブログ スタートアップのためのマイクロサービス入門 こんにちは、スタートアップ ソリューションアーキテクトの松田 (@mats16k) です。 以前「スタートアップのためのコンテナ入門 – Kubernetes 編」を出した際に記事内で、マイクロサービスやサービスメッシュにふれる機会がありました。今回は AWS でデベロッパーアドボケイトをしているトリ氏 (@toricls) にマイクロサービスについて記事を寄稿いただきました。 ※ 本記事は Software Design 2020年7月号 に掲載された「スタートアップのためのAWSテクノロジー講座 – マイクロサービスのあるべき姿と特徴を知る」からの転載、改修版です。 目次 マイクロサービスにはコンテナが必要なのか? サービスメッシュは本当に必要なのか? 「マイクロサービス」という言葉の功罪 マイクロサービスが必
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか? そのようなS3でも巨大な
サーバラックに束ねられたケーブルに美を見る、NHK BS1の番組「ケーブルアート~あなたの知らない美の世界~」が今夜10時40分から放送へ サーバラックの表や裏を流れるように配線されている大量のケーブルが、ときとして力強さや繊細さ、あるいは生命力のような美しさを感じさせること、ありますよね? そうしたサーバにつながれた多数のケーブルに美を見いだす番組「ケーブルアート~あなたの知らない美の世界~」が今夜、11月11日夜10時40分からNHK BS1で放送予定です。 下記はTVerでの番組紹介の一文。 パソコンやサーバーをつなぐ膨大なケーブル。カラフルで整然と配線されたケーブルに独特の美を見出す人が!電線愛好家の女優・石山蓮華さんがケーブルアートの世界を探訪! 案内役の石山蓮華さんも次のようにツイートしています。規則正しく束ねられたケーブルが美しいですね。 テレビでケーブルを見よう 11月11
ウェブサイトやアプリケーションを簡単に構築できるクラウドサービスは便利なものですが、その課金システムは非常に複雑です。通信量や利用した計算リソースに応じて課金する従量課金制のサービスもあれば、条件を満たすことで無料で利用できるサービスもあります。そんなクラウドサービスの無料プランを利用したつもりが、7万2000ドル(約750万円)を請求され倒産寸前に追い込まれたと、ベンチャー企業の創設者が当時の状況をブログに吐露しています。 We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt [Part 1] | Milkie Way https://blog.tomilkieway.com/72k-1/ We Burnt $72K testing Firebase - Cloud Run and almost went
平井卓也デジタル改革担当相は2020年11月17日、中央省庁の職員を対象に「パスワード付きZIPファイル」の送信ルールを廃止する方針を明らかにしました。政府の意見募集サイト「デジタル改革アイデアボックス」に投稿された意見を採用したものです。 この流れに乗り、クラウド会計ソフトを提供するfreeeは、2020年12月1日から対外的に「メールによるパスワード付きファイルの受信を廃止する」と発表しました。メールは、当然ですが受信者がいれば送信者がいます。そのため“受信しません”と表明をすることは重要でしょう。 freeeは今後、パートナー企業や取引先からのZIPファイル付きメールを添付ファイルを削除して受信するとのことです。本文はそのまま維持されるため、これで困ることはないと思われます。 プライバシーマーク制度を運営する日本情報経済社会推進協会(JIPDEC)は、2020年11月18日に「メール
ふくい産業支援センターは五日、運営するネット配信サービス「県産業情報ネットワーク『ふくいナビ』」が一日から使用できなくなったと発表した。ネットの情報を保管する「クラウドサーバー」を賃貸するNECキャピタルソリューション(東京都)が契約の更新手続きを怠り、サーバーのデータが完全に消失したためで、復旧は不可能という。利用者の情報漏えいはない。再稼働の時期は未定。 同社はサーバー機器を所有せず、機器の使用権を賃貸している。センターは二〇一五(平成二十七)年から五年間の契約を結んでおり、先月末で契約が終了するため、先月十三日に単年契約の更新を行った。しかし、同社がサーバー機器管理者への使用権更新手続...
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編(2024年版) いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。(有料サービスの追加機能として無料で提供されているものは除外しています)。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用いただ
小さなマイクロコンピュータ「Raspberry Pi」(通称ラズパイ)で作る、自分だけのガジェット。ネット経由でアクセスできる自宅ファイルサーバをラズパイで構築してみます。 小さなマイクロコンピュータ「Raspberry Pi」(以下、ラズパイ)を使って、いろんなものを作ってみる本連載。ついにラズパイの新モデル「Raspberry Pi 4 Model B」が日本でも正式に手に入るようになりました。心臓部となるSoCは「Broadcom BCM2837B0」から「Broadcom BCM2711」に変更。それに伴ってCPUがクアッドコアの「Cortex-A53 1.4GHz」からクアッドコアの「Cortex-A72 1.5GHz」へと進化しました。 SoCの製造プロセスも40ナノメートルから28ナノメートルに進化したため、システム全体のパフォーマンスは「Raspberry Pi 3 Mod
デジタル庁の河野太郎大臣は10月3日、同日に公募結果を公開した日本政府の共通クラウド基盤「ガバメントクラウド」(政府クラウド)について、国産サービスの応札がなかったと発表した。 今回の公募にはパブリッククラウド「Microsoft Azure」を提供する米Microsoft、「Oracle Cloud Infrastructure」を手掛ける米Oracle、「Amazon Web Services」を手掛ける米AWS、「Google Cloud Platform」を手掛ける米Google Cloudの4社が応札。デジタル庁はこれら全てを採択した。 ガバメントクラウドは政府やデジタル庁が主導するデジタル改革の一つ。同庁は今後、採用したサービスで構成するマルチクラウド基盤を、スマートフォンで本人確認ができる公的個人認証サービス(JPKI)の提供や、同庁による調査研究などに活用する。同庁のWeb
昨日の「AWSのAZの割り当ては、アカウントごとに違うという話」で宿題として残した、マルチAZ構成で単一AZの障害の影響を受けるのは何故かという問題について考えてみます。キーワードはELBです。 前提としてのELBの実装(の予想) マルチAZ構成での障害発生原因を検討する前に、まずELBの実装について考えてみましょう。5年ほど前に書いたELBの挙動からみる内部構造の推測です。 blog.takuros.net 旧ELB(CLB)をもとに書いていますが、ALBでも大きく変わらないと思います。要点としては、ELB自体は、AWSが管理するEC2インスタンス上で稼働し、バランシング先のAZにそれぞれ配置されているということです。図ではELBインスタンス(仮称)として表しています。そして、ELBインスタンスへの振り分けはDNSの名前解決で実現している点です。このアーキテクチャは私の個人的な予想ですが
日本はユーザー組織よりもベンダーにIT人材が集中していることが、DXを阻害しているといわれる。すぐにオンプレのサーバーを売ろうとする、クラウドで頼むといってもIaaSで持ってくる、ちょっと目新しい技術を指定したら見積もりが跳ね上がる。そういったSIベンダーに対するフラストレーションが、ひょっとして内製に切り替えれば、もっと迅速かつ低コストに新技術を導入できるのではないか?という期待に繋がっているように見える。 もしも夢が叶うならば、決められた予算、決められた要員で、生産性が高い最新の技術を習得しながら、環境変化を受け入れつつ、予定通りプロジェクトを完遂できるに越したことはない。しかしながら世の中にはトレードオフがあって、決められた予算、決められた要員、決められた期日通りにプロジェクトを仕上げたいのであれば、実績あるチームが、枯れた技術を使って、余裕あるスケジュールで、要件を固める必要がある
新型コロナウイルス感染症については、必ず1次情報として 厚生労働省 や 首相官邸 のウェブサイトなど公的機関で発表されている発生状況やQ&A、相談窓口の情報もご確認ください。※非常時のため、すべての関連記事に本注意書きを一時的に出しています。 はじめにエンジニア5年目くらいでフリーランス3年目でスマホアプリ以外はなんとか作れるような感じのエンジニアです。 普段僕は開発にGCPを使っています。本番にもデモの公開にも、気軽に使っていました。 無料枠もあるし、適当に使っても毎月少ししか請求がない程度しか僕の使い方では課金されないし。GCPを舐めきっていました。 事件の発覚した時Googleから今月のGCPの使用料のメールがきていました。ですが、普段数百円なのであまり気にせずスルーしていました。 ちらっとメールを見ると、雰囲気がいつもと違うメールでした。請求が正常に完了していないので、請求先のカー
概要 普段はソフトウェアエンジニアとして活動していますが、訳あってITとは全く関係ない建設業界の社内システムを作った時の話をします。古い体質と言われる建設業界ですが、高齢化により若者が定着しない、IT化の遅れから労働生産性が悪いといった問題が、そのまま「人手不足」「3Kイメージ」に繋がっています。 本記事では、全くシステム導入が進んでいないとある建築設計会社の情報システムを担当し、どんなSaaSを組み合わせて社内システムを構築したかを紹介します。紹介するSaaSは一例であり、全ての会社に当てはまるわけではないので、あくまで参考としていただきたいです。 導入したSaaS Microsoft 365 コアとなるグループウェアとしては、Microsoft 365を使用しています。通常のIT・ソフトウェア業界ではGoogleのグループウェアが多いですが、建築の会社では以下の理由でMicrosoft
PlanetScaleというサーバレスDBが凄く勢いのあるサービスと聞いて、公式にクイックスタートがあったのでやってみました。 環境 PC: MacBook Pro (Intel Core 2016) OS: macOS Montery12.2.1 では概要から確認していきます。 サーバーレスDBとは サーバがない、のではなく、サーバ管理や検討が不要 AWS Lambda(NoSQL)など PlanetScaleとは PlanetScale年表 2010年頃 YouTubeが急激に成長し、データベースが爆発しそうになっていたので、Sugu氏ともう一人のYouTubeのエンジニアがオープンソースプロジェクト「Vitess.io」(ヴィテス)を立ち上げる 2016年頃 MySQLでバイナリプロトコルを扱えるようにしたことで、VitessはYouTube以外の企業にとっても魅力的なシステムになり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く