[B! 論文] skypenguinsのブックマーク

skypenguins id:skypenguins

論文に関するskypenguinsのブックマーク (36)

RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
大規模言語モデル (LLM) の学習データに含まれない知識︵各社の特有の書類など︶を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。そのような問題への対応としてRAGが使われます。﹁LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
skypenguins 2024/07/04
論文

IR

情報検索

NLP

自然言語処理

LLM
リンク
AIを使った論文の読み方
近年の AIの進歩により、論文の読み方も大きく変化を遂げました。AI を活用することで以前と比べてはるかに簡単かつ早く論文が読めるようになりました。以前私の個人ブログにて、論文の読み方やまとめ方を紹介しました。その時には要約ツールは用いていませんでしたが、最近はすっかり要約ツールを多用するようになりました。本稿では、最新の AIを使った論文の読み方を丁寧に紹介します。基本的な流れ本稿でおすすめするのは ChatGPT か Claude で要約を生成して論文の概要をつかみ、Readableで精読するという方法です。ChatGPT や Claude では単に全体の要約を生成するだけでなく、肝となる箇所を特定したり理解するためにも用います。具体的な手順については後の項で解説します。私が特定のテーマについて調査を行う場合には、テーマに関係する論文を被引用数の多いものを中心に10
skypenguins 2024/04/17
論文

ai

ツール

英語
リンク
A Theory of Scrum Team Effectiveness 〜『ゾンビスクラムサバイバルガイド』の裏側にある科学〜
Regional Scrum Gathering Tokyo 2024での講演資料です。 --- 2023年、ソフトウェア工学分野の論文誌であるTOSEM[1]、およびトップカンファレンスであるICSE 2023[2]に、スクラムに関する1本の論文が同時に採択されました。僕は50ページを超えるその論文を読んで衝撃を受けました。こういう学会に投稿されるスクラム・アジャイルの論文は、アジャイル実践者の目線からするとあまりピンとこないものもあるのですが、この論文はまず、そういった点で一分のスキもありませんでした。ただの研究者ではない、明らかにスクラム実践者が書いた論文でした。一体誰が書いたのか、と思って調べてみると、2人の著者 Christiann Verwijs と Daniel Russo のうち、Christiaan Verwijsはあの﹃ゾンビスクラムサバイバルガイド﹄の著者の1人
skypenguins 2024/03/11
アジャイル

スクラム

組織

論文

開発
リンク
SPF (やDMARC) を突破する攻撃手法、BreakSPF | 朝から昼寝
SPF レコードで許可されている IPアドレスの実態がクラウドやプロキシ等の共用サービスのものであるケースは多く、それらの IPアドレスが第三者によって利用できる可能性があることを悪用し、SPF 認証を pass、結果的に DMARC 認証まで pass して詐称メールを送信できてしまうことを指摘した論文が公開されています。この論文では、上記のような SPF の脆弱な展開に対する攻撃手法を BreakSPF と呼び、関連するプロトコルや基盤の実装に対する分析と共に、その内容が体系的にまとめられています。本記事では、その論文を参照しながら、簡単に概要をまとめておきます。補足事項 (2024/3/5) 本記事につきまして、(当サイトとしては) 多くのアクセスいただいているようで (ちょっとビビってま) す。まことに大変ありがたいことに色々とシェアいただいたりしたようです。そこで、記事の
skypenguins 2024/03/06
論文

セキュリティ
リンク
大規模言語モデルは相関関係から“本当の”因果関係を推定できるのか？　40万個の問題で研究者らが調査
Innovative Tech‥ このコーナーでは、テクノロジーの最新研究を紹介するWebメディア﹁Seamless﹂を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 ドイツのMPI-IS、スイスのETH Zurich、米ミシガン大学、香港大学、米Meta AIに所属する研究者らが発表した論文﹁Can Large Language Models Infer Causation from Correlation？﹂は、大規模言語モデル︵LLM︶が相関関係から因果関係を推定する因果推論タスクでどの程度の性能を発揮できるかを調査した研究報告である。推論の基本的な考え方では、因果関係を得るために2つの方法がある。1つは、経験的な知識に基づくものだ。例えば、誕生日パーティーを友人のために準備すると、幸せになるということは常識
skypenguins 2023/06/23
研究

llm

自然言語処理

論文
リンク
【改題】室温超伝導ふたたび！～大丈夫じゃなかった、Natureの論文だもん！～
Superconductivity scandal: the inside story of deception in a rising star's physics lab
skypenguins 2023/04/01
化学

材料科学

論文
リンク
"Attention is All You Need" は本当か調べる - Re:ゼロから始めるML生活
”Attention is All You Need”というタイトルでTransf ormerの論文が発表されてから随分経ちます。ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらまとめてみようと思います。出発点：Transf ormer Transf ormer Vision Transf ormer (ViT) Attention Attentionを使わなかったモデル MLP-Mixer MetaFormer (PoolFormer) gMLP ConvNeXt Attentionは本当に大事？に関する私見参考文献論文メモ感想出発点：Transf ormer まずはTransf ormerの構造について紹介しないと、Self Attentionが重要かどうか云々についてもわ
skypenguins 2023/03/26
nlp

論文

自然言語処理
リンク
Amazon DynamoDB の論文を読んでいく - Qiita
概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、﹁Amazon DynamoDB: A Scala ble, Predictably Performant, and Fully Managed NoSQL Database Service﹂と題したものとなっています。 Amazon DynamoDB は、NoSQL とよばれる部類のデータベースサービスです。一貫した耐久性、可用性、パフォーマンスを提供してくれるマネージドなサービスなのが特徴ですね。冒頭、2021年に66時間にわたる﹁Amazon Prime Day﹂中にピーク時8920万リクエスト/秒をさばいてい
skypenguins 2022/12/14
DB

aws

論文

データベース
リンク
Stable Diffusion を基礎から理解したい人向け論文攻略ガイド【無料記事】
skypenguins 2022/10/11
「拡散モデル」と言ったら昔は物理学の方のやつが引っかかったんだが、最近は画像生成の方のやつが引っかかって何が何やら…「畳み込み」が離散信号処理とCNNの両方で使われてる（全く別の概念）みたいな

論文

deeplearning

画像

ai

人工知能
リンク
声優・小岩井ことりさん、電子情報通信学会で表彰される　研究向けオリジナル曲を50曲作り貢献
声優の小岩井ことりさんは9月15日、明治大学の森勢将雅専任准教授らと共同執筆した論文が電子情報通信学会で船井ベストペーパー賞を受賞したと発表した。作曲で音声合成分野の研究に貢献した。受賞した論文は「レアなモーラを含む日本語歌唱データベースの構築と基礎評価」。著者は小岩井さん、森勢専任准教授、ライターの藤本健さん。内容は、AI歌声合成技術などの研究に使えるオリジナル曲を集めたデータベースを作成したというもの。収録したオリジナル曲には、日本語の音素をできる限り含んだ歌詞、さまざまなパターンのメロディーが織り込んである。これまで歌声合成の分野では、著作権などの問題から童謡を使うことが多かったが、オリジナル曲のみでデータベースを構築することで利用条件の緩和を目指した。
skypenguins 2022/09/19
ATR音素バランス503文の楽曲版的なやつ？

声優

研究

論文

音声合成
リンク
推薦システムにおけるニューラルネットワークの活用について読んだ論文をゆるくまとめる - Re:ゼロから始めるML生活
ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。理解が曖昧なところもあり、マサカリが飛んできそうな気配がプンプンしますが、がんばって書いてみたいと思います。マサカリコワイ... 前提知識協調フィルタリング Matrix Factorization Factorization Machine ニューラルネットワークの推薦システムへの応用の傾向 Feature EngineeringとしてのNN Wide & deep DeepFM DCN AutoInt DCN V2 系列データとして取り扱うNN prod2vec AttRec BERT4Rec Transf ormers4Rec 参考文献読んだ論文をまとめ
skypenguins 2022/05/14
論文

機械学習

深層学習

deeplearning
リンク
神経科学や実験経済学の再現性についてメモ【再現性】｜手記千号
以前の記事では、査読付きの主要学術誌に掲載された心理学研究について、その再現性が3割程度に過ぎないと判明したこと、過去の有名研究が次々に追試失敗していること、世界的にみれば学界をあげた対策が進められている︵信頼性革命︶ことを紹介しました。心理学は信頼できるのか？　再現性の問題︻心理学︼ https://note.com/s1000s/n/n535be7155581 心理学・行動経済学等の著名な研究論文が次々に追試失敗︻心理学︼ https://note.com/s1000s/n/na0dbd2e8632d 上記記事では、主に心理学についてとりあげています。では、心理学以外の分野ではどうなのでしょうか。ぽちぽち検索してみると、 ……少ししか分かりませんでした。その少しについてまとめておきます。主に神経科学、ほんのちょっと実験経済学︵と行動経済学︶についてです。私としては、多くの学問分野
skypenguins 2022/05/02
統計学は本質的に難しいのにあやふやな理解のまま実験結果を「科学的に」見せる道具としてみんな使った結果、再現性の危機を招いてるよね/突かれるとガチのマジで不都合なやつだからみんな黙ってるけど

科学

統計学

研究

論文
リンク
Connected Papers | Find and explore academic papers
Connected Papers is a visual tool to help researchers and applied scientists find academic papers relevant to their field of work.
skypenguins 2021/11/25
先行研究、派生研究を探すのに便利そう

論文

webサービス
リンク
高速で論文がバリバリ読める落合先生のフォーマットがいい感じだったのでメモ - 書架とラフレンツェ
(図書館学系の話題でもあるからちょっと悩んだけれど、文献読解全般に関する内容だからこちらへ) 既に日々論文をバリバリ読んでいるひとには今更な記事だろうけれど、分野ごとの違いもあって興味深かったのでざっくり記録する。論文を大量に読む際に、頭から几帳面に読んでいると時間がどれほどあっても足りないし、後から﹁こんなことが書いてあった論文なんだったっけ？﹂という問題も発生してしまう。研究者の皆様はMendeley などの文献管理ツールをを用いていることが多いかとは思うが、それでも論文の読み方そのものに工夫をすればインプット/アウトプットの効率が圧倒的によくなるので、やってみるにこしたことはない。その工夫とは何かというと、論文を読むときに﹁特定の問いに集中して読む﹂というものだ。学術論文は分野ごとの違いはあれ、必ず特定の流れに従って構成されている。そこで要点のみに注目して読み、他の事項を捨てる
skypenguins 2021/11/14
論文

研究

学習
リンク
心理学・行動経済学等の著名な研究論文が次々に追試失敗【心理学】｜手記千号
心理学の研究論文は再現性が低いことが指摘されていました。再現性が低くなる原因は、学界全体に﹁疑わしい研究手法︵QRPs︶﹂が蔓延していたことにあるとみられます。現在は学界全体をあげての対策が行われているようです。研究の事前登録、データの公開、追試などが重視されるようになっています。学界は正しい方向に進んでいるようですが、だからこそ、重要な発見だとみなされてきた過去の研究成果が次々に覆されているようです。少々調べましたが……、いやはやこれは……脱力しました。心理学以外の分野でも援用されている有名な研究たちが、あれもこれも。興味を引かれたものに重点をおきつつ、ざっくりとメモ的にまとめておくことにします。 2021年9月12日追記追試というのは、1年半以上かかるものも珍しくないようです。かなりの時間・精神力・体力を要するのに対して、見返りが少ないものといいます。この記事では多くの研究の
skypenguins 2021/10/30
論文

研究

科学
リンク
研究効率化Tips Ver.2
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。 VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。 VIEW2021チュートリアルセッション：http://vie
skypenguins 2021/10/19
実験管理の項目が地味に役立つ

研究

論文
リンク
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア反事実（counterfactual）に基づく因果推論ブートストラップとシミュレーションに基づいた推論オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど）ベイズマルチレベル（階層）モデル汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など）適応的決定分析（ベイズ最
skypenguins 2021/09/27
AICがない…

統計

論文

データサイエンス

統計学
リンク
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています．世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら﹁Transf ormerの性能はたった3つの変数のべき乗則に支配されている﹂というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
skypenguins 2021/01/06
予算の規模がやばいな

論文

機械学習

deeplearning

llm
リンク
再現性問題は若手研究者の突破口
2020年9月9日に開催された日本心理学会第84回大会大会企画シンポジウム﹁若手が聞きたい再現可能性問題の現状とこれから﹂での発表資料です。本番の増補版になってます。 ----- いくつか補足‥ スライド14の﹁偽追試﹂という語は誤りで﹁偽反復﹂が正しいです。ここでの追試の文脈とは微妙に異なるためミスリーディングでもあります。すいません・・・スライド96の枠で囲まれた部分(ランキング)は﹁日本の科学と技術﹂さん (http://scienceandtechno logy.jp/archives/21533) からの引用です。編集のどこかでクレジットが外れていました。こちらもすいません・・・Read less
skypenguins 2020/09/16
研究

論文

学問
リンク
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): ﹁畳み込みを一切使わない﹂という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては﹁チャネル間の加重和である1x1畳み込み﹂を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransf ormerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
skypenguins 2020/08/31
機械学習

nlp

deeplearning

深層学習

論文
リンク
1 2 次のページ