タグ

関連タグで絞り込む (49)

タグの絞り込みを解除

filesystemに関するtyruのブックマーク (57)

  • macOS上のAPFSはUnicode Normalizationを行うのか? - なるせにっき


    iOS 10.3がリリースされましたが、APFSへの移行が含まれていて話題です。特に文字コード界隈ではHFS+で搭載されていた暗黙のUnicode Normalizationがなくなっている点が指摘されています1。 ではmacOSではどうなのでしょうか。SierraならばすでにAPFSを扱うことが出来るので試してみましょう。 % hdiutil create -fs APFS -size 1GB foo.sparseimage WARNING: You are using a pre-release version of the Apple File System called APFS which is meant for evaluation and development purposes only. Files stored on this volume may not be ac
    macOS上のAPFSはUnicode Normalizationを行うのか? - なるせにっき
    tyru
    tyru 2017/03/29
    macOS の新しいバージョンで APFS という新しいファイルシステムが使えるようになったらしい。HFS+ と比べて APFS は NFD による Unicode 正規化を行わない
    リンク

  • Microsoft、巨大リポジトリを快適に管理できるGVFS(Git Virtual File System)を発表 | ソフトアンテナ


    Microsoftは本日、巨大なGitリポジトリを快適に管理するための専用ファイルシステム﹁GVFS(Git Virtual File System)﹂を発表しました(slashdot)。 GVFSはGitリポジトリを格納するための専用ファイルシステムで、リポジトリを仮想化し、巨大なリポジトリでも高速な動作を可能とすることを目指して開発されているものです(具体例としてあげられているWindowsのコードベースは350万件を超えるファイルが存在し、サイズは270GBを超えている模様)。 必要なファイルだけをダウンロードすることでcloneを高速化し、リポジトリの状態を積極的に管理することで、checkoutやstatusなどに必要な時間も短縮します。例えばcloneにかかる時間が12時間から数分に、checkoutは2〜3時間から30秒に、statsuは10分から4〜5秒に短縮されるとしてい
    Microsoft、巨大リポジトリを快適に管理できるGVFS(Git Virtual File System)を発表 | ソフトアンテナ
    tyru
    tyru 2017/02/05
    Git LFS とは違ってファイルシステムなのか。扱いやすいディレクトリ構造になってるのかとかが気になる
    リンク

  • EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita

    概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの

    EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita

  • Linuxのfsckを使ってファイルシステムを高速化してはいけません！！ : うつ病けんけんのFedora/Linux日記


    うつ病けんけんのFedora/Linux日記 うつ病、双極性感情障害を抱えたけんけんのFedora、FreeBSD勉強日記。 Linux、Unixのデスクトップ用途として使うためのメモを書いています。 since 2006年2月16日(木) ブログネタ‥Linuxに関する運用 に参加中！ はじめに 今回は、ファイルシステムの高速化、最適化を紹介したいと思います。と、言ってましたがしてはいけません。そもそもfsckを気軽にするものではないということみたいです。確かに私の経験談では、Linux起動しなくてエイヤ！！って実行して起動出来た事はありますが、それは運が良かっただけだそうだ。昨今のジャーナリングファイルシステムだからってもおあるかもとかですが…　本当に何も手がなくてデータがなくなってしまうことを覚悟してするものだとか。まあLinuxデスクトップな使用ならホームパーティションバックアップ
    Linuxのfsckを使ってファイルシステムを高速化してはいけません！！ : うつ病けんけんのFedora/Linux日記

  • /usr/local とは何なのか - 破棄されたブログ

    ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして

    /usr/local とは何なのか - 破棄されたブログ
    tyru
    tyru 2014/05/05
    う、間違った使い方してた。/optに置かなきゃダメだ。
    リンク

  • /tmpと/var/tmpの仁義無き戦い - Qiita


    課題 /tmpと/var/tmpどっちも大体一緒だからいいんじゃないかと思って/tmpにファイルをつくろうとしたら、プログラムが使用するものは/var/tmpにと叱られた。確かに、基幹系システムのディストリビューションだと何故か/var/tmp派の人が多かった気がする。じゃあ、linux系特有の宗派の問題なのか？と思い調べてみた。 何が他のディレクトリと違うか 通常のディレクトリは、基本的にはファイルは削除しない限り消えない。 /tmpに関しては再起動するとファイルが綺麗さっぱり無くなる。 /var/tmpは再起動しても消えないがいつの間にかファイルが消えることがある。 うーん、やはり使用してきたディストリビューションのルールか、業務の慣例的なルールなのかなぁ。 やはり/tmpと/var/tmpは宗教論争なの？ そういうわけではないらしい。FHS(Filesystem Hierarchy
    /tmpと/var/tmpの仁義無き戦い - Qiita
    tyru
    tyru 2014/04/09
    使い分け、ディストリごとの違い
    リンク

  • Linux の ext4 ファイルシステムで間違って上書きしたファイルを復旧させた - 鈴木うどんの横須賀おもしろ生活

    結論 ext4magic 最高！！！！１１１ やったこと % ext4magic “デバイス名に” -r -a “このunixtimeから”　-b “このunixtimeまで存在していた” -f “このファイル名のファイルを復旧する” 実例 /dev/md0 上の昨日の20:00から20:30の間まで存在していた udonchan/backup.tar を復旧させたい % ext4magic /dev/md0 -r -a $(date -d "-1day 20:00 +%s") -b $(date -d “-1day 20:30 +%s) -f "udonchan/backup.tar" どうしてこうなった 年末なので OSX をクリーンインストールしようとして ~ をバックアップしたが間違って上書きして消した。 具体的に？ ~ をサーバ上にバックアップするぜ % tar cf -C /U

    Linux の ext4 ファイルシステムで間違って上書きしたファイルを復旧させた - 鈴木うどんの横須賀おもしろ生活
    tyru
    tyru 2013/12/29
    ext4magicってツールで復旧できるらしい。これは分かりやすい。
    リンク

  • Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記

    サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d

    Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
    tyru
    tyru 2013/12/29
    extundelete
    リンク

  • Linux ファイルシステムにおけるバグ傾向


    Linux には複数のファイルシステムがあります．これらには，仕様としての機能差の他に，品質・安定度に関して大きな差があると考えられています． 今回は，そのあたりを定量的に分析した論文をご紹介． A Study of Linux File System Evolution [キャッシュ] https://www.usenix.org/conference/fast13/study-linux-file-system-evolution 調査の対象は，XFS/Ext4/Btrfs/Ext3/Reiser/JFS の6つのファイルシステム．これらについて，Linux 2.6.0 (Dec ’03) から 2.6.39 (May ’11) の間に取り込まれた 5,079 個のパッチを分析しています． パッチの種類 まず，パッチを次の5種類に分類しています． Bug バグの修正． Reli
    Linux ファイルシステムにおけるバグ傾向

  • Linuxのstableカーネルにext4をぶっ壊すバグが発見される

    [Phoronix] EXT4 Data Corruption Bug Hits Stable Linux Kernels このバグは、3.6.2でもたらされ、以前の安定版カーネルにもback-portされているので、3.4の最新の安定版カーネルにまで影響が及ぶらしい。 Theodore Ts'oによれば、この問題は、カーネルを短期間で二度正常にリブートすることで起こるのだそうだ。そのため、一般の普通のディストロを使っている利用者は、まずこのバグに出くわすことはない。しかし、サスペンドやハイバネートのかわりにリブートを使うラップトップ利用者や、カーネル開発者には、容易に問題が起こりうるのだとか。 なんだかだいぶ反響があるので追記。Theodore Ts'oのメールより LKML: Theodore Ts'o: Re: Apparent serious progressive ext4 da

  • フレキシブル制作システム ソースプログラム公開


    挿入削除機能付きファイルシステム 概要 現在のパーソナルコンピュータでサポートされている汎用的なファイルシステムでは、ファイルへの操作は、読み出し(read), 書き込み(write), シーク(seek)などのシステムコールにより行われています。そのため、映像などの大きなサイズのファイルの一部分のデータに対して挿入や削除を行いたい場合、それ以降のデータに対してもコピー動作が必要となるため、操作の完了までに時間がかかるという問題があります。 挿入削除機能付きファイルシステムは、ファイルに対する挿入および削除を高速に行うことを目的に開発したファイルシステムです。挿入削除機能付きファイルシステムは次の操作を高速に行うことができます。 ファイルに対するブロックの挿入 ファイルに対するブロック単位の削除 ファイルの一部分のブロックを他のファイルへ移動 ブロックのサイズはデフォルトでは4Kバイトにな

  • lessfs を試す


    Linux Jornalのコラムに惹かれてlessfsを試してみたくなった。 ちなみに、lessfsは﹁Deduplication﹂(ファイル重複除外?)を目的としたfuse。 他にも暗号化機能、レプリケーション機能(MasterSlave)や圧縮ストレージ機能もあって、 圧縮フォーマットにはLZO、QuickLZ、BZipその他色々あるらしい。 Deduplication自体は、一部で熱いらしいBtrfsやZFSにも搭載されている。2つとも色々と問題があって、あまり簡単には導入出来ない。 そこでlessfsの登場。 fuseなだけに他のfuse系同様のボトルネックはあるものの、 アーカイブ用途ならパフォーマンス問題は少ないと思われる。 おまけでLinux Jornalでは、Opendedup も触れられていた。 こっちは、Javaかつシステムリソースの要求スペックが高いので論外。le

  • linux swap deamon

    tyru
    tyru 2012/05/12
    > swapd is a dynamic swap creation deamon, it monitors the system memory and detect when swap creation will be required. the swap size is determined automatically with respect of sysadmin limits
    リンク

  • Ubuntu Gutsy(7.10)でuswsuspのスワップ「ファイル」からの復帰ができなかった件の対処と、ファイルへの書き込みの流れ - 試験運用中なLinux備忘録・旧記事


    uswsuspでは、復帰時にinitrd(初期RAMディスク/initramfsとも呼ぶ)の中に含まれるresumeコマンドが呼ばれ、その際には、initramfs内の/etc/uswsusp.confが使用されるということが分かり、解決の糸口となった。 以下、スワップファイルの作成からそのファイルへメモリイメージを書き込んで休止し、その後復帰ができるようにするまでの作業の覚え書き。今回も、端末を使用しない方向で作業を進める。*1 なお、この記事では、/swapfileという場所にスワップファイルを作成するものとする。場所や名前は好みに応じて変更。 ファイルとしてのスワップの作成 uswsuspのファイルへのメモリイメージ(﹁スナップショット﹂と呼んでいる)の保存には、ファイルとして作成したスワップがそのまま使える。その作成方法の例は以下。 ﹁アプリケーションの実行﹂で、以下の内容を1つず
    Ubuntu Gutsy(7.10)でuswsuspのスワップ「ファイル」からの復帰ができなかった件の対処と、ファイルへの書き込みの流れ - 試験運用中なLinux備忘録・旧記事
    tyru
    tyru 2012/05/12
    Linuxではハイバーネートする時、swap領域に退避するが、この記事の方法でスワップ「ファイル」にも退避することが可能。
    リンク

  • スラッシュドット・ジャパン | swap割り当てルール、やっぱりRAMの２倍？


    ストーリー by hayakawa 2008年10月04日8時19分 個人的にはスワップなしで構築することが多くなってきましたが 部門より 過去10年、自分より知識のある人たちに﹁swapにはどれだけ割り当てればいい？﹂と聞くと、皆同様に﹁RAMの2倍に設定しておいて、あとは考えなくていいよ﹂と答えてくれた。確かに昔は深く考えるようなことでもなかったように思う。RAMが128MBならswapは256MBにしておけばよかった。でもいま自分のノートPCに載っている4GBのRAMを考えると、8GBのswapって本当に必要？と考えてしまう。 デスクトップのswapには本当はどれ位割り当てるのがいいのだろうか？﹁RAMの2倍﹂ルールは今も当てはまるだろうか？このルール、これからもずっと有効なのだろうか？ SWAPに8GB割り当てるのに全く問題がないHD容量があればいいが、例えばUMPCのようにメモ

  • Linux: Skip or Bypass a Fsck - nixCraft

    Q. I know how to force fsck on the next reboot using /forcefsck file. But how do I skip or bypass a fsck on reboot? How to stop a FSCK from prompting or running automatically when rebooting server. A. It is recommended that you run a fsck on reboot if required. Usually, system automatically determines if fsck required or not. Generally, fsck is run automatically at boot time when the system detect

    Linux: Skip or Bypass a Fsck - nixCraft
    tyru
    tyru 2012/05/04
    起動時のfsckをスキップするにはshutdown -rf nowかkernelパラメータにfastbootつけるか/etc/fstabのfsck optionを0にするか
    リンク

  • 仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する


    ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから

  • JF: Linux Kernel 2.6 Documentation: ramfs-rootfs-initramfs.txt

    Linux Kernel 2.6 Documentation: /usr/src/linux/Documentation/filesystems/ramfs-rootfs-initramfs.txt filesystems/ramfs-rootfs-initramfs.txt ramfs, rootfs, initramfs の説明 [プレインテキスト版] 原著作者: Rob Landley <rob at landley dot net> 翻訳者: Akira YOSHIYAMA <yosshy at debian dot or dot jp> バージョン: 2.6.18 翻訳日時: 2007/01/28 ramfs, rootfs and initramfs October 17, 2005 2005年10月17日 Rob Landley <rob@landley.net> =====

  • An Interview With Linus Torvalds: Linux and Git - Part 1 30 Years Of Linux

  • 最新のFedoraとUbuntuではrelatimeもnoatimeもいらない？ - 科学と非科学の迷宮

    (2008/6/14 13:35 追記) 続き書きました　http://d.hatena.ne.jp/shiumachi/20080614/1213415948 要約 前回の検証で、マウントオプションに noatime や relatime をつけても オプションなしのときと性能が変わらないという結果を報告しました*1。*2 しかし、調査の結果、Fedora8、Fedora9、Ubuntu8.04 LTS などでは カーネルのコンパイルオプションに default_relatime がついていることが 判明しました。 そのため、各ファイルシステムに noatime や relatime オプションを つける必要はなくなっています。 relatimeについての調査 relatime マウントオプションについて調査していたところ、 LWN.netに atime 周りの議論のまとめ記事が掲載され

    最新のFedoraとUbuntuではrelatimeもnoatimeもいらない？ - 科学と非科学の迷宮
  • 1 2 3 次のページ

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.