<div dir="ltr">Using ZFS raidz (or raidz2 or raidz3) seems like the best fit for what you want.<div>Yes, you can't add more drives easily to a raidz, but this is minor, because you can simply use multiple ZFS pools to extend storage.</div><div>Speed and data reliability are the biggest benefits of ZFS.</div><div>I do prefer FreeNAS myself (since I've used BSD for what seems like forever), but it works very well on Linux (I just wish ZFS could legally be incorporated into the kernel).</div><div>ReFS sucks.</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Aug 7, 2019 at 5:49 PM Paul Nijjar via kwlug-disc <<a href="mailto:kwlug-disc@kwlug.org">kwlug-disc@kwlug.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I have a bunch of drives (mostly 1TB and 3TB) and one of those 24-bay<br>
disk array shelves I was writing about before. I want to have a big<br>
contiguous pool of storage onto which I can store backups. Currently I<br>
need something like 15-20TB of storage to feel comfortable, but this<br>
may grow over time. I will be backing up using gigabit ethernet (which<br>
might make restores interesting in an emergency, but oh well).<br>
<br>
<br>
Here is my dream setup: <br>
- One big storage pool<br>
- Able to serve up SMB shares for inferior operating systems to use as<br>
  backup targets<br>
- Able to add new drives as I need them without worrying about drive<br>
  sizes too much<br>
- Able to replace small drives in the array with bigger ones and use<br>
  the additional capacity easily<br>
- Able to use a lot of the space on the drives (so full redundancy is<br>
  not critical)<br>
- If a drive dies I don't lose everything (but can afford to lose what<br>
  was on that one drive)<br>
- Well supported, preferably on Ubuntu<br>
- (Relatively) easy for others to maintain and use<br>
- Good power usage?<br>
<br>
I do not think I can achieve the dream. Here is what I have thought<br>
of/looked into so far: <br>
<br>
<br>
ZFS with FreeNAS or Ubuntu (using ZFS on Linux), raidz<br>
------------------------------------------------------<br>
<br>
- Allows a fair amount of storage without full redundancy?<br>
- Does NOT allow me to add new drives easily. I can only add entire<br>
  sets that match the existing raidz array, turning RAID5 into RAID50?<br>
- If a drive dies I can rebuild (with the usual RAID5 caveats)<br>
- ZFS on FreeNAS might be preferable to Ubuntu, but I might still go<br>
  with Ubuntu<br>
- Good protection against corruption<br>
- Maybe difficult for others to administer? <br>
<br>
<br>
ZFS with FreeNAS/Ubuntu, raid10 (or mdadm)<br>
------------------------------------------<br>
<br>
- Easier to add new drives as long as they are in pairs<br>
  (Do the pairs have to be matched to previous pairs?)<br>
- Full redundancy which wastes space<br>
- If a drive dies I can rebuild it<br>
- Maybe it is hard/impossible to remove a pair of drives from the set<br>
<br>
<br>
ZFS with FreeNAS/Ubuntu, raid0 (or mdadm)<br>
-----------------------------------------<br>
<br>
- Maximize storage<br>
- But if one drive dies I lose everything<br>
- Maybe I can easily add to the array?<br>
- I don't think I can take anything out ever<br>
<br>
<br>
Plain LVM on Ubuntu<br>
-------------------<br>
<br>
- Maximize storage<br>
- Have one contiguous pool<br>
- What happens if one drive dies? Do I lose everything?<br>
<br>
<br>
Individual drives<br>
------------------<br>
<br>
- I lose having a big contiguous pool for backups, which sucks. <br>
- Easy to add and remove drives, though<br>
<br>
<br>
<br>
In all cases I think I can serve up SMB 2/3 shares for inferior<br>
operating systems. Maybe I can do iSCSI something, but I do not know<br>
whether I should care about this. <br>
<br>
Are there other options I am missing or should consider?<br>
<br>
I presume (from talking to Lori) that ZFS is the thing I should lean<br>
towards for data integrity reasons, but I am open to people telling me<br>
that is overkill and I should use something else instead. It feels as<br>
if ZFS has the momentum in the storage filesystem wars, anyways (as<br>
compared to btrfs/xfs, or ReFS on Windows).<br>
<br>
A bunch of you are computer/storage geniuses. What do you do? What<br>
should I do?<br>
<br>
- Paul<br>
<br>
-- <br>
<a href="http://pnijjar.freeshell.org" rel="noreferrer" target="_blank">http://pnijjar.freeshell.org</a><br>
<a href="https://off-topic.kwlug.org/watcamp" rel="noreferrer" target="_blank">https://off-topic.kwlug.org/watcamp</a><br>
<br>
_______________________________________________<br>
kwlug-disc mailing list<br>
<a href="mailto:kwlug-disc@kwlug.org" target="_blank">kwlug-disc@kwlug.org</a><br>
<a href="http://kwlug.org/mailman/listinfo/kwlug-disc_kwlug.org" rel="noreferrer" target="_blank">http://kwlug.org/mailman/listinfo/kwlug-disc_kwlug.org</a><br>
</blockquote></div>