Низька продуктивність IO - PCIe NVMe Samsung 950 pro

Щойно я закінчив побудову обладнання, очікуючи великого прибутку від нового накопичувача NVMe. Моя попередня продуктивність була нижчою, ніж очікувалося (передано ~ 3 Гб), тому я замінив материнську плату / процесор / пам'ять / hdd. Хоча продуктивність удвічі більша, ніж вона була , це все-таки половина того, що я отримую на своєму 3-річному macbook pro з приводом SATA6.

• Процесор: i7-5820k 6core
• Mobo: MSI X99A MPOWER
• Пам'ять: 32 Гб
• Привід: Samsung 950 pro NVMe PCIe

Ubuntu (також підтверджено 16.04.1 LTS):

Release:    15.10
Codename:   wily

4.2.0-16-generic

$ sudo blkid
[sudo] password for kross: 
/dev/nvme0n1p4: UUID="2997749f-1895-4581-abd3-6ccac79d4575" TYPE="swap"
/dev/nvme0n1p1: LABEL="SYSTEM" UUID="C221-7CA5" TYPE="vfat"
/dev/nvme0n1p3: UUID="c7dc0813-3d18-421c-9c91-25ce21892b9d" TYPE="ext4"

Ось мої результати тесту:

sysbench --test=fileio --file-total-size=128G prepare
sysbench --test=fileio --file-total-size=128G --file-test-mode=rndrw --max-time=300 --max-requests=0 run
sysbench --test=fileio --file-total-size=128G cleanup


Operations performed:  228000 Read, 152000 Write, 486274 Other = 866274 Total
Read 3.479Gb  Written 2.3193Gb  Total transferred 5.7983Gb  (19.791Mb/sec)
 1266.65 Requests/sec executed

Test execution summary:
    total time:                          300.0037s
    total number of events:              380000
    total time taken by event execution: 23.6549
    per-request statistics:
         min:                                  0.01ms
         avg:                                  0.06ms
         max:                                  4.29ms
         approx.  95 percentile:               0.13ms

Threads fairness:
    events (avg/stddev):           380000.0000/0.00
    execution time (avg/stddev):   23.6549/0.00

Планувальник встановлений на none:

# cat /sys/block/nvme0n1/queue/scheduler
none

Ось lspciінформація:

# lspci -vv -s 02:00.0
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a802 (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Samsung Electronics Co Ltd Device a801
    Physical Slot: 2-1
    Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 32 bytes
    Interrupt: pin A routed to IRQ 45
    Region 0: Memory at fb610000 (64-bit, non-prefetchable) [size=16K]
    Region 2: I/O ports at e000 [size=256]
    Expansion ROM at fb600000 [disabled] [size=64K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
    Capabilities: [50] MSI: Enable- Count=1/8 Maskable- 64bit+
        Address: 0000000000000000  Data: 0000
    Capabilities: [70] Express (v2) Endpoint, MSI 00
        DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
            ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
        DevCtl: Report errors: Correctable- Non-Fatal- Fatal- Unsupported-
            RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
            MaxPayload 128 bytes, MaxReadReq 512 bytes
        DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr+ TransPend-
        LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s <4us, L1 <64us
            ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Not Supported, TimeoutDis+, LTR+, OBFF Not Supported
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-, LTR-, OBFF Disabled
        LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
             Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
             Compliance De-emphasis: -6dB
        LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+, EqualizationPhase1+
             EqualizationPhase2+, EqualizationPhase3+, LinkEqualizationRequest-
    Capabilities: [b0] MSI-X: Enable+ Count=9 Masked-
        Vector table: BAR=0 offset=00003000
        PBA: BAR=0 offset=00002000
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        AERCap: First Error Pointer: 00, GenCap+ CGenEn- ChkCap+ ChkEn-
    Capabilities: [148 v1] Device Serial Number 00-00-00-00-00-00-00-00
    Capabilities: [158 v1] Power Budgeting <?>
    Capabilities: [168 v1] #19
    Capabilities: [188 v1] Latency Tolerance Reporting
        Max snoop latency: 0ns
        Max no snoop latency: 0ns
    Capabilities: [190 v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
              PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
    Kernel driver in use: nvme

hdparm:

$ sudo hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   2328 MB in  2.00 seconds = 1163.98 MB/sec
 Timing O_DIRECT disk reads: 5250 MB in  3.00 seconds = 1749.28 MB/sec

hdparm -v:

 sudo hdparm -v /dev/nvme0n1

/dev/nvme0n1:
SG_IO: questionable sense data, results may be incorrect
 multcount     =  0 (off)
 readonly      =  0 (off)
 readahead     = 256 (on)
 geometry      = 488386/64/32, sectors = 1000215216, start = 0

fstab

UUID=453cf71b-38ca-49a7-90ba-1aaa858f4806 /               ext4    noatime,nodiratime,errors=remount-ro 0       1
# /boot/efi was on /dev/sda1 during installation
#UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1
# swap was on /dev/sda4 during installation
UUID=8f716653-e696-44b1-8510-28a1c53f0e8d none            swap    sw              0       0
UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1

фіо

Це має деякі порівнянні орієнтири, це далеко. Коли я тестував фіо та інвалідів sync, це вже інша історія:

sync=1
1 job  - write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
7 jobs - write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec

sync=0
1 job  - write: io=8157.9MB, bw=139225KB/s, iops=34806, runt= 60001msec
7 jobs - write: io=32668MB, bw=557496KB/s, iops=139373, runt= 60004msec

Ось повний syncрезультат для однієї роботи та 7 робочих місць:

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.1.11
Starting 1 process
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/2368KB/0KB /s] [0/592/0 iops] [eta 00m:00s]
journal-test: (groupid=0, jobs=1): err= 0: pid=18009: Wed Nov 18 18:14:03 2015
  write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
    clat (usec): min=1442, max=12836, avg=1643.09, stdev=546.22
     lat (usec): min=1442, max=12836, avg=1643.67, stdev=546.23
    clat percentiles (usec):
     |  1.00th=[ 1480],  5.00th=[ 1496], 10.00th=[ 1512], 20.00th=[ 1528],
     | 30.00th=[ 1576], 40.00th=[ 1592], 50.00th=[ 1608], 60.00th=[ 1608],
     | 70.00th=[ 1608], 80.00th=[ 1624], 90.00th=[ 1640], 95.00th=[ 1672],
     | 99.00th=[ 2192], 99.50th=[ 6944], 99.90th=[ 7328], 99.95th=[ 7328],
     | 99.99th=[ 7520]
    bw (KB  /s): min= 2272, max= 2528, per=100.00%, avg=2430.76, stdev=61.45
    lat (msec) : 2=98.44%, 4=0.58%, 10=0.98%, 20=0.01%
  cpu          : usr=0.39%, sys=3.11%, ctx=109285, majf=0, minf=8
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=36428/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=145712KB, aggrb=2428KB/s, minb=2428KB/s, maxb=2428KB/s, mint=60002msec, maxt=60002msec

Disk stats (read/write):
  nvme0n1: ios=69/72775, merge=0/0, ticks=0/57772, in_queue=57744, util=96.25%

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=7 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
...
fio-2.1.11
Starting 7 processes
Jobs: 6 (f=6): [W(2),_(1),W(4)] [50.4% done] [0KB/4164KB/0KB /s] [0/1041/0 iops] [eta 01m:00s]
journal-test: (groupid=0, jobs=7): err= 0: pid=18025: Wed Nov 18 18:15:10 2015
  write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec
    clat (usec): min=0, max=107499, avg=6828.48, stdev=3056.21
     lat (usec): min=0, max=107499, avg=6829.10, stdev=3056.16
    clat percentiles (usec):
     |  1.00th=[    0],  5.00th=[ 2992], 10.00th=[ 4512], 20.00th=[ 4704],
     | 30.00th=[ 5088], 40.00th=[ 6176], 50.00th=[ 6304], 60.00th=[ 7520],
     | 70.00th=[ 7776], 80.00th=[ 9024], 90.00th=[10048], 95.00th=[12480],
     | 99.00th=[15936], 99.50th=[18048], 99.90th=[22400], 99.95th=[23936],
     | 99.99th=[27008]
    bw (KB  /s): min=  495, max=  675, per=14.29%, avg=585.60, stdev=28.07
    lat (usec) : 2=4.41%
    lat (msec) : 2=0.57%, 4=4.54%, 10=80.32%, 20=9.92%, 50=0.24%
    lat (msec) : 250=0.01%
  cpu          : usr=0.14%, sys=0.72%, ctx=173735, majf=0, minf=63
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=61472/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=245888KB, aggrb=4097KB/s, minb=4097KB/s, maxb=4097KB/s, mint=60005msec, maxt=60005msec

Disk stats (read/write):
  nvme0n1: ios=21/122801, merge=0/0, ticks=0/414660, in_queue=414736, util=99.90%

Вирівнювання

Я перевірив вирівнювання parted, а також математику на основі http://www.intel.com/content/dam/www/public/us/en/documents/technology-briefs/ssd-partition-alignment-tech -brief.pdf

kross@camacho:~$ sudo parted
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) unit s                                                           
(parted) print all                                                        
Model: Unknown (unknown)
Disk /dev/nvme0n1: 1000215216s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start       End          Size        File system     Name                                 Flags
 1      2048s       206847s      204800s     fat32           EFI system partition                 boot, esp
 2      206848s     486957055s   486750208s  ntfs                                                 msftdata
 3      486957056s  487878655s   921600s     ntfs                                                 hidden, diag
 4      590608384s  966787071s   376178688s  ext4
 5      966787072s  1000214527s  33427456s   linux-swap(v1)

kross@camacho:~$ sudo parted /dev/nvme0n1
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) align-check opt 1                                                
1 aligned
(parted) align-check opt 2
2 aligned
(parted) align-check opt 3
3 aligned
(parted) align-check opt 4
4 aligned
(parted) align-check opt 5
5 aligned

TLDR;

Я відчуваю, що у мене щось невірно встановлено неправильно, хоча моє дослідження нічого не виявило. Я очікую пропускну здатність ~ 4 рази на 3-річну стару книгу macbook pro w / SATA6, і я отримую 1/2 її з NVMe. Я додав, noatime,nodiratimeщо дало мені дуже невелике поліпшення, але нічого подібного на 4x я не очікував. Я перерозподілив / перевстановив свіжий сервер 15.10, щоб бути впевненим, що у мене нічого не було затримано, і мав ті самі результати.

Чи є мої fioрезультати вище синхронізації / відсутність синхронізації, що свідчать про проблему?

Тож у мене чистий шифер і я можу спробувати все, що завгодно. Що я можу спробувати вирівняти свою ефективність на рівні? Будь-які посилання вітаються.

Дякую за запитання, воно мені було неймовірно корисно.

У мене дуже схожий досвід, різні налаштування обладнання (я використовую SSD Intel NVMe). Але я також запускаю Ubuntu 16.04. З огляду на ваші докази та подібний результат, виявлений у цій статті, я переконався, що проблема полягала в тому, як Ubuntu налаштовував диски NVMe.

Я вирішив вирішити проблему, не відмовляючись повністю від Ubuntu. Але що б я не робив, я не зміг отримати швидкість вище 2000 Мб / с при тестуванні з hdparm точно так, як ви описали.

Отже, я здійснив копання та знайшов керівництво, надане Intel. Я спробував усе, що вони запропонували в цьому посібнику, і виявив, що одна частина відрізняється. Близько внизу він обговорює правильне вирівнювання розділів диска. Це та частина, яка не відповідала моїй установці. Мій стартовий блок не ділився на 4096 байт. Він використовував розмір сектору 512 байт замість розміру сектора 4 к.

Звичайно, я відформатував диск, щоб запустити розділ зі значенням, що ділиться на 4096, і НАЗАД, я змогла зламати швидкість 2000 Мб / с.

Зараз він у середньому становить 2,3 Гб / с, коли очікую, що він трохи вище. Я звинувачую це в тому, що при запуску sudo fdisk -lNVMe диск все ще відображається з фізичним розміром сектора 512 байт. Я планую продовжити розслідування, але сподіваюся, що це допоможе вам!

Обережно: ця відповідь стара. Станом на Linux 4.19 blk_mq є планувальником за замовчуванням . Найімовірніше, що проблема для вашого PCIe NVMe SSD з повільними стеблами утворюється в іншому місці.

Оригінальна відповідь:

Будь ласка, додайте

scsi_mod.use_blk_mq=1

до ваших параметрів завантаження ядра, інакше я не думаю, що ви побачите перевагу збільшеної черги команд NVMe та команди на чергу.

Примітка. Я знаю, що це для арки, але ви також можете ознайомитись з Вікі для отримання додаткової інформації про налаштування вводу-виводу.

Цій нитці один рік (жовтень 2016 р.). Один з найбільш високооцінених відповідей рекомендує драйвер Intel NVMe, якому виповнилося два роки (2015).

У лютому 2017 року, хоча Samsung випустила оновлення вбудованого програмного забезпечення, яке використовує завантажувальну установку ISO на базі Linux. На цьому ж посиланні є драйвери, які можна встановити для Windows 7/8/10. Невдовзі я встановлю як на свій новий Samsung 960 Pro, так і на новий ноутбук i7-6700 на базі Dell. Поряд із миготливим BIOS та оновленням інших драйверів на базі Dell.

Я думаю, що важливо переглянути ці старі теми та надати новим користувачам поточні (з 11 жовтня 2017 року в будь-якому разі) посилання, щоб у них були відкриті всі параметри.

Багато пошукових запитів Google повернуто для повільної продуктивності Samsung 960 Pro під Linux, що становить половину швидкості Windows, тому я закликаю всіх шукати якомога більше варіантів.

Після реалізації scsi_mod.use_blk_mq=1параметра ядра:

$ systemd-analyze
Startup finished in 7.052s (firmware) + 6.644s (loader) + 2.427s (kernel) + 8.440s (userspace) = 24.565s

Видалення параметра ядра та перезавантаження:

$ systemd-analyze
Startup finished in 7.060s (firmware) + 6.045s (loader) + 2.712s (kernel) + 8.168s (userspace) = 23.986s

Тому, здавалося б, це scsi_mod.use_blk_mq=1робить систему повільнішою, а не швидшою. Свого часу це, мабуть, вигідно.

Ось кілька цікавих відомостей: у Windows диск не працює відповідно до орієнтирів огляду, поки не буде вимкнено промивання кешу. Зазвичай це не робиться безпосередньо; натомість встановлено драйвер постачальника (у цьому випадку драйвер Samsung NVMe).

Якщо ви орієнтуєтеся з драйвером постачальника, а потім відключите промивання кешу в Windows, ви отримаєте однакові номери. Це навряд чи буде, якби постачальник не ігнорував промивання кешу.

У перекладі на Linux-land, це означає, що для Windows, щоб отримати великі показники, які ви бачите у всіх оглядах, вам потрібно відключити fsyncвсі засоби для надійності (ніякий fsync, а конкретніше, ніякий бар'єр для запису, означає, що потужність втрата в неправильний час може зламати всю ФС, залежно від впровадження - упорядковані записи створюють "неможливі" ситуації).

SSD-диски Samsung "в центрі обробки даних" оснащені конденсаторами, щоб забезпечити правильне промивання кешованих даних. Це не стосується їх споживчих приводів.

Я щойно розробив це на перших принципах, додавши NVTe 1 Тб до моєї нової збірки вчора. Я не особливо радий, і я ініціював контакт із службою підтримки Samsung, щоб побачити, що вони говорять, - але я сумніваюся, що почую.

Я поки не можу коментувати, тому мушу відповісти. :-(

У мене немає порівняльного приводу, але я б здогадався, що значення hdparm в порядку. Якщо так, я б припустив, що ви просто використовуєте sysbench в неоптимальний спосіб. Спробуйте експериментувати з параметром --num-thread, щоб створити більше навантаження на накопичувач. Принаймні, на моєму комп’ютері різниця між 1 потоком (за замовчуванням) та 16 потоками становила приблизно 1: 4 на стандартному SATA SSD. Я розумію, що накопичувачі NVMe починають світити тим більше паралельних завдань, які на них навантажують.

Більшість SSD-дисків падають на обличчя, якщо синхронізувати = 1 (D_SYNC) прапор. На жаль, це відомий випуск журналів Ceph. Див. Цю сторінку для отримання додаткової інформації та списку дисків, які добре працюють із синхронізацією:

http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/

Мій слот M.2 був обмежений на 10 Мбіт / с. Я використовував адаптер PCIe, щоб подолати це обмеження: https://www.amazon.com/Lycom-DT-120-M-2-PCIe-to-PCIe-3-0-x4-Adapter-Support-M-2 -PCIe-2280-2260-2242 / dp / B00MYCQP38 /

Ваша материнська плата говорить, що це повні 32 Мбіт / с в обох напрямках, і, можливо, це правда, але я подумав, що згадаю про адаптер, оскільки він працював на мене (у мене приблизно вдвічі швидкість підключення до бортового гнізда M.2). Я думаю, що це було 25 доларів, і якщо ви витратили достатньо часу на обман, вже це варто спробувати.

Про свій досвід я писав у своєму огляді Amazon: https://www.amazon.com/gp/customer-reviews/R21BXILGXW4D9C/ref=cm_cr_arp_d_rvw_ttl?ie=UTF8&ASIN=B01639694M