wiseguy
Goto Top

Festplatten "Geschwindgkeit" kommt nicht auf Touren

Hallo,

ich wundere mich, warum ich keine richtige Performance bei der Festplatten "Geschwindigkeit" erhalte. Warscheinlich fehlt mir hier irgendwie noch das erforderliche Verständnis fürs "Große Ganze":
Ich hab nen HP Smart Array P420 Raid Controller mit 2GB RAM (Cache ist aktiviert)
Meine Festplatten sind 2x 1TB SAS Platten (Diese hier:
http://h30094.www3.hp.com/product/sku/10238520/Mit freundlichen Grüßen_partno/507614-B21
)

Das ganze hab ich als RAID1 in den Standard Einstellungen konfiguriert:
  • Legacy-Datenträgergeometrie (C/H/S) 65535 / 255 / 32
  • Strip-Größe/Volle Stripe-Größe 256 KiB / 256 KiB

Ich hätte jetzt irgendwie wenigstens 200-300MB/s erwartet. Stattdessen bekomme ich traurige knapp 60MB/s
Kann mir jemand Tipps geben, wie ich die Geschwindigkeit gesteigert bekomme?

Content-ID: 265469

Url: https://administrator.de/contentid/265469

Ausgedruckt am: 22.11.2024 um 09:11 Uhr

wiesi200
wiesi200 06.03.2015 um 21:29:22 Uhr
Goto Top
Hallo,

wie sollte man sich 200-300MB/s erwarten können bei grad mal 2 7,2k Festplatten und das im Raid1?

Laut Datenblatt macht eine theoretisch grad mal 75MB/s jetzt kommt das aber auch noch darauf an wie du deine Werte ermittelst. Und Raid1 schreibt z.b. auch nicht schneller.

Das Problem ist hier nicht die Technik sondern deine Erwartung.
wiseguy
wiseguy 06.03.2015 um 22:01:00 Uhr
Goto Top
hmm... wo für sind dann die 6GB/s Schnittstellen?
Ich dachte, weil bei der Platte steht: "Maximum External Data Transfer Rate: 600 MBps (4.7 Gbps)"

Ja stimmt, das RAID1 bringt hier keine Performance. Ich habs nur erwähnt, weil abhängig der gewählten Konfiguration, mit der das RAID1 erstellt wurde, ja ggfls. Probleme auftreten könnten.

Wie gesagt; Hier fehlt mir absolut der Durchblick. Ich hatte mir ursprünglich zwei Samsung EVO 850 Pros geholt, aber durch die Problematik mit dem Trimm Befehl im Raid bin ich umgeschwenkt auf diese SAS Platten. SAS SSDs wollte ich mir wiederum nicht leisten.

Na gut, vielleicht überbewerte ich das auch; Ich möchte nur sichergehen, dass in der Hyper-V Umgebung mit 3-5 VMs (DC, Exchange, Fileserver, DB Server) für 5 Personen es nicht zu unnötigen Engpässen kommt. Die 60MB/s scheinen mir hier recht langsam.

Mit den SSD Platten komme ich auf Werte, die permanent zwischen ca. 20 und 130MB/s schwanken... Ich hatte die Trimm Problematik dafür verantwortlich gemacht... (Weiß aber nicht, ob ich hier evtl. auch auf dem Holzweg bin)

Die werte hab ich ermittelt, in dem ich auf dem Hyper-V Server (Server 2012 R2) nen entsprechenden Kopiervorgang angestoßen hab; Eine 10GB große Datei... da sieht man ja sehr schön, wie hoch die Übertragung ist...
wiesi200
wiesi200 06.03.2015 um 22:18:44 Uhr
Goto Top
Die 6GB/s Schnittstelle ist nur weil das momentan Standard ist.
600 MBps sind 600 Megabit pro Sekunde == 75MB/s
Dann noch etwas Overhead dazu und du bist bei deinen 60MB/s
Wobei die Messung mit einer 10GB Datei die kopiert wird doch sehr sinnlos ist.

Dann zu deinem Bedarf ein DB Server oder Exchange schieb nicht die großen Datenmengen hin und her. Da geht's dann mehr um IOPS.

Ein DC in der Größe wird wenig Leistung Brauchen. Und Fileserver gute Frage.
Es ist schwer zu sagen was du genau brauchst, dafür brauchte ich mehr Details.

Wenn du Leistungsprobleme hast sollte man den Resourcenmonitor mal ansehen aber noch mal deine Messmethode bringt dir nicht's.
wiseguy
wiseguy 06.03.2015 um 22:56:41 Uhr
Goto Top
Okay, danke für den Hinweis.

Wie kann ich denn die IOPS messen bzw. prüfen?
Geht das mit dem Ressourcenmonitor?

Ich hab hin und wieder mit der Leistungsüberwachung versucht Engpässe zu erkennen. Aber so richtig klare Aussagen hab ich dadurch noch nicht herausbekommen; Ich hatte immer vor Allem die Warteschlangen überwacht.
108012
108012 07.03.2015 um 01:16:53 Uhr
Goto Top
Hallo zusammen,

hmm... wo für sind dann die 6GB/s Schnittstellen?
Damit man weiß was man an diese stecken kann und was man rein "technisch"
erwarten kann! Es handelt sich hier um die Beschreibung eines Schnitstellenstandards
von SAS/SATA Festplatten egal ob HD oder SSD.

Ich dachte, weil bei der Platte steht: "Maximum External Data Transfer Rate: 600 MBps (4.7 Gbps)"
Richtig das ist die "technisch" machbare Geschwindigkeit!

Technisch 4.7 Gbps
Theoretisch 75 MBps
Real existent 60 MBps

Und so wie @wiesi200 es schon geschrieben hat, 60 MBps + Overhead ~ 75 MBps
sind doch recht realistisch, oder nicht. Was stehen Dir denn für Vergleichssysteme zur
Verfügung? Und wie kommst Du zu der Annahme von 200 - 300 MBps?
Gefühlt, geschätzt geraten, angenommen oder mit anderen Systemen verglichen?

Na gut, vielleicht überbewerte ich das auch;
Mein Tip ist wäre ja das System ist völlig unterdimensioniert und/oder zu schwach ist!
- zu langsame Platten
- zu wenige Platten
- zu wenig RAM (nicht am Controller)
- CPU zu schwach
- keine unterschiedlichen RAIDs angelegt
- keine extra Swap Bereich angelegt (Auslagerungsdateien)

Ich möchte nur sichergehen, dass in der Hyper-V Umgebung mit 3-5 VMs
3 - 5 VMs auf einem RAID1, ist das so richtig von mir verstanden worden?

(DC, Exchange, Fileserver, DB Server)
Das OS wäre auch mal nett zu wissen!

für 5 Personen es nicht zu unnötigen Engpässen kommt.
Man kann mit 5 Leuten alles lahm legen oder das System voll unterfordern,
es kommt darauf an was für eine Last von denen erzeugt wird.

Die 60MB/s scheinen mir hier recht langsam.
Mir auch und zwar dicke zu langsam.

RAID1 Zwei HDDs für das OS
RAID5 mit einer Hotspare für DC
RAID5 mit einer Hotspare für File Server
RAID5 mit einer Hotspare für DB Server und einem weiteren RAID für die DB Logs

Mus nicht zwingend so sein nur die IOPS werden geliefert, oder aber einfach den Fileserver
auf ein NAS auslagern und...
RAID1 für OS
RAID5 mit einer Hotspare für DC Server
RAID5 mit einer Hotspare was groß genug ist für DB Server

Eine 10GB große Datei... da sieht man ja sehr schön, wie hoch die Übertragung ist...
Wie oft schieben denn die Leute eine 10 Gb große Datei hin und her?
Sind das nicht eher kleine Dateien die hin und her geschoben werden?
Welche Auslagerungsdateien sind denn alles vorhanden und wie groß sind die denn!?

Mit den SSD Platten komme ich auf Werte, die permanent zwischen ca. 20 und
130MB/s schwanken...
und warum schwankt das wohl so sehr?

Ich hatte die Trimm Problematik dafür verantwortlich gemacht
Kann der Controller denn auch TRIMM Befehle?


Gruß
Dobby
aqui
aqui 07.03.2015 aktualisiert um 09:16:38 Uhr
Goto Top
Dein geposteter Link oben ergibt einen "Sorry, we cant find the page..." Error face-sad
Kein Wunder auch wenn da Mit freundlichen Grüßen noch hintersteht.
Komisch sowas fällt einem doch auch auf wenn man das auf die Allgemeinheit in einem Forum loslässt.
Lochkartenstanzer
Lochkartenstanzer 07.03.2015 um 09:41:04 Uhr
Goto Top
Zitat von @wiseguy:

Meine Festplatten sind 2x 1TB SAS Platten (Diese hier: http://h30094.www3.hp.com/product/sku/10238520/Mit freundlichen
Grüßen_partno/507614-B21)

Du solltest die Editierfuktion nutzen und die freundlicehn Grüße an das Ende Deines Posts schreiben, statt mitten in den Link.

Anonsten haben die Kollegen ja schon genügend dargetan, daß Deine Platten maximal 75MB/S (=600Mbps) könnten und Du mit 60MBps gut bedient bist.

Und RAID1 vergrößert die Geschwindigkeit nicht perse. Beim Schreiben wird die Geschwindigkeit halbiert, weil zwei Platten geschrieben werden müssen. Beim lesen kann sie verdoppelt werden, wenn genügend Threads gleichzeitig drauf zugreifen.


Kann mir jemand Tipps geben, wie ich die Geschwindigkeit gesteigert bekomme?

Wenn Du 300 MB/s haben willst, mußt Du also entweder SSDs nehmen, die das können oder genügend Platten im RAID0-Verbund nehmen. RAID0 ist aber nurn etwas, was Geschwindgkeit wichtiger als Ausfallsicherheit ist.

Also: Stelle erst fest, ob Du wirklich Geschwindigkeit oder IOPS brauchst. dafür ist es wichtig zu wissen, welche Anwendungen auf der Kiste laufen.

um sowohl MB/s als auch IOPS zu steigern wären SSDs angebracht.

lks
neueradmuser
neueradmuser 07.03.2015 um 18:40:49 Uhr
Goto Top
dumme frage am Rande...
macht es technisch/ benchmarkmäßig wirklich einen großen unterschied ob ich 1 großes Raid (5TB) über ca.11 SAS Platten im Controller (LSI) definiere oder meinetwegen 5xRaid5 a 1TB ?!

habe das noch nie verglichen... die 5 Raids werden dann logischerweise auf jeweils weniger platten verteilt anstatt über alle 11 Platten ?!
kurz gedanklich überflogen könnte es sinn machen da die raids unabhängig arbeiten können...

1.anwendungsfall wäre ein Hyper-V Host. Das System liegt auf einem seperaten Raid1. auf dem Raid5 laufen 3 Server (Exchange/DC/und ein dritter)
2.anwendungsfall wäre ein DC+fileshares ... System auf Raid1, Daten mit zig freigaben auf Raid5...
--> da könnte man ja dann theoretisch die Performance erhöhen indem man die freigaben über die 5xRaid5 verteilt

müßte ich Montag mal durchrechnen...
wiseguy
wiseguy 07.03.2015 aktualisiert um 19:00:16 Uhr
Goto Top
Ich kanns nicht ändern und weiß auch nicht woher das kommt. Das steht immer erst da, wenn ich das Editieren beende. Ich nehme an, das Board macht aus "em ef ge" immer "Mit freundlichen Grüßen"
neueradmuser
neueradmuser 07.03.2015 aktualisiert um 19:03:19 Uhr
Goto Top
test
Mit freundlichen Grüßen

edit: jo... tut es face-wink ... wie dämlich
aqui
aqui 07.03.2015 um 19:40:27 Uhr
Goto Top
Ich kanns nicht ändern und weiß auch nicht woher das kommt.
Dann benutze doch bitte die code Tags !! Dann wird es auch richtig dargestellt !
Formatierungen in den Beiträgen
wiseguy
wiseguy 07.03.2015 aktualisiert um 22:52:42 Uhr
Goto Top
geht nicht mal dann :o / Ist auch egal, alle wissen jetzt, was hier gemeint ist. Aus meiner Sicht ist das eher als Bug als als Feature einzustufen.
Und was diese Vermutung noch bestärkt ist die Tatsache, dass es in der Vorschau noch nicht verändert wird: Die schau ich mir nämlich in der Regel vor dem versenden noch an. Leider fehlt die Funktion aber beim Kommentieren/Antworten...
wiseguy
wiseguy 07.03.2015 um 23:51:25 Uhr
Goto Top
So aber zurück zum Problem: Danke erstmal für die Zahlreichen Antworten.

Zunächst mal: Das System ist noch nicht wirklich im Einsatz sondern in einer Testphase. Gedacht ist es für ein kleines Unternehmen mit 5 Mitarbeitern.
Die Anforderungen sind:
  • DC für besagte 5 Personen (Vielleicht sollten aber auch 10 Personen noch ohne Probleme gehandelt werden können... mehr werden definitiv auch in den nächsten Jahren nicht gebraucht)
  • Exchange für die selbe Anzahl an Postfächern + Öffentliche Ordner in denen die Mails abgelegt werden. Die Größe des öffentlichen Ordners des bisherigen SBS 2003 beträgt ca. 30-40GB
  • Fileserver für ca. 500GB (Das entspricht der derzeit angedachten Obergrenze; Aktuell sind es knapp 200GB) an Daten. Die Art der Dateien sind alles mögliche - größtenteils Word, Excel und PDF Dokumente sowie Bilder - Es wird von ca. max. 3 Leuten zeitgleich genutzt (Büro Tätigkeiten halt). Der Rest nutzt das nur sehr sporadisch, wenn überhaupt.
  • Es soll ein dedizierter Server für eine Lexware Datenbank gehostet werden; Das Lexware wird von einer Person permanent verwendet. Die anderen wollen aber ggfls. Abfragen darüber nutzen. Ich würde gern einplanen, dass ein Arbeiten von 3 Personen zeitgleich damit gut möglich ist. Hier habe ich die meisten bedenken. Ausprobiert hab ich das aber bisher noch nicht.

Zitat von @Lochkartenstanzer:
Also: Stelle erst fest, ob Du wirklich Geschwindigkeit oder IOPS brauchst. dafür ist es wichtig zu wissen, welche Anwendungen
auf der Kiste laufen.

Je mehr ich darüber nachdenke, werden es wohl eher die IOPS sein, die die Performance in meinem Fall hauptsächlich beeinflussen werden. Seid ihr da nach meiner Beschreibung meiner Meinung?

Wie kann ich diese denn konkret messen / Sichtbar machen.
Es wäre gut, wenn ich hier Aussagen treffen könnte, bevor das System in den tatsächlichen Einsatz geht.
Evtl. erhalte ich ja von Lexware sogar angaben, was hier so für meinen Einsatz empfohlen wäre.

Zitat von @108012:
Zitat von @wiseguy:
Ich dachte, weil bei der Platte steht: "Maximum External Data Transfer Rate: 600 MBps (4.7 Gbps)"
Richtig das ist die "technisch" machbare Geschwindigkeit!

Technisch 4.7 Gbps
Theoretisch 75 MBps
Real existent 60 MBps

Und so wie @wiesi200 es schon geschrieben hat, 60 MBps + Overhead ~ 75 MBps
sind doch recht realistisch, oder nicht.

Gut, danke - das hab ich jetzt verstanden ;)

Zitat von @108012:
Was stehen Dir denn für Vergleichssysteme zur
Verfügung? Und wie kommst Du zu der Annahme von 200 - 300 MBps?
Gefühlt, geschätzt geraten, angenommen oder mit anderen Systemen verglichen?

Ich hatte das aufgrund der 6Gbit/s angenommen. Wobei ich mich da sogar noch verrechnet hatte; Hatte nur 3 verrechnet und dann ein bissl was abgezogen.
Aber hab jetzt schon verstanden, dass es hierbei nur um den BUS geht und das Gerät dahinter (Platte, RAID Verbund, etc.) das dann auch mitmachen müsste. In meiner aktuellen Konfiguration hätte ich dann wohl keinen Unterschied, ob nun 1.5, 3 oder 6 GBit/s vom Raid Controller bzw. der Platte unterstützt wird.

Folglich müsste ich RAID10 verwenden um hier die Bandbreite vermutlich zu verdoppeln - also auf 100-120MB/s zu kommen... Das wäre machbar.
Da ich aktuell nur 4 Schächte Platz hab, ist ein zusätzliches RAID5 nicht mehr drinn. Maximal könnte ich auf 8 bzw. 10 Schächte aufrüsten (aber das würde in diesem Fall eh viel zu teuer werden; da könnte ich dann billiger ganz auf zwei bzw. 4 SSD SAS wechseln - was ich aber aufgrund des immens hohen Preises gern vermeiden würde...)

Okay, widme ich mich mal der Betrachtung der IOPS; Kann ich davon ausgehen, dass die SAS Platten hier deutlich besser abschneiden, als zum Beispiel diese hier: http://www.bitoso.de/festplatten/toshiba-md04aca400.html
Diese hab ich in meiner Spielwiese in einem RAID5 verbaut; zum Spielen reichts, aber da hab ich immer wieder das Gefühl, dass die VMs hier zu langsam sind; Der Raid Controller ist der gleiche, allerdings ist RAID5 natürlich noch mal was ganz anderes, von daher vergleiche ich hier Äpfel mit Birnen... Mein Gedanke ging jetzt beim Testsystem für den geplanten Einsatz daher zu den SAS Platten, zumal die auch eher zuverlässig als Serverplatten geeignet sind. Ich mache mir auch wegen des DCs, Fileserver und sogar wegen dem Exchange kaum Sorgen. (Denn das läuft sogar einigermaßen auf besagter Spielwiese). Aber bzgl. des dedizierten Lexware Servers hab ich Bedenken und deshalb hab ich die ganze Anfrage überhaupt erst gestartet.
108012
108012 08.03.2015 um 00:25:55 Uhr
Goto Top
Je mehr ich darüber nachdenke, werden es wohl eher die IOPS sein,
die die Performance in meinem Fall hauptsächlich beeinflussen werden.
Zuviel Schreiben auf zu wenig Platz und zu langsamen Platten.

Seid ihr da nach meiner Beschreibung meiner Meinung?
Nicht ganz.

Also einen gebrauchten Server bekommt man auch für um
die ~500 €, aber man kann Ihn schnell aufrüsten und dann
auch mit eine m zweiten RAID Controller versehen.

Und das OS (Hyper-V) kann auf zwei SATA 6G HDDs wie den
WD Caviar black im RAID1 das sollte reichen.

Und mit SAS HDDs die schnell drehen und davon auch noch genug
und ein RAID5 mit 6 SAS 10k HDD zu 600 GB plus eine HDD HotSpare sollten den Rahmen nicht sprengen.

Alternativ kann man auch OCZ Talos C 3,5" SSD 960 GB SSDs
arbeiten nur die Kosten sind jenseits von dem was Du bezahlen möchtest!!!!

1 DC
1 Mailserver
1 Fileserver
1 DB Server

Ergo denke ich das Du kein Geld hast und doch alles laufen soll
und das passt eben im geschäftlichen Umfeld nicht ganz.

Man muss schon ein wenig Geld in die Hand nehmen, und das mit
den 5 bis 10 Leuten ist sekundär und nicht weiter zu beachten, denn
die IOPS müssen geliefert werden und auch die Performance muss
stimmen, egal ob nun 5 oder 500 Leute damit arbeiten.

Gruß
Dobby
Axel90
Axel90 08.03.2015 um 16:39:17 Uhr
Goto Top
Zitat von @wiesi200:

Die 6GB/s Schnittstelle ist nur weil das momentan Standard ist.
600 MBps sind 600 Megabit pro Sekunde == 75MB/s
Dann noch etwas Overhead dazu und du bist bei deinen 60MB/s
Wobei die Messung mit einer 10GB Datei die kopiert wird doch sehr sinnlos ist.


Falsch.

SATA III hat eine Datenübertragungsrate von 6Gbit/s, das entspricht nach der 8b10b Codierung 600 Megabyte pro Sekunde.

(und nicht 75MB/s)

Das Problem dabei ist, dass normale HDDs aufgrund der Mechanik maximal nur 100MB/s schaffen. (oder wie in deinem Fall nur 75MB/s) und diesen Standard also überhaupt nicht ausreizen.

SSDs hingegen kommen den 600 MB/s sehr nahe.

VG
wiesi200
wiesi200 08.03.2015 um 17:00:03 Uhr
Goto Top
Zitat von @Axel90:

> Zitat von @wiesi200:
>
> Die 6GB/s Schnittstelle ist nur weil das momentan Standard ist.
> 600 MBps sind 600 Megabit pro Sekunde == 75MB/s
> Dann noch etwas Overhead dazu und du bist bei deinen 60MB/s
> Wobei die Messung mit einer 10GB Datei die kopiert wird doch sehr sinnlos ist.
>

Falsch.

Nö, es richtig wenn man sich die Mühe machen würde den kpl. Kontext durchzulesen und sich auch mal die Einheiten genau ansehen würde. Was du dir anscheinend nicht gemacht hast.

Die 600 Mbps sind nicht Megabyte sondern Megabit. Und das ist genau das was HP als Datenübertragungsrate angibt in seinem Datenblatt und das sind umgerechnet 75 MB/s
108012
108012 08.03.2015 um 17:29:19 Uhr
Goto Top
Falsch.
Hm, ich denke nicht.

SATA III hat eine Datenübertragungsrate von 6Gbit/s,


das entspricht nach der 8b10b Codierung 600 Megabyte pro Sekunde.
???

(und nicht 75MB/s)
Also ich kenne das so herum das man zwischen drei unterschiedlichen
Geschwindigkeiten unterscheidet.
- Technisch machbar (Schnittstelle/Standard) = 6 GBit/s
- Daraus resultierend theoretisch machbar (meist Laborwerte) = 300 MBit/s
- Und das was real existent (in der Praxis) geliefert wird = 75 MB/s

Das Problem dabei ist, dass normale HDDs aufgrund der
Mechanik maximal nur 100MB/s schaffen. (
Wenn ich 16 oder 24 WD Red mit 7200 UPM zu einem RAID10/50/60
zusammen schließe und einen ordentlichen Controller zur Verfügung
habe werden auch diese HDDs mehr als 100 MB/s liefern, zwar nicht
gleichmäßig und konstand und auch noch lange nicht bei 10 GB Dateien
und/oder vielen kleinen Dateien, sowie die Anzahl der Zugriffe und die Art
und Weise der Zugriffe auch noch einmal eine Rolle spielen dürfen, ebenso
wie die Netzwerkanbindung lokal vor Ort.

oder wie in deinem Fall nur 75MB/s) und diesen Standard also
überhaupt nicht ausreizen.
Das halte ich für ein Gerücht, denn wenn man auf ein RAID1 ein OS mit
Auslagerungsdatei hat, eine DB und auch die Chunks von der DB auf das
RAID1 geschrieben werden müssen wird es eben nicht schneller und da
sind ja auch noch der Fileserver und ein DC mit drauf also was soll es
denn nun, diese HDDs WD Red sind für NAS Systeme über 5 HDDs
angegeben worden von WD und auch diese Bedingung wird hier nicht erfüllt.

SSDs hingegen kommen den 600 MB/s sehr nahe.
Na Klar kann man alles mit SSDs lösen, wir betreiben 8 x 3,5 OCZ Talos
960 GB in einem La Cie 8 Bay Thunderbolt2 NAS und damit gibt es keine
Probleme nur da arbeiten auch nur 2 Mitarbeiter drauf.

Ein SAS RAID Controller und genügend SAS HDDs mit 10k/15k lösen
das Problem im Handumdrehen auch ohne SSDs und/oder SSDs als
Cache.

Soll nicht gelästert sein, stellt aber meine Meinung zu der Sache dar.


Gruß
Dobby
Axel90
Axel90 08.03.2015 aktualisiert um 18:19:27 Uhr
Goto Top
http://de.wikipedia.org/wiki/8b10b-Code
http://www.elektronik-kompendium.de/sites/com/1407061.htm

Mir ging es nur darum, die falschen Aussagen zur SATA 3 Schnittstelle richtig zu stellen, mehr nicht.

VG
ultiman
ultiman 04.04.2015 um 00:02:48 Uhr
Goto Top
Hallo,wiseguy
ich habe hier ähnliches durcheinander mit den performance Werten am P420 (2G) am DL380G8
unter ESXI in der VM im Raid6 Entp.SSDs - langsam
Read 330MB/s Write 406MB/s
unter ESXI in der VM im Raid6 SAS - fast schneller als SSDs
Read 216MB/s Write 411MB/s
unter Hyper-V im Raid 6 und Kingston SSD Modell E50 - rennt es
Read 855MB/s Write 521MB/s
also
könnte am Treiber liegen oder .... ich weis es nicht..
hat jemand Lust auf Vergleichsmessungen mit Crystaldisk oder ähnlichem ?

gruss
ulti