Entwicklungsserver im Eigenbau

Das mit den 10Euro servern ist pervers. Die Preise für ein paar Monate kann man vergessen die Ausstattung ist katastrophal. Jetzt mal ehrlich 10Euro pro Monat. Wieviel Server mietet man sich dort, zu welchen Konditionen? Wieviel Server brauchst du denn für insgesammt 48 HT Kerne und 512GB / 4TB Speicher? Ich habs mal durchgerechnet... willste nicht wissen. Das ganze Mal 10 sag ich da nur mal so.

[GebrauchtServer]
Eigentlich auch keine schlechte Idee. Ich schau mir das mal an. Vielleicht sehe ich ja die verbauten Komponenten.

Wenn man die Serverkonfig sieht, dann hat man mehr oder minder die Idee das beide zusammen funktionieren.

Danke für den Link. Aber leider kein 19" einschub + Stromversorgung dabei. Ich wunder mich auch, warum so wenig HE-Anleitungen zeigen.

Hallo Walker,

danke für dein Kommentar. Danke dass du mein Projekt als tolles Projekt erkannt hast, tut nicht jeder, ist aber auch egal.

Ich hab bei einen meiner letzten Einsätze einen SAN kennen gelernt, der hat richtig viel Speicher (HDDs mit ein paar SSDs), war richtig teuer (ein paar Millionen) und als ich den Transfer gesehen habe bei 192MB/sec spitze (das ganze Ding nicht nur der eine Nutzer), sagte der Admin nur beschämt, sags keinem. Dabei ist das noch richtig gut. Neulich hat mir jemand erzählt, dass bei denen 40MB/sec bzw. 35MB/sec schon toll ist und es im Dauerbetrieb noch weiter abwärts geht.

Wenn man dann schaut, dass diese Selbstbauidioten dann einfach ein paar idiotische Selbstbauserver zusammenfriemeln und dabei dann auch noch Gigabytes pro Sekunde erreichen, redundant und mit allem drum und dran, dann muss man wirklich diese Idioten beim Namen nennen. Schlimm das ganze. Und dann machen die auch noch Firmen und veröffentlichen ihre idiotische Software auch noch auf Open Source aber Gott sei Dank springen die cleveren und klugen Manager nicht auf diesen Zug auf.

Wie sagte es der Admin, jedenfalls weiss ich, die werden mich noch einige Zeit brauchen.

Ist das nicht immer so. Ich hab alle Optionen durchgerechnet. Wenn man nun einkalkuliert, dass von 10 bis 20 Servern auch mal 2 bis 4 stillstehen können und jeder tote Server pro Woche ca 65 Euro an totem Kapital aufzehrt, kann man nur sagen wen interessieren die paar Euros. Jedenfalls besser als Techniker und Meister Techniker, die erstmal Kaffee trinken und für einen einfachen Speicherriegelwechsel eine Stunde abrechnen - ich habs selbst erlebt.

Das mit OEM vs Retail ist natürlich korrekt, aber man kommt immer noch günstiger weg. Und das wichtigste ist es ja gerade als Entwickler seine Server zu kennen. Man kann ganz anders denken, wenn man weiss da stecken keine dummheiten drin.

Momentan würde ich gerne das 'Supermicro 825TQ-R720UB 2HE' mit einem 'Supermicro X10DAi' verbauen. Ich bin noch nicht fertig mit überprüfen, ob dies überhaupt so funktionieren kann. Auch habe ich die Crucial SSDs für einen Server gegen zwei Intel 3500 800GB SSDs ausgetauscht. Ich denke die Crucials werden für den Blobstore und die Images genutzt, da ersterer nur das Recovery beschleunigt und zweitens die Images vom CDN ausgeliefert werden. Daher würde ich die Consumer SSDs für HDD Ersatz nehmen und für die Cassandra Datenbank die Intels.

Da es sich um Entwicklermaschienen und Alpaversionsserver handelt, ist es nicht schlimm, wenn ich fehler mache. Man lernt und in einem halben Jahr wenn ich 10+ solcher Server gebaut und betrieben habe, dann denke ich weiss ich was ich tue. Ausserdem sieht es so auss, als ob ich doch noch ein paar Monate nach Zürich muss, dann nehme ich die Dinger einfach mit und stell sie dort in ein Rechenzentrum, dann bin ich vor Ort, wenn etwas sein sollte.

Wenn ich die 10 Server bestelle, geht es immerhin um ca. 100k. Da denke ich kann man schon etwas näher an OEM Preise kommen, zumal man nochmal 10 Server bestellen könnte, wenn das Projekt gut läuft. Und diese Server haben auch bessere CPUs.


Falls du und deine Arbeitskollegen mir bei der Komponentenauswahl helfen könnt oder ihr etwas anderes Empfehlen würdet, sagt mir bitte bescheid.

HDDs sind zu problematisch. Um diese richtig und effizient anzusprechen, ist einiges mehr an Aufwand nötig. SSDs sind ebenso zu preiswert. Für 340 Euro bekommt man einen TB bzw. 1000 Euro einen TB Server SSDs. Da wäre der Softwareentwickler zu teuer. Ich schätze ich würde zwei bis sechs Wochen zusätzlich benötigen. Dafür gehe ich lieber Arbeiten und kaufe mir zwei neue Server .


Nicht bei einer Entwicklerkiste. Ich will verlässliche Zahlen. Eine CPU die den Turbo einlegt, liefert unterschiedliche Messwerte besonders im Vergleich zwischen einem und mehreren Cores und mit und ohne Turbo und Turbo ist von Zeit und Auslastung sowie teilweise von der Temperatur abhängig (zumindest war es mal so, ich weiss nicht wie es heute bei den neuen CPUs (v3) aussieht).


Kein Raid. Raid ist langsam und Raid ist Verschwendung, es sei den man hat eine SQL maschine, da diese nicht gut skalieren.



Da hast du natürlich Recht. Wie gesagt, kenne ich das System sehr gut, da ich es entwickelt habe. Ich teste zur Zeit auf einem T410 und das ist schon sehr schnell. Daher ist CPU power nicht entscheidend, aber der Speicher ist es. Je mehr Speicher, deso weniger Server.



Hatte ich mal geschaut aber nichts brauchbares gefunden, auf deine Anregung hin (Danke dafür) habe ich mich erstmal für ein Supermicro 825TQ-R720UB entschieden. Ich muss aber noch prüfen, ob es mit dem Supermicro Mainboard zusammen passt.


Steht auf der Liste, werde ich prüfen. Danke für die Anregung.

Klar 50 Euro im Monat. 32GB und wieviel 4 cores? Dazu dann 320 GB SSD? Natürlich sind die 4 cores auch nur HT-threads und die 320GB SSD sind auch nur 32GB SSD Cache + 320GB HDD. Aber gut das wir ein Angebot hatten. Um auch nur einen Server mit 256GB (was ja lächerlich ist im Vergleich zu den späteren 1TB RAM) zu bekommen, dann müsste ich rein vom Speicher her 8 solcher Server mieten. Das macht dann 400Euro im Monat. Das dann mal 12 macht 4800 Euro. Klar dafür kauf ich mir meinen Server. Dazu noch ca 1000 Euro hosting kosten, traffic zahle ich bei jedem. Und leider sind nicht immer 32GB garantiert, kann auch ein solch schönes Angebot sein wo 8GB und bis zu(!) 32GB sind.

Und selbst wenn die Kiste eine gute Ausstattung hat, dass ist am falschen Ende gespart. Unsere Kisten brauchen viel sehr viel Ram, weniger SSD und sehr viele (HT) threads und weniger GHz. Je mehr Threads, um so mehr Shards von dem Such-Index können parallel bearbeitet werden. Das System repliziert zum Teil Shards auf der selben Maschiene um Parallel mehrere Suchen durchzuführen. Ich wollte es auch nicht glauben, aber nehmen einem sehr sehr einfachen Programmiermodell (Shared Nothing) war dies sogar schneller, was sicherlich unter anderem bei anderen Cacheverhalten im L3/L2 zurückzuführen ist.


Wenn ein Server kaputt ist dann ist er kaputt, der Ausfall kostet ca 65 Euro die Woche und das bezahlt zur Hälfte der Steuerzahler, da es einfach nur entgangener Gewinn daher Ausgaben sind. Ist wie bei der Strassenbeleuchtung, wir rücken erst aus wenn zwei drei vier Server die Hufe weggerissen haben und dann kommen wir eh mit neuen Servern es sei denn es ist etwas einfaches. Und wenn einmal eine SSD sterben sollte (was sie ja selten tun, wenn man die besseren hersteller nimmt (intel, crucial)), dann ist das ebenso egal.

Das System ist so angelegt, dass es sich gleich die Kugel gibt (Hard Reset / Neustart) sobald ein Netzwerkfehler auftaucht (ja nicht nochmal versuchen, gleich weg damit), wenn ein IO Fehler auf einer SSD passiert, wenn ein Großteil des Clusters weg ist oder wenn der Kontakt zum Internet nicht da ist (selbst Google nicht pingbar ist). Das schlimmste was einem passieren kann, ist wenn ein Knoten nicht gleich, verstirbt wenn etwas passiert.



Wie erwähnt, danke für deinen Zuspruch


Mache ich auch. Ich benutze viele teure Produkte nicht mehr, koche viel selbst und gehe einmal im Monat essen. Dabei lege ich viel Wert auf Qualität. Wie zum Beispiel beim Serverbau. Weniger ausgeben, mehr davon haben und gleichzeitig niemanden der im Rezept rumpfuscht. Wenn ich mal etwas verkoche, dann weiss ich worauf ich beim nächsten Kochen achten muss und manchmal kommt ja auch ein richtig gutes Rezept dabei heraus.

Jupp so ca 50000 sparen kann sich schon sehen lassen. Und das mag vielleicht nur der Anfang sein, das nächste kommerzielle Projekt steht auch schon bereit, um sich solche Server zu leisten, wenn sich diese Server gut machen. Würde die Hostingkosten (die pro Monat schon einige tausend sind) halbieren.

Doch wirst lachen. Man hat festgestellt, dass Marathonläufer (wie ich es auch bin), besser laufen, wenn sie qualitativ hochwertig essen, aber dabei nicht zuviel zu sich nehmen.


Vielleicht verkennst du die Dimension. Ein Eigenbauprojekt, welches in der ersten Ausbaustufe 10TB bis 20TB RAM benötigt, ist definitiv nix wo man Server mieten sollte.

Und Liquidität muss ich nich schonen. Das ist mein Projekt. Da jucken die paar Kröten für so einen Server nicht. Selbst wenn ich einen Server komplett zerrauche ohne etwas wiederzubekommen oder retten zu können. Zumal mir die Erfahrung bei der nächsten Stellenaquise helfen wird - ja ich bin Consultant von Beruf. Genau, der Typ der nix kann, 4x soviel kostet (eigentlich 8x aber das sagen wir den 'normalen' Angestellten aus Prinzip nicht) und dann doch immer wieder vom dummen? Management eingestellt wird.

Ich habe die Einkaufsliste aktualisiert. Danke für eure Hilfe.

Bekomme ich solch einen Server mit 2HE hin? Kann ich da die Standardlüfter von Intel verwenden oder brauche ich spezielle?


PS: Ja ich packe auch Neonlichterketten rein. Warum? Weil ich es kann! .

Das Problem war nicht der Admin. Der wollte sich 10 Stangenserver kaufen, Hadoop auf einige drauf (die brauchen auch Analyticserver für eine andere Aufgabe, dafür hat man dann eine riesen Kiste gekauft, die ab und zu auch mal ausfällt) und das andere wollte er mit normaler Linux OS-Software mit SSDs betreiben wäre ein super System geworden. Das SAN hatte eine bestimmte Aufgabe, der fliegende Vertreter kam mit Studien und Versprechungen und als die Kiste stand, hatte das Management keine Veranlassung Regress zu fordern. Eine typische Entscheidung, der Admin muss nur damit Leben und das schöne Geld... .

Genauso wie die ganzen Systeme zur Transaktionsverwaltung. Das die heute noch mit Oracle laufen, kann auch niemand verstehen, obwohl sie halt stabil laufen. Nur die Software ist so einfach, dass die 8 bis 10 DBAs die diesen Schrank am Laufen halten, wirklich nicht notwendig sind. Aber die IT Kosten sind insgesamt unter 5% des Gewinns (!) dieser Firmen, daher juckt es unterm Strich niemanden. Nach der Steuer ist sowieso alles Rund. Wir kleinen Lichter im Getriebe sehen nur die Millionen, wenn man aber die Milliarden dagegen hält, fällt das über die Laufzeit der System überhaupt nicht auf. Lass dich mal in den Hardwarekeller einiger solcher Firmen führen. Da siehst du Kisten, die hatten mal Preise... .

Raid ist langsam. Ist leider wirklich eine Tatsache. Da werden schnell mal 10% bis 50% bei bei der Latenzverteilung fällig. Dies ist besonders der Fall, falls jemand ConsumerSSDs im Schreibmodus mit Raid1 in eine sichere Lösung verwenden möchte (der einzige Grund neben die Software kanns nicht, warum man RAID benutzen sollte).

Nochmal wir Entwickeln die Software. Raid für Redundanz ist brauchbar und wenn ich MySQL oder etwas hätte, wäre mir die gesteigerte Verfügbarkeit die Extra SSDs schon wert. Für die Performance brauch ichs nicht, deshalb hab ich auch in einem Knoten jetzt Intel 3500 geholt, damit ich beide Szenarien nochmal unter die Lupe nehmen kann. Ausfallsicherheit und Verfügbarkeit geht bei uns rein über die Knotenanzahl und die Art der Datenverteilung im Netz. Bräuchte ich eine Hochverfügbarlösung, würde ich jeden Knoten noch mit mehr SSDs ausstatten und alles überall replizieren.

Für die Performance haben die Knoten ein einfaches aber effizientes Schema, indem die Daten die am meisten durchsucht werden am häufigsten repliziert werden. Dies gilt auch, wenn die Wichtigkeit wieder abnimmt. Ich habe hier einfache Simulationen dieser Verteilungssoftware gefahren inklusive Fehlerszenarien und dass bei 1000 und mehr Knoten und es sah sehr gut aus. In der Nacht zum Beispiel kann an richtig sehen, wie ein solcher Cluster wieder schrumpft.

Ich habe dazu noch eine einfache Spark-ähnlich Implementierung im Sinn, damit die Analyse für das Maschinelle Lernen zu diesen Zeitpunkten einmal am Tag ausgeführt werden können, aber ich scheue noch die Arbeit und schaue ob ich irgendwie Hadoop dynamisch hier einpassen kann. Damit hab ich mich noch nicht beschäftigt. Das wird ebenfalls spannend aber soweit ist es noch nicht.

-

Das diese 10 Jahre alten Newschoolansätze nicht jedem gefallen müssen ist ok. Und dass ein gewisser Personenkreis dann immer sein c't Fachwissen in den Ring werfen muss inklusiver abschätziger Blicke, ist jeder von uns gewöhnt. Aber nochmal auch wenn ich unprofessionell wirke, es ist ausprobiert, gemesen und verworfen wurden. Es macht für uns einfach keinen Sinn. Falls sich der Sinn einstellt, wird es zusätzlich implementiert bzw. eingebaut, ansonsten bleibts weg. Jede unnütze Schraube, muss auch jemand fest schrauben.

So und hier kannst du mal nachlesen wie wirkliche Expertenmeinungen zum Thema Raid aussehen: http://extreme.pcgameshardware.de/ssd-hdd-laufwerke-und-speicher/246966 ...

Nein das ist er nicht und nein der Buchprüfer macht das nicht. Es ist Standard. So ist es überall. Sonst wäre Oracle nicht in solchen Preisregionen zu hause, IBM würde nicht solche Lösungen los werden (die sind aber schon viel besser geworden in den letzten 10 Jahren), und HP wäre auch preiswerter. Diese OCP Initiative ist doch Gold wert besonders für die kleinen Hardwarekonsumenten im Geschäftsbereich. Denk einfach mal an die Cisco Switches. Das ist doch genau das selbe.

In grossen Unternehmen reduziert sich die Aufgabe eines Admins auf am Laufen halten. Für die Eigenschaften eines solchen Systems sind die Verträge zuständig. Ich wäre bei der Leistung unzufrieden, aber Komplettlösungen am Markt zur damaligen Zei waren nunmal mit diesen Eigenschaften. Natürlich sagt der Hersteller es ist schnell und das muss teuer sein. Aber gegen eine Standardhardware mit einem zehntel Kosten, verlieren diese Systeme immer, wenn die Standardhardware mit der richtigen Software fährt.

So habe ich es glaub ich versucht auszudrücken.

Bei einem größeren Finanzdienstleister oder Versicherungsunternehmen deiner Wahl. Dazu kommen noch Behörden, die ihre Entscheidungen selbst treffen bzw. von anderen Treffen lassen. All diese sind anfällig für die Berater und Studien und das schöne Gerede für schönes Geld. Man verkauft dort keine Leistungen sondern die Gewissheit professionell und marktkonform zu handeln. Wer schon einmal solche Beschaffungsmeetings gesehen hat, der denkt ehr an Verkaufsentscheidungen Marke Kaffeefahrt. Aber die eigentlichen Entscheidungen werden sehr rational getroffen und das sind weiss Gott keine dummen Menschen.

Nur leider entscheidet man sich zwischen marktkonformen Lösungen. Und wenn nunmal sehr überteuert und hoffnungslos überteuert zur wahl stehen, dann nimmt man halt sehr überteuert. Zumal viele versicherten Eigenschaften im Betrieb nicht erreicht werden, aber es ist in etwa das was man wollte. Ist wie auf dem Bau.

Für jemandem vom Fach ist es Betrug für alle anderen ein gutes Geschäft.

Sarkasmus ist nunmal keine universelle Sprache und wird in den Schulen dieses Landes nicht wirklich gelehrt. Schön, dass es dich erfreut hat, deshalb hab ich es beigefügt.

Übrigens ist ein Mensch der um 10:12 mit einer Kaffeetasse Administrator.de liesst ein schönes Bild als solches. Darf ich annehmen, du bist bei der Arbeit und bist gerade auf Standby?

Ich habe übrigens selbstbezahlte Freistellung und arbeite für mich selbst.

Ich kenne Techniker die laufen mit Kaffeetasse in die Serverräume.

Da heute noch nicht Freitag ist, lassen wir das lieber .

Falls ihr noch Tipps habt, sagt mir bescheid. Passt der Intel Lüfter da drauf? Ich will morgen die Bestellung auf Vorkasse rausgeben. Dann ist der ganze Spass gekauft.

Ich bin mir bei den Server Gehäusen noch nicht sicher und ob ich noch weiteres zubehör (neben SSD einbaurahmen) benötige. Ich habe das dumme gefühl, die 2TB Consumer SSD werde ich nach meinen Test selbst als Datengrab nicht verwenden... . Dann Schraub ich sie mir in meine vier T410 Notebooks.