22.01.2022, aktualisiert um 20:39:51 Uhr

2033

Internet sehr langsam(Cisco Nexus ASA5510)

Guten Abend liebes Forum.

Ich hab mal wieder ein Problem...

Habe an meinen Nexus 5548UP jetzt die ASA 5510 hängen.

Alles wunderbar. iSCSI geht gut 10Gbit/s.

Nur das Internet ist extrem langsam.

Speedtest mit meinem Laptop(Direkt an frite) full Speed.

speedtest vom Lab aus, nur 0.31 Mbps

Seit 15Ur laufen im Lab die Windows Updates. Und es ist kein Ende in Sicht.

Die Updates laufen auf dem DC und 2 Cluster-Knoten.

Ich habe die Vermutung dass es eventuell etwas mit der QoS Konfiguration zu tun hat.

Bei QoS hört mein Wissen erst mal auf.

Hier mal meine Config vom Nexus und vom catalyst sowie von der ASA

Cisco Nexus 5548UP Config:

Nexus5K(config)# sh run

!Command: show running-config
!Time: Sat Jan 22 18:48:59 2022

version 5.0(3)N2(2b)
feature telnet
feature interface-vlan
feature lldp

username admin password 5 $1$EGQcC7nU$NLOHLKVIEvdz8sy3IZBMq0  role network-admin
ip domain-lookup
hostname Nexus5K
class-map type qos class-fcoe
class-map type queuing class-fcoe
  match qos-group 1
class-map type queuing class-all-flood
  match qos-group 2
class-map type queuing class-ip-multicast
  match qos-group 2
policy-map type queuing default
  class type queuing class-default
class-map type network-qos class-fcoe
  match qos-group 1
class-map type network-qos class-all-flood
  match qos-group 2
class-map type network-qos class-ip-multicast
  match qos-group 2
policy-map type network-qos jumbo
  class type network-qos class-default
    mtu 9216
    multicast-optimize
policy-map type network-qos default-network
  class type network-qos class-default
    multicast-optimize
system qos
  service-policy type network-qos jumbo
snmp-server user admin network-admin auth md5 0xe3023b1b186f1ec23f99f2575a0ff4ce
 priv 0xe3023b1b186f1ec23f99f2575a0ff4ce localizedkey

vrf context management
vlan 1
vlan 10
  name Transfer
vlan 20
  name Clients
vlan 30
  name Server
vlan 40
  name iSCSI#1
vlan 50
  name iSCSI#2

interface Vlan1

interface Vlan10
  no shutdown
  ip address 172.16.10.1/24

interface Vlan30
  no shutdown
  ip address 172.16.30.1/24

interface Ethernet1/1
  switchport access vlan 40
  description cluster1_iscsi#1

interface Ethernet1/2
  switchport access vlan 50
  description cluster2_iscsi#1

interface Ethernet1/3
  switchport access vlan 40
  description cluster1_iscsi#2

interface Ethernet1/4
  switchport access vlan 50
  description cluster2_iscsi#2

interface Ethernet1/5
  switchport access vlan 40
  description fileserver_iscsi#1

interface Ethernet1/6
  switchport access vlan 50
  description cluster1_iscsi#2

interface Ethernet1/7

interface Ethernet1/8
  switchport access vlan 30
description dcsrv01

interface Ethernet1/9

interface Ethernet1/10

interface Ethernet1/11

interface Ethernet1/12

interface Ethernet1/13

interface Ethernet1/14
  switchport access vlan 10
  speed 1000
  description link_to_asa5510

interface Ethernet1/15
  switchport mode trunk
  switchport trunk allowed vlan 10,20,30
  description trunk_link_to_catalyst3750

interface Ethernet1/16

interface Ethernet1/17

interface Ethernet1/18

interface Ethernet1/19

interface Ethernet1/20

interface Ethernet1/21

interface Ethernet1/22

interface Ethernet1/23

interface Ethernet1/24

interface Ethernet1/25

interface Ethernet1/26

interface Ethernet1/27

interface Ethernet1/28

interface Ethernet1/29

interface Ethernet1/30

interface Ethernet1/31

interface Ethernet1/32

interface mgmt0
line console
line vty
boot kickstart bootflash:/n5000-uk9-kickstart.5.0.3.N2.2b.bin
boot system bootflash:/n5000-uk9.5.0.3.N2.2b.bin
ip route 0.0.0.0/0 172.16.10.2


Nexus5K(config)#

Cisco ASA 5510 Config:

ciscoasa(config)# sh run
: Saved
:
ASA Version 8.2(1)
!
hostname ciscoasa
domain-name asa
enable password 8Ry2YjIyt7RRXU24 encrypted
passwd 2KFQnbNIdI.2KYOU encrypted
names
name 172.16.30.0 Server-Network
name 172.16.20.0 Client-Network
!
interface Ethernet0/0
 no nameif
 security-level 0
 no ip address
!
interface Ethernet0/1
 no nameif
 security-level 100
 no ip address
!
interface Ethernet0/2
 shutdown
 no nameif
 no security-level
 no ip address
!
interface Ethernet0/3
 shutdown
 no nameif
 no security-level
 no ip address
!
interface Management0/0
 nameif MNG
 security-level 0
 ip address 10.1.1.202 255.255.255.0
!
interface GigabitEthernet1/0
 media-type sfp
 nameif inside
 security-level 100
 ip address 172.16.10.2 255.255.255.0
  description link_to_nexus5548
!
interface GigabitEthernet1/1
 nameif Outside
 security-level 0
 ip address 192.168.178.178 255.255.255.0
  description link_to_fritzbox
!
interface GigabitEthernet1/2
 shutdown
 no nameif
 no security-level
 no ip address
!
interface GigabitEthernet1/3
 shutdown
 no nameif
 no security-level
 no ip address
!
ftp mode passive
dns server-group DefaultDNS
 domain-name asa
same-security-traffic permit intra-interface
access-list Outside_access_in extended permit ip any any
access-list Inside_access_in extended permit ip any any
access-list Outside_access_in_1 extended permit ip any any
pager lines 24
mtu Outside 1500
mtu MNG 1500
mtu inside 1500
ip verify reverse-path interface Outside
ip verify reverse-path interface inside
no failover
icmp unreachable rate-limit 1 burst-size 1
no asdm history enable
arp timeout 14400
global (Outside) 1 interface
nat (inside) 1 Client-Network 255.255.255.0
nat (inside) 1 Server-Network 255.255.255.0 norandomseq
access-group Outside_access_in_1 in interface Outside
route Outside 0.0.0.0 0.0.0.0 192.168.178.1 1
route inside Server-Network 255.255.255.0 172.16.10.1 1
timeout xlate 3:00:00
timeout conn 1:00:00 half-closed 0:10:00 udp 0:02:00 icmp 0:00:02
timeout sunrpc 0:10:00 h323 0:05:00 h225 1:00:00 mgcp 0:05:00 mgcp-pat 0:05:00
timeout sip 0:30:00 sip_media 0:02:00 sip-invite 0:03:00 sip-disconnect 0:02:00
timeout sip-provisional-media 0:02:00 uauth 0:05:00 absolute
timeout tcp-proxy-reassembly 0:01:00
dynamic-access-policy-record DfltAccessPolicy
http server enable
http 10.1.1.21 255.255.255.255 MNG
http 172.16.30.10 255.255.255.255 inside
no snmp-server location
no snmp-server contact
snmp-server enable traps snmp authentication linkup linkdown coldstart
crypto ipsec transform-set ESP-AES-256-MD5 esp-aes-256 esp-md5-hmac
crypto ipsec transform-set ESP-DES-SHA esp-des esp-sha-hmac
crypto ipsec transform-set ESP-DES-MD5 esp-des esp-md5-hmac
crypto ipsec transform-set ESP-AES-192-MD5 esp-aes-192 esp-md5-hmac
crypto ipsec transform-set ESP-3DES-MD5 esp-3des esp-md5-hmac
crypto ipsec transform-set ESP-AES-256-SHA esp-aes-256 esp-sha-hmac
crypto ipsec transform-set ESP-AES-128-SHA esp-aes esp-sha-hmac
crypto ipsec transform-set ESP-AES-192-SHA esp-aes-192 esp-sha-hmac
crypto ipsec transform-set ESP-AES-128-MD5 esp-aes esp-md5-hmac
crypto ipsec transform-set ESP-3DES-SHA esp-3des esp-sha-hmac
crypto ipsec security-association lifetime seconds 28800
crypto ipsec security-association lifetime kilobytes 4608000
crypto dynamic-map SYSTEM_DEFAULT_CRYPTO_MAP 65535 set pfs group1
crypto dynamic-map SYSTEM_DEFAULT_CRYPTO_MAP 65535 set transform-set ESP-AES-128-SHA ESP-AES-128-MD5 ESP-AES-192-SHA ESP-AES-192-MD5 ESP-AES-256-SHA ESP-AES-256-MD5 ESP-3DES-SHA ESP-3DES-MD5 ESP-DES-SHA ESP-DES-MD5
crypto map Outside_map 65535 ipsec-isakmp dynamic SYSTEM_DEFAULT_CRYPTO_MAP
crypto ca trustpoint ASDM_TrustPoint0
 enrollment terminal
 subject-name CN=ciscoasa
 keypair Home
 crl configure
crypto ca trustpoint ASDM_TrustPoint1
 enrollment terminal
 subject-name CN=ciscoasa
 keypair Home
 crl configure
crypto ca trustpoint ASDM_TrustPoint2
 enrollment terminal
 subject-name CN=ciscoasa.null,O=keine,C=DE
 keypair Home
 crl configure
crypto isakmp policy 10
 authentication pre-share
 encryption 3des
 hash sha
 group 2
 lifetime 86400
telnet timeout 5
ssh timeout 5
console timeout 0
threat-detection basic-threat
threat-detection statistics
threat-detection statistics tcp-intercept rate-interval 30 burst-rate 400 average-rate 200
webvpn
group-policy DfltGrpPolicy attributes
 vpn-tunnel-protocol IPSec l2tp-ipsec svc webvpn
 webvpn
  url-list value D+S
  svc ask enable
username runner password oSxq6Zotq9senXtp encrypted privilege 15
username chris password VX7jTRGL3Oxx7rvW encrypted privilege 15
tunnel-group DefaultRAGroup webvpn-attributes
 authentication aaa certificate
tunnel-group AnyVPN type remote-access
!
!
prompt hostname context
Cryptochecksum:8fab71469185a27c1db205b1a9b62c1e
: end
ciscoasa(config)#

Cisco Catalyst 3750 Config:

Catalyst#sh run
Building configuration...

Current configuration : 2686 bytes
!
! Last configuration change at 00:40:14 UTC Mon Jan 2 2006
!
version 15.2
no service pad
service timestamps debug datetime msec
service timestamps log datetime msec
no service password-encryption
!
hostname Catalyst
!
boot-start-marker
boot-end-marker
!
!
!
no aaa new-model
switch 1 provision ws-c3750x-24
system mtu routing 1500
!
!
!
!
!
!
!
!
!
!
!
!
!
!
license boot level ipservices
!
!
!
!
spanning-tree mode rapid-pvst
spanning-tree extend system-id
!
!
!
!
vlan internal allocation policy ascending
!
!
!
!
!
!
!
!
!
!
!
!
!
interface FastEthernet0
 no ip address
 no ip route-cache
 shutdown
!
interface GigabitEthernet1/0/1
 switchport access vlan 30
 switchport mode access
  description management_clussrv01
!
interface GigabitEthernet1/0/2
 switchport access vlan 30
 switchport mode access
description management_clussrv02
!
interface GigabitEthernet1/0/3
 switchport access vlan 30
 switchport mode access
description management_filesrv01
!
interface GigabitEthernet1/0/4
 switchport access vlan 30
 switchport mode access
!
interface GigabitEthernet1/0/5
 switchport access vlan 30
 switchport mode access
!
interface GigabitEthernet1/0/6
 switchport access vlan 30
 switchport mode access
!
interface GigabitEthernet1/0/7
!
interface GigabitEthernet1/0/8
!
interface GigabitEthernet1/0/9
!
interface GigabitEthernet1/0/10
!
interface GigabitEthernet1/0/11
 switchport access vlan 10
 switchport mode access
!
interface GigabitEthernet1/0/12
 switchport access vlan 20
 switchport mode access
!
interface GigabitEthernet1/0/13
 switchport access vlan 60
 switchport mode access
description heartbeat_clussrv01
!
interface GigabitEthernet1/0/14
 switchport access vlan 70
 switchport mode access
description livemigration_clussrv01
!
interface GigabitEthernet1/0/15
 switchport access vlan 60
 switchport mode access
description heartbeat_clussrv02
!
interface GigabitEthernet1/0/16
 switchport access vlan 70
 switchport mode access
description livemigration_clussrv02
!
interface GigabitEthernet1/0/17
 switchport access vlan 60
 switchport mode access
!
interface GigabitEthernet1/0/18
 switchport access vlan 70
 switchport mode access
!
interface GigabitEthernet1/0/19
!
interface GigabitEthernet1/0/20
!
interface GigabitEthernet1/0/21
!
interface GigabitEthernet1/0/22
!
interface GigabitEthernet1/0/23
 switchport access vlan 30
 switchport mode access
description link_to_vm_network
!
interface GigabitEthernet1/0/24
 switchport access vlan 30
 switchport mode access
description link_to_vm_network
!
interface GigabitEthernet1/1/1
!
interface GigabitEthernet1/1/2
!
interface GigabitEthernet1/1/3
!
interface GigabitEthernet1/1/4
!
interface TenGigabitEthernet1/1/1
 switchport trunk allowed vlan 10,20,30
 switchport trunk encapsulation dot1q
 switchport mode trunk
description trunk_link_to_Nexus5548
!
interface TenGigabitEthernet1/1/2
!
interface Vlan1
 no ip address
 shutdown
!
ip forward-protocol nd
!
!
ip http server
ip http secure-server
!
!
!
!
!
line con 0
line vty 5 15
!
!
end

Catalyst#

Gleich poste ich noch ein Bild der Topologie.

Bitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben

Content-ID: 1750912248

Url: https://administrator.de/forum/internet-sehr-langsamcisco-nexus-asa5510-1750912248.html

Ausgedruckt am: 22.12.2024 um 07:12 Uhr

33 Kommentare

Neuester Kommentar

Es wäre für alle hilfreich wenn du mal das description Kommando an den Interfaces nutzt um mal für andere nachvollziehbar zu kennzeichnen WO überhaupt WAS angeschlossen ist.
Sich durch die Konfig zu wühlen und zu raten wo die ASA an Catalyst oder Nexus angeschlossen ist, ist wenig zielführend !

Bedenke das wenn du mit SFPs arbeitest der Speed Parameter zwingend ist.
QoS ist im Default gar nicht aktiv.
Was ergibt denn eins dieser Allerwelts Dödel Speedtests im Internet ??
https://www.speedtest.net/de
Kommt der annähernd an den Anschlusswert ?

Danke für deine Antwort.

Habe description hinzugefügt.

Speedtest zeigt: 0.31Mbps vom Labor aus
Vom Notebook aus hab ich full speed(100Mbit)

Bedenke das wenn du mit SFPs arbeitest der Speed Parameter zwingend ist.

Einzig die Verbindung zur ASA ist auf 1000 gestellt.
Später wird noch eine Verbindung zum WLC dazukommen, die auch auf 1000 gestellt wird.

Ist mir noch was entgangen??

Servus,

ich habe nun die Firewall direkt mit dem Catalyst verbunden und erhalte dann full Speed.
wieder zurück an den Nexus, wieder 0,25 - 0,30 Mbps.

Kann doch nicht sein. Der DC ist mit 10Gbit am Nexus angebunden und die Firewall mit 1Gbit.

Woran könnte das nur liegen??

Jemand eine Idee?

Vom Notebook aus hab ich full speed(100Mbit)

WO ist das Noetbook verbunden ?? Hast du es einmal direkt ins lokale ASA Netz 172.16.0.0 /24 gehängt ?
Man muss ja erstmal klären WER der böse Buhmann ist. Also ob es die ASA selber ist oder der lokale L3 Switch der deine VLANs routet.

ch habe nun die Firewall direkt mit dem Catalyst verbunden und erhalte dann full Speed.

Wird das ASA VLAN dort dann nur 1:1 im L2 durchgeschleift durch den Nexus oder routet er es in ein separates Catalyst VLAN wo dein Testclient ist ?
Macht der Nexus auch das L3 Geschäft zw. den VLANs ?
Wenn ja was ist dort für eine Port MTU und L3 MTU definiert ?
Kannst du Negotiation Probleme am Nexus ausschliessen ?
Fragen über Fragen...

Also mein Notebook ist direkt mit der frite über wlan verbunden und während meinem test von eben nur mit dem catalyst mit rj45.

Ich hab auf dem Catalyst ein vlan 10 mit virtual interface erstellt.

Catalyst:

vlan 10
name transfer
description transfer_vlan

int vlan 10
ip address 172.16.10.1 255.255.255.0
no shut
description Transfer_vlan_to_internet

ip route 0.0.0.0 0.0.0.0 172.16.10.2(asa)

int gi1/1
switport mode access
switport acces vlan 1
description notebook_rj45

int gi1/2
switport mode access
switport access vlan 10
description link_to_asa

Mit dieser Konfig bekomme ich full speed vom internet. Da ist aber auch nur der Catalyst, an dem dann das Notebook angeschloßen wurde und die ASA. Der Nexus ist bei diesem Test ausgeschaltet.
Und genauso mache ich es auch auf dem Nexus. Also mit vlan10 als transfer fürs internet.

Der Nexus soll das inter Vlan Routing übernehmen. MTU ist, denke ich, auf 1500 eingestellt.
Jumbo Packets ist auch eingestellt.

Der Catalyst wird, außer beim Test von oben, nur im L2 Modus betrieben.
Der Server, der DC macht, ist direkt am Nexus mit 10Gbit angebunden.
Der Server ist im vlan 30.
Mit diesem Server führe ich auch den speedtest aus und erhalte nur 0,25 - 0,30 Mbps

Kannst du Negotiation Probleme am Nexus ausschliessen ?

ämm. nein, kann ich nicht.

Am Nexus ist nur ein Port auf 1000 eingestellt, und das ist der link vom nexus zur asa.
Alle anderen links am nexus sind 10gbit.

Am Nexus den speed auf auto stellen geht nicht. Ich muss entwender auf 1000 oder 10000 stellen.

So, Änderungen am Nexus:

int vlan 10
mtu 1500

Nach dieser Änderung springt der Speedtest auf 40Mbps und dann rasch wieder auf 1.0 -- 0.25 Mbps

Ich kann es mir leider noch nicht erklären.

Am Catalyst läuft alles wie es soll. Nur am Nexus nicht.
Ich werde den Gedanken nicht los das es an QoS hängt. Auch wenn ich von Qos Config noch keine Ahnung habe und ja eigentlich nichts mit Qos konfiguriert ist/wurde habe.

Also mein Notebook ist direkt mit der frite über wlan verbunden

WLAN ist nie "direkt" aber OK der Unterschied in der Bandbreite ist ja deutlich. Kabel wäre besser wegen Äpfel und Birnen...
Gut, dann wird ja am Port 1/14 vermutlich auch Internet Speed herrschen so das die ASA dann raus ist.
Catalyst dann ebenso wenn du dort L3 zw. Test VLAN und ASA machst.
Soll der Catalyst dann zentral das L3 Routing der VLANs machen ? Oder der Nexus ?

MTU ist, denke ich, auf 1500 eingestellt.

Denken oder wissen ??

Wichtig ist die L2 Port MTU (show int) und L3 MTU. OK, letztere ist 1500 was erstmal gut ist.
Machst du den Nexus Test wenn dieser isoliert ist ? Sprich nur er ist als L3 Device da. Catalyst und Server abgezogen.
Wichtig ist diesen Check erstmal mit einer isolierten Maschine zu testen also nur beide VLANs, ASA und Test PC. Nur im Side effects zu verhindern.

WLAN ist nie "direkt" aber OK der Unterschied in der Bandbreite ist ja deutlich. Kabel wäre besser wegen Äpfel und Birnen...

Ja..

Gut, dann wird ja am Port 1/14 vermutlich auch Internet Speed herrschen so das die ASA dann raus ist.

Das kann ich so nicht beantworten. Aber an der ASA liegt es nicht, da es ja mit der ASA und dem Cataylst funktioniert.

Catalyst dann ebenso wenn du dort L3 zw. Test VLAN und ASA machst.

Genau so ist es.

Soll der Catalyst dann zentral das L3 Routing der VLANs machen ? Oder der Nexus ?

Naja, ich hab mir den Nexus extra für diesen Zweck angeschafft. Er soll L3 Routing machen.
Würde nur ungerne den Catalyst Routing machen lassen. Ich will im Lab so Praxis nahe arbeiten wir nur möglich.

MTU ist, denke ich, auf 1500 eingestellt.
Denken oder wissen ??

Ich weiß es. Habe es nachträglich konfiguriert.

int vlan 10
mtu 1500

OK ist die L3 MTU.

Die L2 MTU müsste ich noch prüfen. Aber heute Abend nicht mehr. Der Lärm ist auf Dauer sehr anstrengend.

Machst du den Nexus Test wenn dieser isoliert ist ? Sprich nur er ist als L3 Device da. Catalyst und Server > > abgezogen
Wichtig ist diesen Check erstmal mit einer isolierten Maschine zu testen also nur beide VLANs, ASA und Test > PC. Nur im Side effects zu verhindern.

Ja. Beim testen ist nur der Nexus und die ASA an. Ein Client ist dabei am Nexus angeschlossen.
Sonst könnt ich nicht den Speedtest durchführen.

Ich werde die ASA später mal in das Vlan 30 packen und es nochmal testen.
Die MTU schau ich mir noch mal genau an. Sollte aber passen.

Dann bin ich aber mit meinem Latein am ende.

Was auch nochmal Sinn macht ist mal 2 IPerf3 Testrechner in die 2 VLANs an einem nackten Nexus zu klemmen und dann mal dort checken.
Normal sollte der da Wirespeed machen....

Wird gemacht. Danke.

Servus, habe nun mit IPerf getestet:

Bei dem ersten Test ist ein PC am Nexus mit 10Gbit im vlan 30
und der zweite mit 1Gbit am Catalyst im vlan 100

Ergebnis:

Beim Zweiten Test ist der erste PC auch am Nexus mit 10Gbit im vlan 30
und der zweite PC mit 1Gbit am Catalyst auch im vlan 30

Ergebnis:

Also: Sobald beide Rechner im selbe vlan sind, bekomme ich die volle mögliche Geschwindigkeit.
Wie kann das sein??

Mein L3 Modul am Nexus wird zwar als offline angezeigt:

Nexus5K(config-if)# sh module
Mod Ports  Module-Type                      Model                  Status
--- -----  -------------------------------- ---------------------- ------------
1    32     O2 32X10GE/Modular Universal Pla N5K-C5548UP-SUP        active *
3    0      O2 Daughter Card with L3 ASIC    N55-D160L3-V2          offline

Mod  Sw              Hw      World-Wide-Name(s) (WWN)
---  --------------  ------  --------------------------------------------------
1    5.0(3)N2(2b)    1.0     --
3    5.0(3)N2(2b)    1.0     --

Mod  MAC-Address(es)                         Serial-Num
---  --------------------------------------  ----------
1    002a.6a0f.bda8 to 002a.6a0f.bdc7         FOC170558DD
3    0000.0000.0000 to 0000.0000.000f         FOC183163KQ
Nexus5K(config-if)#

Aber inter-vlan-routing funktioniert. hmm??

Eine Lizenz ist auch eingespielt:

Nexus5K(config-if)# sh license usage
Feature                      Ins  Lic   Status Expiry Date Comments
                                 Count
--------------------------------------------------------------------------------
FCOE_NPV_PKG                  No    -   Unused             -
FM_SERVER_PKG                 No    -   Unused             -
ENTERPRISE_PKG                No    -   Unused             -
FC_FEATURES_PKG               No    -   Unused             -
LAN_BASE_SERVICES_PKG         No    -   Unused             -
LAN_ENTERPRISE_SERVICES_PKG   Yes   -   Unused Never       -
--------------------------------------------------------------------------------
Nexus5K(config-if)#

Jemand eine Idee???

Komisch ist auch das ab der Software-Version n5000-uk9.7.2.0.N1.1 kein inter-vlan-routing mehr klappt.
Erst bei Version n5000-uk9.7.1.0.N1.1a und abwärts funktioniert das inter-vlan -routing wieder.

Da hab ich nun 700Euro fürn Switch+L3 Modul gezahlt, und nix funktioniert wie es soll.

Oder ich bin einfach zu blöde..
Ich werd noch verrückt....

Beim booten erscheint folgende Meldung:

login: 2022 Jan 25 18:50:33 switch %$ VDC-1 %$ %PFMA-2-MOD_BTCM_DOWN: L3 Module is down due to BTCM down

Scheint für mich der Grund zu sein, weshalb das L3 Modul offline angezeigt wird.

Hat jemand eine Idee dazu??

L3 Module is down due to BTCM down

Ja, das ist böse ! Damit ist die L3 Daughter Card ohne Funktion. Das erklärt alles !
https://www.cisco.com/c/en/us/products/collateral/switches/nexus-5000-se ...
Hast du eine Base L3 Software bzw. Lizenz installiert ?!
Wenn du nach der Fehlermeldung suchst gibts diverse Threads.

Es ist eine lan_enterprise_service Lizenz. Hab ich vom Support bei Cisco via email bekommen. Die Lizenz steht aber auch oben, in meinem vorherigen Beitrag. Ich kämpfe schon seit mehr als 6 Wochen mit diesem Problem. Im Cisco Forum hab ich rauf und runter gelesen. Ohne Erfolg. Alles befolgt was da steht. Oder ist Beine vorhandene Lizenz keine L3 Lizenz??

Hab ich vom Support bei Cisco via email bekommen.

Dann ist das Teil unter Wartung ?? Wäre gut...
Mache dann in jedem Fall einen TAC Case auf bei Cisco mit der Fehlermeldung !
Fakt ist ja das die L3 Daughter Card nicht rennt und das dein Problem verursacht. Das kann ein Microcode Mismatch der Daughter Card sein, Defekt oder was auch immer.
Solange die nicht saube rim System rennt bleibt dein Problem bestehen.

Ich ab jetzt schon ein paar mal gelesen, das die Lizenz im Modul vorhanden sein soll.
Nur im Front L3 Modul? Oder auch im back L3 Modul.

Weis das wer??
Es scheint also das ich die BASE_LAN Lizenz benötige. Richtig?
Mit der LAN_ENTERPRISE_SERVICE scheint es nicht zu funktionieren.

Wundert mich nur, das inter-vlan-routing funktioniert.

Es scheint also das ich die BASE_LAN Lizenz benötige. Richtig?

Das ist richtig !

Danke aqui. Sag mal, wird die mich was kosten, oder meinste ich bekomme die einfach so von Cisco??

aqui, schau mal:

Das ist meine Lizenz bei Cisco. Da steht ,,for Layer 3"

Stimmt. Müsste aber jetzt selber mal in den 5500er Hardware Installation Guide sehen was die Anforderungen für die Daughter Card sind. Hatte lange keinen Nexus mehr in den Fingern...

Also.

Scheinbar muss ich es anders angehen.

L3 Modul ausbauen und das L2 wieder rein.
Dann Software, in meinem Fall, downgraden auf 5.0(3)N1(1b)

Siehe hier: https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus5000/sw/r ...

Und hier:
https://cciedatacentre.blogspot.com/2013/01/n5k-layer-3-daughter-card-of ...

Dann das Modul L3 Modul wieder rein.

Ich werde das nach der Arbeit erledigen und berichten.

Was du auch nochmal machen kannst, falls nicht schon geschehen, ist das du die Memberports der routenden VLANs auf eine gemeinsame Portgruppe legst. Also Ports die immer innerhalb des L3 Moduls liegen und NICHT über die Backplane in andere Portgruppen ASICs gehen müssen von Portgruppe zu Portgruppe. Ggf. macht das noch einen Unterschied. Knackpunkt ist aber sicher die nicht aktive Daughtercard.

Ich werde das nach der Arbeit erledigen und berichten.

Wir sind gespannt ! Und...vergiss die Ohrstöpsel nicht !! 😉

Kurze Info:

Hab das L3 Modul ausgebaut und das L2 Modul eingebaut.

NX-OS 5.0.3.N2.2b und die LAN_BASE_SERVICE Lizenz installiert und den Nexus ausgeschaltet.

L2 Modul wieder raus und L3 Modul rein.

Siehe da:

ein ,,show module,, zeigte mir dann das Module ls ,,powered-up,,

Ist ja schon mal sehr gut.

1 Sekunde später:

Nexus5K# 2022 Jan 27 17:50:33 Nexus5K %$ VDC-1 %$ %SYSMGR-2-SERVICE_CRASHED: Service "bcm_usd" (PID 4563) hasn't caught signal 11 (core will be saved). 
sh licShutdown Ports..
 writing reset reason 16, bcm_usd hap reset

INIT: Sending processes the TERM signal

Jan 27 17:50:40 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "sunnyvale" (PID 4540) is forced exit.  

Jan 27 17:50:40 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "statsclient" (PID 4607) is forced exit.  

Jan 27 17:50:40 %STP-2-PROFILE SIGNAL Handler:: crossed (0 secs), elapsed (0 secs 1 usecs), usr (0 secs  0 usecs), sys (0 secs 0 usecs) :

syslog[4589]: ERROR, mts_send failed, ERROR = -1, ERRNO = 9

syslog[4589]: ERROR, mts_send failed, ERROR = -1, ERRNO = 9

Und der Nexus startet neu, der login Prompt erscheint, kurz danach das selbe.

Immer und immer wieder.

Installiere eben NX-OS 7.0.0.N1.1

Mal sehen ob es am OS liegt.

Ist ja schon mal sehr gut.

Perfekt ! 👍

Installiere eben NX-OS 7.0.0.N1.1

Ja beim Nexus immer das Recommendet:
https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus5500/sw/r ...

Danke aqui.

So:

,,n5000-uk9.7.3.8.N1.1.bin,, ist installiert.

switch# sh ver
Cisco Nexus Operating System (NX-OS) Software
TAC support: http://www.cisco.com/tac
Documents: http://www.cisco.com/en/US/products/ps9372/tsd_products_support_serie
s_home.html
Copyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.
The copyrights to certain works contained herein are owned by
other third parties and are used and distributed under license.
Some parts of this software are covered under the GNU Public
License. A copy of the license is available at
http://www.gnu.org/licenses/gpl.html.

Software
  BIOS:      version 3.6.0
  Power Sequencer Firmware:
             Module 1: v3.0
  Microcontroller Firmware:        version v1.2.0.1
  QSFP Microcontroller Firmware:
             Module not detected
  CXP Microcontroller Firmware:
             Module not detected
  kickstart: version 7.3(8)N1(1)
  system:    version 7.3(8)N1(1)
  BIOS compile time:       05/09/2012
--More--

Nexus aus, L2 Modul wieder raus und L3 Modul wieder rein.

Nexus an:

Nexus5k# sh module
Mod Ports Module-Type                         Model                  Status
--- ----- ----------------------------------- ---------------------- -----------
1   32    O2 32X10GE/Modular Universal Platfo N5K-C5548UP-SUP        active *
3   0     O2 Daughter Card with L3 ASIC       N55-D160L3-V2          ok

Mod  Sw              Hw      World-Wide-Name(s) (WWN)
---  --------------  ------  ---------------------------------------------------
1    7.3(8)N1(1)     1.0     --
3    7.3(8)N1(1)     1.0     --

Mod  MAC-Address(es)                         Serial-Num
---  --------------------------------------  ----------
1    002a.6a0f.bda8 to 002a.6a0f.bdc7         FOC170558DD
3    0000.0000.0000 to 0000.0000.000f         FOC183163KQ
Nexus5k# sh license
eval.lic:
SERVER this_host ANY
VENDOR cisco
INCREMENT LAN_BASE_SERVICES_PKG cisco 1.0 permanent uncounted \
        VENDOR_STRING=<LIC_SOURCE>MDS_SWIFT</LIC_SOURCE><SKU>N5K-BASE-EVAL</SKU>
 \
        HOSTID=VDH=SSI164900A0 \
        NOTICE="<LicFileID>20220127050619182</LicFileID><LicLineID>1</LicLineID>  
 \
        <PAK></PAK>" SIGN=210B67925720  


Nexus5k# sh license usage
Feature                      Ins  Lic   Status Expiry Date Comments
                                 Count
--------------------------------------------------------------------------------
FCOE_NPV_PKG                  No    -   Unused             -
FM_SERVER_PKG                 No    -   Unused             -
ENTERPRISE_PKG                No    -   Unused             -
FC_FEATURES_PKG               No    -   Unused             -
VMFEX_FEATURE_PKG             No    -   Unused             -
ENHANCED_LAYER2_PKG           No    -   Unused             -
NETWORK_SERVICES_PKG          No    -   Unused             -
LAN_BASE_SERVICES_PKG         Yes   -   In use never       -
LAN_ENTERPRISE_SERVICES_PKG   No    -   Unused             -
--------------------------------------------------------------------------------
Nexus5k#

Geht immer noch nicht.

Erst alles ok. dann, nach einem:

Nexus5K(config)# feature interface-vlan
Nexus5K(config)# 2022 Jan 27 19:48:40 Nexus5K %$ VDC-1 %$ %BTCM-2-BTCM_LOG_ROUTER_ERR: router card in slot 3 has internal link(s) flapped:     router ports down at timeout: 0x1a11a000 0x1a10a000
2022 Jan 27 19:48:40 Nexus5K %$ VDC-1 %$ %PFMA-2-MOD_REMOVE: Module 3 removed (Serial number FOC183163KQ)
2022 Jan 27 19:48:45 Nexus5K %$ VDC-1 %$ %PFMA-2-MOD_BTCM_DOWN: L3 Module is down due to BTCM down

wieder:

Nexus5K(config-if)# sh module
Mod Ports Module-Type                         Model                  Status
--- ----- ----------------------------------- ---------------------- -----------
1   32    O2 32X10GE/Modular Universal Platfo N5K-C5548UP-SUP        active *
3   0     O2 Daughter Card with L3 ASIC       N55-D160L3-V2          offline

Mod  Sw              Hw      World-Wide-Name(s) (WWN)
---  --------------  ------  ---------------------------------------------------
1    7.3(8)N1(1)     1.0     --
3    7.3(8)N1(1)     1.0     --

Mod  MAC-Address(es)                         Serial-Num
---  --------------------------------------  ----------
1    002a.6a0f.bda8 to 002a.6a0f.bdc7         FOC170558DD
3    0000.0000.0000 to 0000.0000.000f         FOC183163KQ

Neustart, dann wieder:

2022 Jan 27 19:58:41 switch %$ VDC-1 %$ %SYSMGR-2-SERVICE_CRASHED: Service "bcm_usd" (PID 4567) hasn't caught signal 11 (core will be saved).  

Hat nicht jemand einen Cisco 10Gbit SFP+ Switch günstig abzugeben????

Eben lese ich:

Symptom:
After a reload of the N5k switch, the L3 daughter card N55-D160L3 goes offline with the following logs:


%$  BTCM-2-BTCM_LOG_IPC_REMOVED  Router ipc 0x1600007e removed.
%$  BTCM-2-BTCM_LOG_ROUTER_ERR  router card in slot 3 has internal link(s) flapped:
%$  PFMA-2-MOD_REMOVE  Module 3 removed
%$  PFMA-2-MOD_BTCM_DOWN  L3 Module is down due to BTCM down
!
`show module`
Mod Ports Module-Type                       Model                  Status
--- ----- --------------------------------- ---------------------- ------------
3   0     O2 Daughter Card with L3 ASIC     N55-D160L3             offline



Conditions:
There need to be atleast 5 fiber interfaces in an up/up state.

Workaround:
1. Another reload may possibly help recover from the condition, but, there is not guarantee.
2. Shutdown all ports on the switch, reload and then bring the interfaces up.

Ich hoffe jetzt das es wirklich auf die Reihenfolge drauf ankommt.
Die Interfaces hab ich halt nicht runter gefahren.

Das werde ich aber erst morgen testen.

GN8

feature interface-vlan

Aber nicht das du jetzt mit feature routing vergessen hast das Routing Plugin zu laden !! 😉 Bedenke das beim Nexus die Firmware modular ist !!
Internal Link Flap zeigt ja sehr wahrscheinlich einen HW Fehler. Mal sehen was der Test morgen ergibt ?!

Leider kein Erfolg gehabt.

Ich ordere ein neues L3 Modul und hoffe das dieses funktioniert.

In der zwischen zeit wird halt eben der Catalyst das Routing übernehmen.

Hab schon genug Zeit mit dem Nexus verschwendet und bin nicht wirklich mit meinen Projekten
voran gekommen.

Parallel wird für einen neue Switch gespart.

Danke an alle für ihre Beiträge.

Liebe Grüße

Wie per PM schon geschrieben ggf. mal nach Brocade/Extreme VDX 6740 (SFP) oder 6740T (Kupfer) auf dem Gebrauchtmarkt sehen. Da gibts keinen Stress mit Lizensierungen und Modulen.
CLI ist 100% Cisco, also problemlos von Cisco affinen ITlern zu konfigurieren und natürlich alles Wirespeed im L3. Außerdem sind die erheblich leiser als die Nexus.