Diseño de Centros de Datos: Data Center College

DISEÑO DE CENTROS DE DATOS
Data Center College |

DISEÑO DE CENTRO DE DATOS - AGENDA
• Tendencias Tecnológicas y de la Industria para Centros de Datos

• Tipos de Centro de Datos por Operación
• Estándares
– ANSI/TIA
– ANSI/BICSI
– ISO/IEC
– CENELEC
• Tecnologías de Red en Salas de Cómputo
– Arquitecturas de Cableado
• Gestión y Monitoreo de la Infraestructura
• Tendencias de Arquitectura en Salas de Cómputo
• Conclusiones
Proprietary © 2014 Anixter Inc. 2

TENDENCIAS TECNOLÓGICAS Y DE LA INDUSTRIA
PARA CENTROS DE DATOS
TRÁFICO POR DESTINOS
EN CENTROS DE DATOS
Data Center-
to-Data Center
7%
Data Center-
to-User 17%
Within Data
Center 76%
Data Center-to-Data Center Data Center-to-User Within Data Center
Replication, Web, email, internal Storage, production

inter-database links VoD, WebEx, etc. and development
data, authentication
Source: Cisco
VoD: Video on Demand

ESTÁNDARES DE CABLEADO
X86 Servers by Ethernet Connection Speed (2012 Pronóstico)

Basado en IDC, Dell Oro, Crehan Research e Intel data en el período 2H’11 – 1Q’12
16
40 GbE
Current Forecast…surely accurate  Free
14
40 GbE
Performance
12
FRINGE
40 GbE
Usuarios que exigen la mayor
Fringe
10 parte del ancho de banda
Millions of server units
PERFORMANCE
8 Los usuarios demandan
más rendimiento de I/O
debido a la virtualización
6
FREE
Compradores de servidores
4
que sólo implementan
lo que se ofrece como la
2 configuración básica
0
2005
2000
2001
2002
2003
2004
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
100M 1G 10G 40G 100G

INFRAESTRUTURA DEL SISTEMA DE CABLEADO
PARA CENTROS DE DATOS
Server-class Adapter & LOM

40 GbE Shipments
6
Ports in Millions
2 • 40 GbE sobre fibra multimodo

– Usa 8 fibras:
4 x 10 Gbps Tx y Rx
0 – OM3 = 110 metros
2012
2013
2014
2015
2016
2017
– OM4 = 150 metros

CREHAN RESEARCH Inc.
Source: IEEE 802.3 Working Group

LOM=Lan on Motherboard
IMPLEMENTACIONES ETHERNET A100GBPS
• Actualmente el estándar de la IEEE especifica 10 x 10Gbps para Tx y Rx

sobre fibra OM3 / OM4 (20 fibras)
• Migración para 100GbE sobre fibra multimodo se verá mejorado sobre
cuatro enlaces (8 fibras) desarrollados en fibra multimodo
– 4 x 25Gbps para Tx/Rx aún en desarrollo por la IEEE 802.3bm
• 100GBASE-SR4
– Hasta 100 metros sobre fibra OM4
– El estándar apunta a salir para el Q1 del 2015
• Cuatro enlaces para 100GbE significa que NO hay cambios en la
infraestructura de cableado del centro de datos para 40GbE

400GBPS ETHERNET ESTÁ EN EL HORIZONTE
• La necesidad está siendo

impulsada por la informática en
todos los mercados:
– Ciencia:
• CERN Atlas Detector
Generates ~ 1 petabyte/sec
• Radio Telescopio SKA (Square
Kilometer Array) 2
petabytes/sec
• Secuenciación del genoma
• La ciencias de redes y energía
esperan 100 petabytes/mes de
datos para el 2015
– Usos financieros en las redes
– Mas:
• Usuarios, móviles, video, data,
aplicaciones …
Source: IEEE 802.3 Ethernet Working Group
1 petabyte = 1015 bytes

400GBPS ETHERNET ESTÁ EN EL HORIZONTE
• IEEE estableció un grupo de estudio para 400Gbps Ethernet (Marzo, 2013)

– Objectivo: Al menos 100 metros sobre OM4
– IEEE estima que un estándar para 400 GbE puede estar listo para el 2017
• IEEE 802.3 Pronóstico de agregación de ancho de banda (bandwidth
aggregation)
– Capacidad 2015 = 10x requerimientos del 2010 = Terabit
– Capacidad 2020 = 100x requerimientos del 2010 = 10 Terabit
Source: IEEE 802.3 Ethernet Working Group

PRINCIPALES PREOCUPACIONES URGENTES PARA
OPERADORES DE CENTROS DE DATOS DE MID-MARKET
• Conectividad de centros de datos (82%)

– Disponibilidad de carrier, densidad
• Dsiponibilidad y Resiliencia del Centro de Datos (80%)
– Potencia, espacio, refrigeración, conectividad
• Control sobre las instalaciones (78%)
• Acceso a la nube (75%)
De las empresas investigadas:

– 53% necesitan +2000 sq. ft. de espacio en centros de datos
– 41% tiene al menos 4 centros de datos
– 88% están planeando expandirse dentro de 4 años
Source: Forrester Research,

US Firms< US$500M Revenue, 2014

INFRAESTRUCTURA EN GRADO DE UTILIDAD
PARA CAPACIDADES FUTURAS
• Cualidades de los productos para empresa de servicios públicos

– Construidos para capacidad futura … no solo hoy
– Diseñados para especificaciones de rendimiento robusto mas allá del estándar
– Diseñados para alto grado de confiabilidad
– Minimiza el downtime (tiempo de inactividad) por fallas o cortes de
mantenimiento
• La Infrastructura de los centros de datos deben cumplir un rendimiento con
grado de empresa de servicios con confiabilidad y resistencia al futuro
• Debido a la ley de Moore: Nada en Tecnologías de la información está a
prueba del futuro!
“Las cuatro empresas de
servicios públicos”
• Energía
• Agua
• Gas
• Comunicaciones

TIPOS DE CENTROS DE DATOS
POR OPERACIÓN
CENTROS DE DATOS TRADICIONALES
USUARIOS FINALES
Operado por el propietario

Nivel empresarial
Varios tamaños
Varios niveles de Tecnología
Requerimientos constantes de crecimiento
Los tipos de Centros de Datos están Evolucionando de Acuerdo a las

Tecnologías y las Necesidades de los Cambios Organizacionales

MULTI-TENANT DATA CENTERS (MTDC)
• Multi-tenant data centers son instalaciones de

multiples clientes que normalmente son propiedad de
empresas que se especializan en la prestación de
servicios de infraestructura de internet, incluidos los
servicios del centro de datos a los clientes.
• De acuerdo a datacenterknowledge.com,
actualmente hay 986 centros de datos en los Estados
Unidos ofreciendo servicios de Collocation y varios
servicios de hosting.
• Cuatro tipos de MTDCs
– Wholesale
– Colocation/retail
– Interconnection
– Managed hosting

MTDC - WHOLESALE DATA CENTERS
• Se ofrecen en PODs o celulas. Los tamaños van desde 10,000 – 50,000

pies cuadrados (930 – 4640 m2)
• Se vende tanto a empresas como a proveedores de servicios Collocation
• Normalmente proporcionan servicios de guardias de seguridad y
mantenimiento de alarmas de incendio, seguridad, generador, climatización
y sistemas de UPS.
• Proveen tanto servicios a la medida como la opción de alquiler-venta
(leasing) de las instalaciones del centro de datos
• Ejemplos de MTDC tipo wholesale:
– Digital realty
– DuPont Fabros
– Coresite

MTDC - COLLOCATION OR
RETAIL DATA CENTERS
• El espacio del centro de datos se vende sobre la base

de los distintos racks, gabinetes o jaulas
• Normalmente los clientes de proveedores de
Collocation son:
– Empresas Fortune 1000
– SMBs
– Proveedores de aplicaciones de Internet
– Proveedores de contenido de Internet y redes sociales
– Proveedores de Managed hosting
– Operadores de Telecomunicaciones
• Sistema completo de instalación y mantenimiento
incluyen extinción de incendio, seguridad, respaldo de
energía y climatización
• También se incluyen acceso y monitoreo remoto

MTDC - INTERCONNECTION DATA CENTERS
• El alto volumen de tráfico de Internet está obligando a las redes y a los

usuarios finales a colocar su contenido en, o alrededor de, las instalaciones
de interconexión, que proporcionan acceso a un tránsito de Internet
económico
• Servicios incluidos:
– Compra de conectividad de Internet
– Conexión de redes de VoIP
– Realización de e-commerce B2B
• Ejemplos
– Equinix
– Telx
– Interxion

MTDC - MANAGED HOSTING DATA CENTERS
• El hardware del servidor gestionado puede

ser propiedad del proveedor de hosting o
del cliente
• Servicios incluidos:
– Administración de los sistemas
– Administración de la base de datos
– Gestión de las aplicaciones
• Ejemplos
– i/o Data Centers
– The Planet
– Horizon
– Peak 10

ESTÁNDARES DE DISEÑO
ESTÁNDARES RELEVANTES
• ANSI/TIA-942-A (2012) “Estándar de Infraestructura de

Telecommunicaciones para Centros de Datos”
• ANSI/BICSI-002 (2014) “Diseño de Centros de Datos e Implementación
de Buenas Prácticas”
• ISO/IEC FDIS 24764 (2010) “Sistemas de Cableado Genérico para Centros
de Datos”
• CENELEC EN50600 – “Centros de Datos – Instalaciones e
Infraestructuras”
– En desarrollo

ESTÁNDAR AMPLIAMENTE RECONOCIDO

ANSI/TIA-942-A DATA CENTER
DEFINICIÓN Y ELEMENTOS DE DISEÑO
• Data Center – “Un edificio o parte de

un edificio cuya función primaria es
albergar un Cuarto de Cómputo y sus
áreas de soporte; usualmente contiene
servidores y productos de
almacenamiento para funciones de
misión crítica”
• Elementos del Data Center
– Diseño y planificación del espacio
– Fuente de alimentación y distribución
eléctrica.
– Gestión térmica
– Iluminación
– Conectividad
– Rutas y Hardware de soporte
– Puesta a tierra
– Seguridad Física
ANSI/TIA-942-A (2012) “Telecommunications
Infrastructure Standard for Data Centers”
“El propósito de este estándar es proporcionar los

requisitos y directrices para el diseño y la instalación del
centro de datos o cuarto de cómputo
“Los centros de datos … se pueden beneficiar de la

infraestructura que se planea con anticipación para
soportar el crecimiento y los cambios en los sistemas
informáticos que los centros de datos están diseñados
para soportar.”
ANSI/TIA-942-A Standard is available from Global Documents (www.global.ihs.com )

TIA-942-A DATA CENTER BÁSICO
TOPOLOGÍA DE CABLEADO
ACCESS PROVIDERS Entrance Room ACCESS PROVIDERS

(Carrier equipment &
Work areas in offices, demarcation)
operations center,
support rooms
Backbone cabling
Horizontal cabling
MDA Computer
TR Room
(Office & operations Backbone (Routers, backbone
center LAN switches)
cabling LAN/SAN switches,
PBX, M13 muxes)
Backbone cabling
HDA
(LAN/SAN/KVM
switches)
Horizontal cabling
HDA HDA HDA
(LAN/SAN/KVM (LAN/SAN/KVM (LAN/SAN/KVM
ZDA switches) switches) switches)
Horizontal cabling Horizontal cabling Horizontal cabling Horizontal cabling
EDA EDA EDA EDA
(Rack/cabinet) (Rack/cabinet) (Rack/cabinet) (Rack/cabinet)
Source: ANSI/TIA-942-A
MDA: Main Distribution Area
HDA: Horizontal Distribution Area
Proprietary © 2014 Anixter Inc. EDA: Equipment Distribution Area
25
TIA-942-A DATA CENTER REDUCIDO
ACCESS PROVIDERS
Work areas in offices, MDA Computer

operations center, Horizontal cabling (Carrier equipment, Room
support rooms demarcation, routers, backbone
LAN/SAN/KVM switches, PBX)
Horizontal cabling
ZDA
Horizontal cabling
EDA EDA
(rack/cabinet) (rack/cabinet)
• Consolidation of main cross-connect and horizontal cross-connect into a single MDA

• TR serving the support areas and the Entrance Room many also be consolidated in the MDA

TIA-942-A DATA CENTER DISTRIBUIDO
ACCESS PROVIDERS ACCESS PROVIDERS
Work areas in offices, Primary Entrance Secondary Entrance

operations center, Room Room
support rooms (Carrier equipment & (Carrier equipment &
demarcation) demarcation)
Horizontal cabling Backbone cabling
Backbone cabling
TR MDA
(Office & operations (Routers, backbone Backbone cabling
Backbone
center LAN switches) LAN/SAN switches,
cabling Backbone cabling
PBX, M13 muxes)
IDA
Computer Room (LAN/SAN switches)
IDA
(LAN/SAN Switches)
Backbone cabling Backbone cabling
HDA
(LAN/SAN/KVM
switches) HDA HDA
Backbone cabling Backbone cabling
(LAN/SAN/KVM (LAN/SAN/KVM
switches) switches)
Horizontal cabling
HDA HDA Horizontal cabling
(LAN/SAN/KVM (LAN/SAN/KVM
ZDA switches) switches) ZDA
Horizontal cabling Horizontal cabling Horizontal cabling Horizontal cabling Horizontal cabling
EDA EDA EDA EDA EDA

(Rack/cabinet) (Rack/cabinet) (Rack/cabinet) (Rack/cabinet) (Rack/cabinet)

IDA: Intermediate Distribution Area
TIA-942-A EFICIENCIA ENERGÉTICA
RECOMENDACIONES
• Cableado por encima de los gabinetes puede mejorar la eficiencia de

enfriamiento y es una buena práctica siempre y cuando la altura del techo
lo permita.
• Si el cableado es instalado bajo piso técnico:
– Utilice diseños de cableado y de red que minimicen el uso de cableado bajo piso técnico
– Seleccione cables con diámetros más pequeños para reducir al mínimo el volumen de cable
bajo piso
– Diseñe rutas de cableado de tal manera que minimice el impacto del flujo de aire debajo del
piso técnico.
– Diseñe rutas de cableado a las filas de tal manera que las rutas de cableado entren por el
pasillo caliente en dirección opuesta a la alimentación de flujo de aire (es decir, el máximo
volumen de cables entra por el pasillo caliente en el extremo opuesto del CRAC con menor
distribución de cables cuando se aproxima al CRAC)
– Dimensione las rutas y los espacios para acomodar los cables de forma tal que ocasionen la
mínima obstrucción posible

TIA-942-A EFICIENCIA ENERGÉTICA
RECOMENDACIONES
• El cableado dentro de gabinetes, racks, etc., no debe obstaculizar la

correcta refrigeración de los equipos dentro de los gabinetes.
– Se debe mantener el flujo de aire suficiente indicado en las especificaciones de
los equipos por los fabricante.
• Deben establecerse procedimientos de manejo de cambios de cableado
que incluyan la eliminación de cables abandonados de acuerdo con el NEC
(o la normativa jurídica que aplica en cada país).
• El cableado bajo el piso falso no debe colocarse bajo de las baldosas
perforadas o en cualquier lugar que interrumpa el flujo de aire hacia o
desde los CRAC.
• Los PDU deben permitir el monitoreo de los niveles de energía
• Use esquemas de iluminación de bajo consumo
• Evite las ventanas exteriores y tragaluces en las salas de cómputo

TIA-942-A UBICACION DEL PASILLO FRÍO Y CALIENTE
• ANSI/TIA-942-A distancias Front

recomendadas:
Cabinets
– Frente: recomendado: 4 pies (1.2 metros) Rear

(mínimo 3 pies=1m) This Row of Tiles “HOT” AISLE
Can Be Lifted (Rear of Cabinets)
– Atrás: recomendado: 3 pies=1m (mínimo Rear
2 pies=60 cm)
. Cabinets
Align Front or Rear of Cabinets
• El cableado de potencia, si va bajo piso with Edge of Floor Tiles
Front
falso, debe estar en el pasillo frío sobre This Row of Tiles Can Be Lifted “COLD” AISLE
la losa This Row of Tiles Can Be Lifted
(Front of Cabinets)
Front
• El cableado de telecomunicaciones, si Align Front or Rear of Cabinets
with Edge of Floor Tiles
va bajo el piso falso, debe estar ubicado Cabinets
en bandejas de cables en el pasillo
caliente. Rear

TIA-942-A DATA CENTER
INFRAESTRUCTURA TIERS
• El anexo incluye detalles para los cuatro Tiers en las siguientes categorías:
Telecomunicaciones
Eléctrica
Architectura
Mecánica
• A medida que el Tier es mayor, El DC es más redundante, pero esto implica
que las construcciones son mas costosas.
• La calificación general Tier del centro de datos se determina por el número de
Tier de menor categoría
– ejem., T2E3A4M3 = Centro de datos Tier 2 total
– En el ejemplo anterior, la calificación general sería un nivel 2 porque las
telecomunicaciones tiene una clasificación de Nivel 2
• Se recomienda comprar el documento de la TIA-942-A para su revisión
completa de la estructura de los Tier
– Disponible en: http://www.global.ihs.com

TIA-942-A DATA CENTER
REDUNDANCIA EN RUTAS DE CABLEADO Y ESPACIOS
Least Redundant
|
|
Most Redundant

ESTÁNDARES DE DISEÑO

ANSI/BICSI-002 (2011) “Data Center Design
and Implementation Best Practices”
“Este estándar proporciona las mejores prácticas y

métodos de implementación que complementan la TIA,
CENELEC, ISO y otras publicaciones como estándares y
documentos de centros de datos. Se trata principalmente
de un estándar de diseño, con los requisitos de instalación
y directrices para los centros de datos”
Source: ANSI/BICSI-002-2011
ANSI/BICSI-002 Standard is available from Global Documents (www.global.ihs.com ) or from BICSI (www.bicsi.org)

CENELEC (en francés Comité Européen de Normalisation Electrotechnique)
ANSI/BICSI-002 TEMAS CUBIERTOS
• Planificación del espacio Edificios (BAS)

• Selección del site • Infraestructura de
• Planificación arquitectónica telecomunicaciones
• Planificación estructural • Recuperación de desastres
• Sistemas eléctricos • Comunicaciones y Megafonía
• Sistemas mecánicos (voceo)
• Protección contra fuego • Diseño de la sala de cómputo
• Seguridad física • Commissioning (puesta en

marcha)
• Sistemas de Automatización de
• Mantenimiento

ANSI/BICSI-002 DATOS DE PLANIFICACIÓN DEL SITE
• Datos Incluidos para estudio de planificación de la ubicación
– Mapa de riesgo de temblores terrestres

– Mapa de riesgo volcánico
– Mapa de derrumbes
– Mapas de regiones de agua y tipos acuíferos
– Mapa de actividades de huracanes
– Mapa de riesgos de tornados
– Mapas de áreas con antecedentes de inundaciones.

ANSI/BICSI-002 ALCANCES DE LA SEGURIDAD FÍSICA
• Evaluación de amenazas y riesgos • Videoseguridad

• Requerimientos regulatorios y • Barreras
legislación • Iluminación
• Prevención del crimen mediante el • Guardias (vigilantes)
diseño ambiental • Recuperación de desastres
• Controles de acceso
• Alarmas

ANSI/BICSI-002 COMMISSIONING
“Commissioning es el proceso de garantizar que los

sistemas sean diseñados, instalados, funcionalmente
probados y capaces de ser operados y mantenidos de
acuerdo a la intención de diseño del propietario y a las
necesidades operacionales. ”
“Hoy en día el commissioning se ha convertido en un

importante proceso de control de calidad que abarca todo
el edificio o centro de datos.”

ANSI/BICSI-002 – SISTEMAS QUE DEBEN INCLUIRSE
EN LOS PROCESOS DEL COMMISSIONING
• Eléctrico • Puesta a tierra

• HVAC • Bombeo de combustible
• Automatización del edificio • Monitoreo de inventario
• Monitoreo del edificio • Detección de fugas de líquidos
• Supresión y protección de fuegos • Cumplimiento de los códigos y
• Seguridad física ordenanzas
• Infraestructura de TI incluyendo
rutas y espacios

GLOBAL DESIGN STANDARDS

ISO/IEC 24764 (2010) “Generic cabling
systems for data centres”
“El estándar internacional especifica cableado genérico

que soporta una amplia gama de servicios de
comunicaciones para su uso con un centro de datos.
Cubre cableado balanceado y cableado de fibra óptica. ...
Se basa y hace referencia a los requisitos del estándar ISO
/ IEC 11801.
... Contiene requisitos adicionales que son? Adecuado a
los centros de datos en donde la distancia máxima es de
2000 m”
Source: ISO/IEC 24764 (2010)
ISO/IEC 24764 Standard is available from Global Documents (www.global.ihs.com)

ISO/IEC 24764 (2010) “Generic cabling
systems for data centres”
“. … Dentro de las instalaciones, la importancia de la

infraestructura de cableado es similar a la de los otros
servicios públicos (utilities) fundamentales del edificio
tales como calefacción, iluminación y electricidad. ... La
mala calidad de servicio debido a la falta de previsión de
diseño, uso de componentes inapropiados, instalación
incorrecta, mala administración o el soporte inadecuado
pueden amenazar la efectividad de una organización.”

ISO/IEC 24764 (2010) – ESTRUCTURA GENERAL
ENI MD ZD LDP EO
EQP
Distributor in
accordance with
ISO/IEC 11801
Network Main distribution Zone distribution Equipment
access cabling subsystem cabling subsystem cabling
cabling
subsystem
Generic cabling system
• ENI = External network interface

• MD = Main distributor
• ZD = Zone distributor
• LDP = Local distribution point
Source: ISO/IEC 24764 (2010) • EO = Equipment outlet

ISO/IEC 24764 (2010) – JERARQUÍA
ENI ENI
Distributor in
accordance with
ISO/IEC 11801 Network access
Optional cables cabling subsystem
MD
Main distribution
cabling subsystem
ZD ZD
Zone distribution
LDP LDP LDP LDP cabling subsystem
EO EO EO EO EO EO EO EO EO EO
NOTE: Network access cabling is also used to connect ENI to ZD

ISO/IEC 24764 (2010) – JERARQUÍA CON REDUNDANCIA
ENI ENI
It is important to note that in
Distributor in
accordance with order to achieve true
ISO/IEC 11801 redundancy, the redundant
MD MD cable paths must have
separate pathway routes.
ZD ZD
LDP LDP
EO EO EO EO EO EO EO EO EO EO EO EO
NOTE: Additionally, redundancy may be provided by utilizing multiple cables between distributors, with cables following different routes.

TECNOLOGÍAS DE RED EN LA SALA DE CÓMPUTO
CENTRO DE DATOS
TENDENCIAS ELECTRÓNICAS
• Consolidación de servidores y de
almacenamiento mediante la
virtualización
– Requieren menos servidores físicos
(menos hardware)
– Aumento de los requerimientos de
ancho de banda en la red
– Aumenta la densidad de potencia
– Requieren enfriamiento de precision
dirigido a pequeñas áreas
• Unified Fabrics
– Consolidación de protocolos LAN
y SAN desiguales sobre un solo
protocolo Ethernet
– Simplificar la gestión de red de los
centros de datos

VIRTUALIZACIÓN
UNIDADES DE RED CON ANCHO DE BANDA
OS+App
OS+App
OS+App
OS+App
OS+App
OS+App
OS+App
OS+App
OS+App
OS+App OS+App OS+App OS+App OS+App
Hypervisor OS+AppHypervisor Hypervisor Hypervisor Hypervisor

Hypervisor
Server Server Server Server Server

200–500 MbpsServer200–500 Mbps 200–500 Mbps 200–500 Mbps 200–500 Mbps
2–5 Gbps
TIA-942 DIRECT CONNECT
ARQUITECTURA CENTRALIZADA
• Pro
– Electrónica con costos menores que las
arquitecturas distribuidas
– Fácil de diseñar, implementar y
mantener
– Minimiza el cuello de botella de la red
– Buena utilización del puerto del switch
– Fácil gestión de dispositivos
• Contra
– Mayor número de cables
(predomina el uso de cobre)
– Sobreposición de cables para Red denotes Network Equipment
redundancia Blue denotes Server Equipment
– Diseño con dificultades en las rutas de

cables
– Falta de escalabilidad
Source: Anixter

ARQUITECTURA END-OF-ROW Y MIDDLE-OF-ROW
• Pros
– Menor cantidad de cables que la
arquitectura centralizada de switching
– Hay mas uso de fibra que en la
arquitectura centralizada de switching
– Buena escalabilidad
– Es más costo efectiva que la arquitectura
top of rack (ToR)
• Contras
– Mayor inversión de capital en switches
end of row (EoR) y middle of row (MoR)
– Aumento de gastos generales de gestión
debido a la mayor cantidad de switches
– Riesgos en la estabilidad de la red
debido al potencial aumento del número Red denotes Network Equipment
Blue denotes Server Equipment
de puntos de falla en la electrónica
Source: Anixter

ARQUITECTURA TOP-OF-RACK
• Pro
– Uso mas eficiente del cable.
– Uso eficiente del área de piso.
– Buena escalabilidad.
– Fácil administración de cables.
• Contra
– Más switches para administrar.
– Mayor cantidad de puertos de agregación.
– Pobre utilización de puertos del switch si los
gabinetes están parcialmente poblados.
– Mas puertos de agregación Spanning Tree
Protocol en los los dispositivos de agregación.
– Mayores costos potenciales en switches Red denotes Network Equipment
Blue denotes Server Equipment
– Necesidad del segundo ToR switch
para redundancia.
*NOTE: Most cost comparisons between traditional and
– Creación de puntos calientes. ToR network architecture do NOT take into account the
necessity of a second ToR switch to achieve
redundancy
Source: Anixter

CONSOLIDACIÓN DE SERVIDORES I/O USANDO CISCO UCS
All traffic goes

over 10Gig
twinax cabling
Cisco also has

10GBASE-T interfaces
Traditional server – Cisco UCS –

Multiple interfaces Consolidated to two
per server interfaces per server
FC HBA: Fibre Channel Host Bus Adapter: connects a host system (the computer) to other network and storage devices
IPC: Inter-Processor Communication
Source: Cisco Systems CNA: Converged Network Adapter
UCS: Unified Computing System
CISCO UCS PRO Y CONTRA
• Pros
– Consolidación I/O.
– Menor congestión de cables.
• Contra
– Aumento del hardware de red y los costos administrativos.
– Pobre utilización de puertos/ asignación.
– Arquitectura Cisco Top of Rack no se ajusta al estándar tradicional de cableado
estructurado.
• Es proprietario
– SFP+ no está estandarizado por la IEEE o la TIA
• Carece de flexiblidad
– Necesidad de un segundo switch Top of Rack para redundancia
– No es una solución costo efectiva para administración fuera de banda (out-of-
band)

CABLEADO ESTRUCTURADO ESTANDARIZADO UTILIZANDO
10GBASE-T SOPORTA VIRTUALIZACIÓN Y UNIFIED FABRICS
• Usa la interface física omnipresente RJ45

– Cableado en categoría 6A es retrocompatible con servidores existentes
habilitados para 10/100/1000BASE-T
– Aplicación independiente
• Es mas rentable que SFP+ u otras alternativas ópticas
– Menor CAPEX total
– Menor OPEX debido a menores consumos potenciales de energía que el uso de
switches ToR
• Utiliza cableado estructurado estandarizado
– Categoría 6A para conexión de servidores
– Cableado OM3/OM4 para backbone y conexiones SAN

CISCO BIDIRECTIONAL (BIDI) QSFP
TECNOLOGÍA DE FIBRA
Concepto de los transceptores de 40 Cisco QSFP-40G-Short Range-BiDi

Gbps existentes 40 Gbps Transceiver
• Cisco QSFP BiDi fibra multimodo duplex

– Tx y Rx a 832 nm y 918 nm de longitud de onda
– Distancia: OM3 = 100 metros, OM4 = 150 metros
• in order to achieve the 150 meter distance on OM4, Cisco requires the link
loss budget to be not greater that 1.0dB.
• Es una opción adicional para migrar a 40G Ethernet
– NO es un estándar de la IEEE
• Conserva la configuración física de fibra dúplex 10G por el momento
• La configuración de la fibra multimodo duplex no es probable que soporte
100G Ethernet en el futuro
Proprietary © 2014 Anixter Inc. Quad Small Form-Factor Pluggable (QSFP) 55
Source: Cisco Systems
ARQUITECTURA DE RED LEAF-SPINE
• Un nuevo diseño para centros de datos

– Cada “leaf” esta conectada a cada “spine”
• El cobre es usado como enlace al servidor
– Destinados a ser usados en los ToR o EoR
– El cobre se usa por que es la opción mas costo-efectiva
– La fibra es usada de switch-to-switch
– Ahora la mayoría de uplinks requiren módulos QSFP (BiDi or MPO/MTP)
Spine Spine
Fiber
Copper
Leaf Leaf Leaf Leaf Leaf Leaf
Servers Servers Servers Servers Servers Servers

Source: TIA High Performance Cabling Task Force

MONITOREO Y GESTION DE LA
INFRAESTRUCTURA
NETWORK TAPS ARE A SAN MONITORING
BEST PRACTICE
• Traffic Access Points (TAPs)

– Han sido ampliamente utilizados en redes IP por mas de 20 años
– Proporcionar acceso directo a todos los niveles de tráfico de fibra
• Derivan datos sobre rendimientos de SAN/storage, utilización y errores de
Tx
– Son utilizados por todos los proveedores de sistemas y almacenamiento para
diagnosticar problemas.
– Permite al personal de TI:
• Asegurar alta disponibilidad de las aplicaciones
• Maximizar el desempeño de las aplicaciones
• Proactivamente encontrar problemas antes que los usuarios los
experimenten
• Permite el uso de pruebas de SAN y analizadores de protocolos

MONITOREO DE REDES POR MEDIO DE PUERTOS DE FIBRA
• Lo datos de la capa de red primero deben ser extraídos en una de las dos
siguientes maneras con el fin de aplicar herramientas de análisis
– Analizadores del puerto del Switch (SPAN=switch port analyzer)
• Puertos espejo (activo)
– Puerto Tap (pasivo para ópticas)
• Qué buscamos con el monitoreo?
– Amenazas de seguridad
– Problemas de desempeño
– Optimización (I/O cuellos de botella)

TAPS ÓPTICOS PARA EXTRACIÓN DE DATOS
La mejor práctica es hacer planes para la utilización de módulos de fibra TAP en la fase
de diseño de la arquitectura para la infraestructura de cableado en el centro de datos.
Source: Corning and Virtual Instruments

COMO LAS TENDENCIAS AFECTAN LA GESTIÓN DEL DC
• Los centros de datos están evolucionando

– Anteriormente monolítico, un tamaño único para todo almacenamiento de TI
– Hoy – altamente optimizado y edificios transparentemente inteligentes
• El mayor desafío es gestionar la infraestructura de TI y su ambiente
– Problemas causados si no se gestiona apropiadamente
• Implementación tardía de aplicaciones
• Gasto no planificado
• Servicio interrumpido
• Escasez o falta de recursos de energía, espacio y enfriamiento.

DATA CENTER INFRASTRUCTURE
MANAGEMENT (DCIM)
• DCIM es una nueva forma de gestión de centros de datos que extiende los
sistemas tradicionales y de gestión de red para incluir componentes físicos
y de nivel activo.
• DCIM aprovecha la integración de TI y la gestión de instalaciones para
centralizar el monitoreo, la gestión y la planificación de la capacidad
inteligente de los sistemas críticos de un centro de datos.
• Según IDC, se espera que DCIM pueda crecer a nivel mundial en un tasa
de crecimiento anual compuesta (CAGR) del 22,8% en un mercado
potencial de 690,3 millones dólares para el año 2016.
• Soluciones DCIM son el paso crítico en ayuda a la transformación de los
edificios transparentemente inteligentes y optimizados
• DCIM aún no está estandarizado, ni es una plataforma abierta; actualmente
requiere la elección de una solución de un solo proveedor

FACTORES QUE IMPULSAN LA ADOPCION DEL DCIM
• Aumento de potencia y densidad de calor.

• Consolidación del centro de datos.
• Virtualización y Cloud computing.
• Mayor dependencia organizacional en sistemas críticos de TI.
• Seguimiento (rastreo) de activos.
• Eficiencia energética o iniciativas verdes de TI.
• Principio orientador: Si algo no se mide o monitorea no se puede controlar.

MONITOREO – MEJORES PRÁCTICAS
• Monitorear y controlar el desempeño.

• Herramientas de monitoreo para capturar el desempeño, la temperatura, la
humedad y energía en el centro de datos.
• Medir temperaturas de los servidores en tiempo real.
• Crear gráficos históricos para tendencias.
• Facturación departamental basado en uso de energía en vez de espacio de
RU
Proprietary © 2014 Anixter Inc. 3/11/2015 65

EFICIENCIA – MEJORES PRACTICAS
• Power Utilization Efficiency (PUE) = relación de la potencia total que entra

en la instalación dividido por la energía utilizada por los equipos de TI.
• Una indicación de la eficiencia más precisa relaciona la potencia utilizada

con la cantidad de trabajo realizado
PUE: Power Usage Effectiveness
Building Load
Demand from grid
Power IT Load
• Switchgear • Servers
Total
• UPS IT • Storage
Facility
• Battery backup Equipment • Telco equipment
Power
• Etc. Power • Etc.
Cooling
• Chillers
• CRACs
• Etc.
PUE= Total Facility Power

Source: The Green Grid IT Equipment Power

• Cálculo del (PUE) requiere o bien un método de medición directa o una

aproximación estimada guiados por cálculos deductivos
Necesario para un enfoque de medición directa:
– Medición de la potencia de entrada a las instalaciones de cómputo
– Medición separada de los subsistemas del edificio:
• Iluminación
• HVAC
• Circuitos de dispositivos no informáticos
– Medición del consumo de energía de dispositivos informáticos
• Monitoreo del consumo de potencia del circuito derivado al PDU remoto y /
o monitoreo del consumo de energía del PDU a nivel del gabinete
• Para un enfoque calculado, se hacen estimaciones deductivas:
– El consumo de energía del subsistema del edificio basado en el área
– Consumo de energía del dispositivo informático
• El uso de PDU monitoreable es muy útil y aumenta la precisión

• Elimina la ezcla de aire caliente y frío

– Emplea pasillos calientes y pasillos fríos
– Elimina las brechas en las filas
– Use filas mas largas
– Use gabinetes con paneles ciegos
– Recortes para paso de cables sellados
HOT COLD HOT COLD

AISLE AISLE AISLE AISLE

• Use las mejores técnicas para el control de temperatura y distribución del

flujo de aire
• Oriente los CRAC perpendicularmente a los pasillos calientes
• Iguale la suma del flujo de aire de los equipos de TI con el flujo de aire de
los CRAC
• Uniformiice la presión estática del aire, utilizando 0,8 - 1,0 m de altura en
piso técnico , baldosas de ventilación ajustables y no coloque baldosas
perforadas cerca del CRAC

EFICIENCIA
MEJORES PRÁCTICAS: USO DE ECONOMIZADORES
Chiller
Water side: use of outside
air to cool chilled water
Cooling Tower
CRAC(s)
Routing through Chiller Bypassing Chiller
Air side: use of outside air

directly into data center

EFICIENCIA –
GESTIÓN DE LA ELECTRÓNICA
• Servidores virtuales, consolidación y almacenamiento:

– Virtualización de servidores
• Por ejemplo: VMware y HyperV (Microsoft), etc.
– Consolidación de equipos – utilice servidores blade en lugar de servidores
rackeables (comparten ventiladores y fuentes de alimentación)
• Utilice al aplicación de administración del CPU:
– Optimice el consumo de energía basado en la utilización de la CPU
– Reduzca los estados de energía del procesador cuando no es necesario el
máximo desempeño
– Reduzca el consumo de energía sin comprometer la capacidad de
procesamiento
• Almacenamiento:
– Tiered – utilice los drivers de alta velocidad únicamente cuando las
aplicaciones requieran de respuesta inmediata.
– Consolidación – discos de gran tamaño, velocidad lenta, uso más eficiente
con volumen

SALA DE CÓMPUTO
TENDENCIAS DE ARQUITECTURA
DISEÑO – LOSA VS. PISO TÉCNICO –
CONSIDERACIONES CLAVE
• Costo
– Motivado por tamaño.
– Arquitectura de la sala.
– Diseño y requerimientos de
energía/enfriamiento.
• Flexibilidad.
• Carga de piso.
• Densidad.
• Crecimiento.
• No hay decisión correcta o equivocada.
• Tanto la arquitectura de losa como la de
piso técnico son viables, pero requieren
decidirse por una de ellas desde el
principio del proceso de diseño
Photo courtesy: APC

ARQUITECTURA DE CENTRO DE DATOS MODULAR
• Uso de construcciones prefabricadas

– A veces, pero no siempre en contenedores
– Puede agregar puntos LEED al edificio
• Implementación rápida:
– Reduce el tiempo de construcción (10–12
meses)
– El diseño permite la construcción simultánea
de subsistemas internos
• Puede ser utilizado para modernizar
pequeños centros de datos en edificios
existentes.
• Los contenedores puede ser usados como
espacios suplementarios, auxiliares, o para
recuperación de desastres.
• Es posible movilizar las instalaciones
Diagram courtesy: Emerson / Liebert

PROYECTO DE CÓMPUTO ABIERTO
• Iniciado en Facebook ~2012

• www.opencompute.org: es una fundación que provee una estructura en la
cual los individuos y las organizaciones pueden compartir su propiedad
intelectual
• Objetivo: construir la infraestructura informática más eficiente al menor
costo posible
– Desafiando los convencionalismos con un diseño desde cero.
– Compartir tecnologías conforme evolucionan.
• Hardware abierto: servidores, almacenaje, rack, networking
– Especificaciones y dibujos mecánicos liberados al público
– Trabajar con la comunidad para mejorarlos
• Diseño del centro de datos
– Maximiza el desempeño mecánico así como la eficiencia térmica y energética
• Resultado: el data center es 38% más eficientes y 24% más económico
que los data centers más modernos.
Source: Opencompute.org

SOFTWARE DEFINED NETWORKING (SDN)
• Evolucionó a partir del trabajo realizado en la Universidad de Berkeley y la Universidad de

Stanford en 2008
• Pregunta original: ¿Cómo pueden los investigadores en los campus universitarios probar nuevas
ideas en una red real, a escala?
• Es un estándar abierto – desacopla la función de toma de decisiones de la red del sistema
subyacente que envía el tráfico a su destino
– “La separación física del plano de control de red del plano de envíos y donde un plano de
control controla varios dispositivos”
• La toma de decisiones se realiza mediante un servidor independiente
• Principalmente enfocado a la investigación
• www.opennetworking.org
• SDN: is a networking architecture that provides a capability to control or "define" network traffic flows, security policies, or
network topology by dinamically programming network devices.
• The programming capability is centralized and hosted on one or a few standard servers knows as SDN controller which is
the brain of SDN network.
• SDN is esentially network virtualization
• SDN requires a robust physical infraestructure (cabling) and bandwith

RESTRUCTURACIÓN DE LA RED SDN
Feature Feature
Network OS
Feature Feature
Operating
System
Feature Feature
Specialized Packet
Forwarding
Hardware Operating
System
Feature Feature Specialized Packet
Forwarding
Hardware
Operating
System
Feature Feature
Specialized Packet
Forwarding
Operating
Hardware
System
Specialized Packet
Forwarding
Feature Feature
Hardware
Operating
System
Specialized Packet
Source: OpenFlow.org Forwarding
Hardware
SOFTWARE DEFINED NETWORKING (SDN)
3. Well-defined open API 2. At least one Network OS

probably many.
Feature Feature Open- and closed-source
Network OS
1. Open interface to packet forwarding
Packet
Forwarding Packet
Forwarding
Packet
Packet Forwarding
Forwarding Packet
Forwarding
Source: OpenFlow.org

CONCLUCIONES
• El entorno del centro de datos sigue evolucionando

– Los requerimientos de ancho de banda se incrementarán.
– Serán necesarios sistemas de alta-densidad de energía y enfriamiento
– Las instalaciones requerirán operaciones costo efectivas y eficientes.
• La tecnología sigue evolucionando en apoyo de nuevas aplicaciones para
centros de datos
– Virtualización y cloud computing
– Mayores tasas de transmisión de datos de las redes
– Desempeño de la infraestructura de cableado
– Sistemas eficientes de distribución de energía y enfriamiento.

CONCLUSIONES
• Anixter Data Center HealthCheckSM

– El HealthCheck mira el entorno de un centro de datos y determina si se está
cumpliendo con los objetivos de rendimiento y eficiencia de la organización
– Diseñado para hacer frente a los obstáculos y desafíos comunes
• El aumento del consumo de energía
• La construcción de sistemas integrados
• El aumento de ancho de banda
• Centros de datos convergentes
• Entornos virtualizados
• Consúltenos acerca de nuestro personalizado Data Center HealthCheck!

GRACIAS.
81

Diseño de Centros de Datos: Data Center College

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Diseño de Centros de Datos: Data Center College

Uploaded by

Copyright:

Available Formats

DISEÑO DE CENTROS DE DATOS

Data Center College |

• Tendencias Tecnológicas y de la Industria para Centros de Datos

Proprietary © 2014 Anixter Inc. 2

Data Center-to-Data Center Data Center-to-User Within Data Center

Replication, Web, email, internal Storage, production

VoD: Video on Demand

X86 Servers by Ethernet Connection Speed (2012 Pronóstico)

Proprietary © 2014 Anixter Inc. 5

Server-class Adapter & LOM

2 • 40 GbE sobre fibra multimodo

– OM4 = 150 metros

Source: IEEE 802.3 Working Group

• Actualmente el estándar de la IEEE especifica 10 x 10Gbps para Tx y Rx

Proprietary © 2014 Anixter Inc. 7

• La necesidad está siendo

Proprietary © 2014 Anixter Inc. 8

• IEEE estableció un grupo de estudio para 400Gbps Ethernet (Marzo, 2013)

Source: IEEE 802.3 Ethernet Working Group

Proprietary © 2014 Anixter Inc. 9

• Conectividad de centros de datos (82%)

De las empresas investigadas:

Source: Forrester Research,

Proprietary © 2014 Anixter Inc. 10

• Cualidades de los productos para empresa de servicios públicos

Proprietary © 2014 Anixter Inc. 11

Operado por el propietario

Los tipos de Centros de Datos están Evolucionando de Acuerdo a las

Proprietary © 2014 Anixter Inc. 13

• Multi-tenant data centers son instalaciones de

Proprietary © 2014 Anixter Inc. 14

• Se ofrecen en PODs o celulas. Los tamaños van desde 10,000 – 50,000

Proprietary © 2014 Anixter Inc. 15

• El espacio del centro de datos se vende sobre la base

Proprietary © 2014 Anixter Inc. 16

• El alto volumen de tráfico de Internet está obligando a las redes y a los

Proprietary © 2014 Anixter Inc. 17

• El hardware del servidor gestionado puede

Proprietary © 2014 Anixter Inc. 18

• ANSI/TIA-942-A (2012) “Estándar de Infraestructura de

Proprietary © 2014 Anixter Inc. 21

Proprietary © 2014 Anixter Inc. 22

• Data Center – “Un edificio o parte de

“El propósito de este estándar es proporcionar los

“Los centros de datos … se pueden beneficiar de la

ANSI/TIA-942-A Standard is available from Global Documents (www.global.ihs.com )

Proprietary © 2014 Anixter Inc. 24

ACCESS PROVIDERS Entrance Room ACCESS PROVIDERS

Work areas in offices, MDA Computer

• Consolidation of main cross-connect and horizontal cross-connect into a single MDA

Proprietary © 2014 Anixter Inc. 26

ACCESS PROVIDERS ACCESS PROVIDERS

Work areas in offices, Primary Entrance Secondary Entrance

EDA EDA EDA EDA EDA

Proprietary © 2014 Anixter Inc. 27

• Cableado por encima de los gabinetes puede mejorar la eficiencia de

Proprietary © 2014 Anixter Inc. 28

• El cableado dentro de gabinetes, racks, etc., no debe obstaculizar la

Proprietary © 2014 Anixter Inc. 29

• ANSI/TIA-942-A distancias Front

– Frente: recomendado: 4 pies (1.2 metros) Rear

Proprietary © 2014 Anixter Inc. 30

Proprietary © 2014 Anixter Inc. 31