Auto-avaliação do nível de proteção de recuperação de desastres
DataDirect Networks reconhece sistemas de arquivos paralelos existentes serão executados full tilt em uma parede escalabilidade à medida que se oprimido por arquivos simultâneos acessos e bloqueios de complexos de computação HPC com dezenas de milhares de núcleos. É necessário um cache maior, melhor e mais rápido.
DDN criou o conceito de memória infinita Engine (IME) e irá desenvolvê-lo em um até três anos de computação de alto desempenho (HPC) IO esforço de otimização de pilha. A idéia básica é muito simples: manter um cache de estado sólido entre vários núcleos de CPU rápidas multi-threaded que produzem OI aleatórios por um lado e uma matriz de armazenamento do sistema de arquivos paralelo no outro.
Compute explosão núcleo
Pensamento de DDN é que o número de núcleos de computação em um complexo de computação HPC vai crescer radicalmente. Seu pensamento é informado por seu trabalho fazendo em os EUA Los Alamos National Laboratory nos chamados buffers de ruptura. Olhando para um Top 500 de supercomputadores de 2010, ele diz que um cluster de computação teve média de 13.000 núcleos. É estimado que o número de um supercomputador top 500 em 2018 seria 57772000 núcleos - 57772000. Isto é o que ele chama de território exascale.
Vamos dizer que os processadores de 2010 foram duplo-threaded, então pedidos IO de 26.000 tópicos conseguiu acertar o sistema de arquivos. Em 2018, digamos, com CPUs 12-threaded, poderíamos ter pedidos de IO de 693.300.000 tópicos acertar o sistema de arquivos. Este seria um aumento de 26.665 por cento.
As chances de qualquer parte com chave de um arquivo que está sendo bloqueado iria crescer muito, até o ponto onde pode haver filas de bloqueios espera também ser instanciado e os aplicativos HPC desacelerar, com cálculo de espera para o armazenamento.
DDN aponta que a adição de fusos por largura de banda suficiente para lidar com este problema é muito caro e os discos falhar, o que significa um monte de programação defensiva tem de ser feito para lidar com isso. Em algum ponto, é mais barato para ter um buffer de estado sólido do que para continuar adicionando eixos, ea vantagem de estado sólido ao longo do disco continua ficando maior à medida que a contagem da linha / core no complexo computacional aumenta.
Precisamos de um buffer para lidar com duffers disco lentos
Por isso, precisamos, diz DDN, um buffer muito grande e muito rápido interposta entre os de computação e armazenamento partes de um sistema HPC, de modo a manter a computação computação com aleijando o armazenamento de back-end.
DDN diz que seu IME é um:
- cache de armazenamento NVRAM distribuído usando algoritmos patenteados para eliminar a pressão de bloqueio de arquivo,
- tem proteção de dados cross-rede,
- o, sistema consciente-load-evitando falhas otimiza para a velocidade,
- ele é totalmente integrado com os sistemas de arquivos paralelos HPC populares como Lustre e GPFS e
- o uso de um cache NVRAM irá simplificar aplicativo enveloper trabalho IO.
DDN diz que, ao usar IME, um Big Data ou HPC aplicativo emite um pedido de gravação para o IME. O IME é escalável e escaláveis "escreve" não necessitam de bloqueios do sistema de arquivos paralelos <- alerta molho secreto.
Gravações são mapeados dinamicamente para o armazenamento de estado sólido, com base na sua carga e de saúde, e, em seguida, protegida. Os dados são drenados seletivamente para um sistema de arquivos paralelo de maneira totalmente seqüencial, DDN diz, e isso garante quase perfeita utilização do disco.
Persisted lê são encenadas no buffer IME, ou para o cliente diretamente. DDN diz o lê são rápidos, bem desde que eles são feitos de 100 por cento sequencialmente os dados gravados.
Alega IME pode lidar com milhões de solicitações simultâneas por segundo, escala linearmente para aplicações em rajadas, e escalas 2000 vezes melhor do que a tecnologia do sistema de arquivos HPC de hoje. Enquanto IME não foi anunciado como um produto DDN é incluí-lo em licitações para sistemas petascale.
Blogging tampão Explosão
DDN marketeer Jeff Denworth escreveu um blogue IME . Nela, ele diz: "O segredo cabeludo sobre sistemas de arquivos paralelos é que as operações mais verdadeiramente paralelo trazê-los de joelhos escreve compartilhados são o pior, como metadados disputa torna-se insuportável quando você começa além de alguns 100K solicitações simultâneas.".
Hoje, o IME usa flash NAND. No futuro, pode usar uma tecnologia pós-flash não-volátil, como resistiva RAM, transferência de spin-Torque RAM ou memória de mudança de fase.
Do DDN Jean-Luc Chatelaine, EVP de estratégia e tecnologia, escreve no seu blogue : "Acontece que eu sou um grande fã da abordagem in-memory, mas também um crente que a Memória Next Gen NV (ou seja, PCM, ReRAM, Stram) é o "caminho para a salvação da aplicação."
"A economia dessas tecnologias futuras são tais que eles vão permitir que grandes quantidades de memória rápida, estático, baixo consumo de energia para estar ao lado de DRAM (para a divulgação completa, estou muito inclinado para ReRAM), e com a camada de middleware direito pode . fazer I / O "desaparecer", como visto a partir da camada de aplicação Isso irá reduzir os níveis de persistência para um, enquanto eliminando a complexidade - com o efeito colateral importante é que a camada de armazenamento verdade vai permitir o uso de lento, muito gordo e muito verde , a mídia girando.
A EMC também tem atividades em Los Alamos e também está envolvida no trabalho de buffer estourar com seu aparelho ABBA . ®
Nenhum comentário:
Postar um comentário