Note di Matteo

In questo articolo di Hardware Upgrade qualche foto della loro visita nel datacenter OVHcloud di Parigi (il primo con 3 AZ).

CloudFront ora supporta mTLS (mutual TLS authentication con certificato client) senza costi aggiuntivi. Molto interessante.

S3 server access logs at scale. Yelp spiega come usa e gestisce grandi quantità di log di accesso a S3, su S3.

Interessante il postmortem di Incident.io per l'outage AWS di ottobre in us-east-1:

We’re hosted in multiple regions of Google Cloud and so the majority of our product was unaffected by the outage. However, we do depend on third parties for some aspects of our platform, who themselves are hosted in AWS, or have their own dependencies that are.

Il paradosso è che Incident.io serve proprio nelle occasioni in cui ci sono outage, e molte feature avevano problemi, incluso il sistema di autenticazione, il bot di trascrizione dei meeting, le notifiche via SMS e le chiamate, ma soprattutto l'impossibilità di fare deployment di codice perché Docker Hub era offline.

We use Google Container Registry to host our built docker images, which wasn’t impacted by the AWS outage at all, so we were surprised to see failures. We quickly realised however, that the issue actually lay with our base image (golang-1.24.9-alpine). Crucially, this resolved to a Docker registry image, and Docker runs their registry on AWS.

I tentativi di aggirare il problema non sono andati a buon fine e non c'erano nell'immediato alternative che non avessero una dipendenza su AWS.

Differentemente il servizio Ably (API realtime) aveva un sistema multi-region che è funzionato correttamente:

During this week’s AWS us-east-1 outage, Ably maintained full service continuity with no customer impact. This was our multi-region architecture working exactly as designed; error rates were negligibly low and unchanged throughout.

E la Svizzera invece ha ora una posizione ufficiale sull'evitare i servizi cloud USA all'interno delle autorità statali:

The Conference of Swiss Data Protection Officers, Privatim, has severely restricted the usability of international cloud services – particularly hyperscalers like AWS, Google, or Microsoft – for federal authorities in a resolution. At its core, the resolution from Monday amounts to a de facto ban on the use of these services as comprehensive Software-as-a-Service (SaaS) solutions whenever particularly sensitive or legally confidential personal data is involved. For the most part, authorities will likely only be able to use applications like the widespread Microsoft 365 as online storage.

Questione da tenere d'occhio: una sentenza in Canada chiede a OVHcloud di fornire dati sotto il controllo della parent company globale di OVH, con sede in Francia. Fornire quei dati sarebbe illegale per la legge francese, ma se OVH non si rende conforme alla sentenza starebbe violando la legge canadese. Dove è presente con un'entità locale indipendente per i servizi cloud.

Anche Resend durante l'outage Cloudflare ha iniziato a lavorare per sostituire Cloudflare con AWS CloudFront, ma alla fine non l'ha fatto e preferisce avere l'edge AWS (dove c'è il resto dell'infrastruttura) solo come failover.

The CloudFront solution was not deployed, but the runbook was created. If the incident were to recur, we could switch to the fallback within 60 seconds. We continued to monitor and then closed the status page.

Cloudflare KO da quasi due ore e la differenza rispetto a quando us-east-1 di AWS è down è che i disservizi Cloudflare tendono ad essere globali e quindi più impattanti.

La quantità di siti impattati che sto osservando mi sembra maggiore rispetto all'outage AWS del mese scorso. A questo giro noto cloud provider con i siti in crisi (Netsons), servizi di status page (Instatus), di rilevamento errori (Bugsnag), di invio email (Mailtrap, Resend) che usano Cloudflare magari senza nemmeno averne bisogno, magari perché "lo usano tutti", "costa poco", e senza un'adeguata valutazione di cosa comporta far passare l'intero traffico non cifrato attraverso un'azienda che non ha una reputazione di affidabilità. A questo giro anche ChatGPT, X e N26.

Magari anche con l'illusione che Cloudflare serva a qualcosa out of the box nel gestire gli attacchi DDoS. Non lo è: gli attacchi L3/L4 li gestisce tipicamente ogni provider di rilievo (almeno fino a una certa scala) e non è per questo necessario Cloudflare, mentre è noto a chi ci è passato che Cloudflare ha l'abitudine di passare alla origin gli attacchi L7 anche significativi (decine di migliaia di richieste al secondo), fuori pattern e con origin palesemente in crisi. Di certo è un utile, flessibile e soprattutto accessibile firewall edge a scalabilità infinita che avrebbe bisogno di più competizione.

La region OVHcloud di Milano con 3 AZ è live.

AWS Lambda networking over IPv6 is here!

Numeri sulla migrazione di Mezmo da Elasticsearch a Quickwit.

Con Elasticsearch:

• 2 PB di storage
• 275 istanze EC2
• 35 TB di RAM
• 7770 core

(800 MB - 2 GB di integestion al secondo)

Con Quickwit (che è pazzesco!):

• -80% storage
• -40% di instanze EC2
• -98% RAM
• -93% CPU

L'nginx ingress di Kubernetes sarà dismesso (nessun aggiornamento nemmeno di sicurezza) da marzo 2026, senza evidenti alternative equivalenti. Wow.

PostgreSQL extensions on cloud monitora quali estensioni sono presenti su quali cloud provider che offrono PostgreSQL managed. Utile! E dato che OVHcloud e UpCloud si basano su tecnologia Aiven, sono implicitamente inclusi nel confronto.

Charting the life of an Amazon CloudFront request. Un po' di dettagli su come funziona la CDN AWS e l'ordine delle varie fasi di elaborazione di una richiesta.

Storia molto interessante di scaling: come Nanit ha risparmiato 500mila $ all'anno implementando un S3 in memoria, e i problemi di scaling (networking e memory leak) incontrati una volta deployato con il traffico in produzione di diversi GB/s.

Today, us-east-1 is the single largest AWS region. It generates an estimated 2.5GW capacity spread across 6 availability zones (AZs) and 158 data centers. In comparison, the second-largest region is us-west-1 in Oregon, with an estimated 1.7GW capacity spread across 4 availability zones (AZs) and 48 data centers. Not only is us-west-1 about smaller than us-east-1, but it also charges higher per-instance prices than us-east-1.

(da The Pragmatic Engineer)

TIL AWS chiama le istanze EC2 "droplet" internamente, come DigitalOcean:

The first subsystem is DropletWorkflow Manager (DWFM), which is responsible for the management of all the underlying physical servers that are used by EC2 for the hosting of EC2 instances – we call these servers “droplets”.

I database PostgreSQL managed di Ubicloud sono ora anche su infrastruttura AWS. Ubicloud è olandese anche se controllata da Ubicloud Inc., statunitense.

Giornata nerissima per AWS: siamo a 14 ore di problemi diffusi in us-east-1, a varie fasi e con diversi servizi coinvolti.

Qualche dettaglio in più sui nuovi piani Hetzner Cloud:

• The CX (cost-optimized x86 cloud servers) Gen3 line is no longer Intel-only, but uses the previous generation of both Intel and AMD servers (from CX Gen1, CX Gen 2, and CPX Gen1). This is still the go-to option for budget needs.
• The CPX (still shared, but performance-optimized cloud servers) Gen2 has been refreshed with a more recent AMD hardware (Genoa), offering both better price and performance.
• The CAX (costs-optimized ARM cloud servers) and CCX (cloud servers with dedicated vCPUs) lines did not receive a hardware update as far as I can tell.