Note di Matteo

C'è un nuovo modello open di OpenAI:

Privacy Filter is a small model with frontier personal data detection capability. It is designed for high-throughput privacy workflows, and is able to perform context-aware detection of PII in unstructured text. It can run locally, which means that PII can be masked or redacted without leaving your machine. It processes long inputs efficiently, making redaction decisions in a quick, single pass.

Dimensione da 1,5 miliardi di parametri di cui 50 milioni attivi. Disponibile su Hugging Face con licenza Apache 2.0 (quindi anche uso commerciale).

Imagine if this is as good as AI gets. If this is where it stops, you'd still have models that can almost code a web browser, almost code a compiler—and can even present a pretty cool demo if allowed to take a few shortcuts. You'd still get models that can kinda-sorta simulate worlds and write kinda-sorta engaging stories. You'd still get self-driving cars that almost work, except when they don't. You get AI that can make you like 90% of a thing!

90% is a lot. Will you care about the last 10%?

I'm terrified that you won't.

I'm terrified of the good enough to ship—and I'm terrified of nobody else caring. I'm less afraid of AI agents writing apps that they will never experience than I am of the AI herders who won't care enough to actually learn what they ship. And I sure as hell am afraid of the people who will experience the slop and will be fine with it.

[...]

I'm terrified that our craft will die, and nobody will even care to mourn it.

Dima Konev, software engineer, in (AI) Slop Terrifies Me.

Il modo di parlare fastidiossissimo e innaturale delle AI è diventato misurabile:

It feels to me that a good part of the industry is using token count numbers similarly to how the lines-of-code-produced metric was used years ago. There was a time when the number of lines written daily or monthly was an important metric in programmer productivity, until it became clear that it’s a terrible thing to focus on. A lines-of-code metric can easily be gamed by writing boilerplate or throwaway code. Also, the best developers are not necessarily those who write the most code; they’re the ones who solve hard problems for the business quickly and reliably with – or without – code!

Similarly, the number of tokens a dev generates can easily be gamed, and if this metric is measured then devs will indeed game it. But doing so generates a massive accompanying AI bill!

Gergely Orosz in The Pulse: ‘Tokenmaxxing’ as a weird new trend.

I tre tipi di software engineer secondo The Pragmatic Engineer:

• Builders: those who care about quality, good architecture, following good coding practices, and who talk about the craft of software engineering, etc.

• Shippers: those who primarily focus on outcomes for a product, features, testing, and experimenting with users. A fair number of leaders, managers, and engineers who were more hands-off with coding before AI tools are in this category, as are product engineers.

• Coasters: engineers who are not considered particularly good or great engineers, but they get the work done. They often do this without much taste or concern for quality, and seem to be mostly coasting along and doing what they’re told.

Con l'AI, queste categorie restano ma con diversi livelli di entusiasmo e pro/contro. Il resto nell'articolo.

Space Kangaroo su YouTube mi fa sempre ridere, prende cose che le AI non sanno fare e i risultati sono assurdi. Il montaggio è stupendo. L'ultimo è Google Gemini tries to play Minesweeper.

Firn is a high-performance, multi-tenant vector and full-text search engine backed by object storage (S3 / MinIO / R2 / GCS). It is designed as a credible open-source alternative to turbopuffer, proving that a professional-grade tiered storage architecture (RAM → NVMe → S3) is achievable entirely from open-source components. The cost efficiency of S3 with the speed of local RAM. A multi-tenant vector and full-text search engine backed by S3. Built with LanceDB and Foyer for microsecond-scale search latency on top of object storage.

Alexa che ritiene che S. Luigi IX sia il 12 aprile (è il 25 agosto):

Gemini che sostiene che il 12 aprile sia Pasqua anche per i cattolici in Italia, inventadosi regole inesistenti per giustificare la data:

(Gemini Flash, I know.)

Un altro caso di AI che sta al gioco e (forse) contribuisce a portare una persona al suicidio, questa volta con Gemini, che mostra tutti i limiti degli LLM che ogni tanto deragliano e dicono cose assurde.

La nuove funzioni AI di Telegram basate sulla rete distribuita Cocoon sono evidentemente powered by un LLM cinese (Qwen, immagino):

🇹🇼 The AI text editor's error correction function refuses to work when mentioning the country Taiwan because it corrects it to something like «Taiwan is a state of the PRC».

Dal canale Telegram News and Tips.

Altra conferma, dal Wall Street Journal, che Sora è stato dismesso perché usava troppe GPU:

OpenAI was weeks away from finishing work on a new AI model, code-named Spud, and needed to free up more computing resources to power the coding and enterprise products that would run on it. AI chips are the most precious commodity at any leading research lab, and at OpenAI, Sora was eating up far too many of them.

OpenAI’s researchers are able to track how AI chips are allocated between different groups through an internal dashboard. Some of them were surprised by the amount of computing resources the company gave to the Sora team, given that video-generation tools didn’t make much money, nor improve the capabilities of its language models.

Mentre sempre il WSJ racconta un po' della backstory che ha portato alla scissione di Dario Amodei e quindi Anthropic da OpenAI, nel 2020. Il riassunto è che il tutto è in mano a cricca di tech bros un po' pazzi e dalla dubbia etica che litigano continuamente tra loro per il potere. Cioè business as usual per gli standard della Silicon Valley.

In the next 6 to 12 months, the engineer who makes the difference is the one who can look at an agent’s output and say “this is wrong for reasons you can’t see from where you’re standing.” The one who knows which doors are one-way, which abstractions will calcify, and which corners will cost you later.

Boris Tane in Slop Creep: The Great Enshittification of Software

Pantio sta di fatto ricreando "Be Right Back" di Black Mirror (S2E1): un'AI riproduce la voce di una persona cara morta con interazioni in tempo reale, per aiutare a superare un lutto (si suppone). La prima metà dell'episodio BM è effettivamente completamente replicabile dalle AI moderne, la seconda no ahah (no spoiler).

La dismissione di Sora serve a liberare GPU, scrive Alex Heath:

While the outside world speculates about motivations, the reality is that OpenAI is making trade-offs in how it allocates compute across research, product launches, and inference. Video generation is extraordinarily GPU-intensive, and every chip powering Sora clips was one not powering what OpenAI is focusing on right now: Codex and its enterprise products. OpenAI employees are under tremendous pressure to catch up with Anthropic on coding around productizing it in a way that’s accessible to non-engineers, like Claude Cowork has done.

OpenAI che dismette Sora (generazione video) completamente, o così sembra, è un bel plot twist. Forse i video generati con AI non hanno questo gran futuro.

We’re saying goodbye to Sora. To everyone who created with Sora, shared it, and built community around it: thank you. What you made with Sora mattered, and we know this news is disappointing.

We’ll share more soon, including timelines for the app and API and details on preserving your work. – The Sora Team

L'approccio anti-developer di Anthropic che il feedback degli utenti su Claude Code è imbarazzante:

• È vietato usare l'abbonamento Pro/Max fuori dai tool ufficiali e Anthropic non si fa problemi a mandare lettere di avvocati a progetti open source.
• Gli utenti vengono sospesi anche per usi innocui come estrarre le statistiche di utilizzo (CodexBar).
• Nell'uso normale il terminale scrolla in cima alla lista dei messaggi casualmente. È un problema da quando CC esiste.
• Quando l'agente legge un file, non ti dice che file ha letto. Ad Anthropic non interessa, dice "usate la verbose mode e abituatevi". Ma intanto la verbose mode è stata annacquata togliendo le cose che uno si aspetta da un verbose output, come i blocchi di thinking.
• Non si può più vedere il thinking dell'LLM. Era un bug, è stato risolto ma è tornato due versioni dopo.
• Claude Code non è in grado di fare modifiche nei file che usano tab per l'indentazione (!).
• Gli LSP sono inutili perché sono sempre stale (non si aggiornano in tempo per il prossimo giro dell'agente e altri bug).

Boh.

ChatGPT usa questa sintassi per le citazioni:

\uE200cite\uE082turn2search5\uE201

Oppure con due citazioni:

\uE200cite\uE082turn2search5\uE082turn2news1\uE201

Dove i simboli Unicode sono "caratteri" privati invisibili usati così:

• Inizio: U+E200
• Separatore: U+E082
• Fine: U+E201

Scelta interessante.

Gli ID (es. turn2search5) sono presi direttamente dall'output dei tool, ad esempio:

{
  "search_results": [
    {
      "ref_id": "turn2search0",
      "title": "Eiffel Tower history",
      "url": "https://example.com/eiffel-history"
    },
    {
      "ref_id": "turn2search1",
      "title": "Britannica - Eiffel Tower",
      "url": "https://example.com/britannica-eiffel"
    },
    {
      "ref_id": "turn2search2",
      "title": "Paris tourism - Eiffel Tower",
      "url": "https://example.com/paris-tourism"
    }
  ]
}

Mistral sembra invece usare questa sintassi:

:refs[1-3,7,9]

Dove 3, 7 e 9 sono indici della lista di risultati di un tool, l'1 non so cosa sia.

Esempio di tool output:

{
  "0": {
    "url": "https://trytako.com/embed/OQENsP2y2BMZd8fnd6oa/",
    "title": "Unit Calculator: 330.0 Inchs to Meters",
    "description": "Questa scheda mostra la conversione da Pollice a Metro...",
    "snippets": [],
    "date": null,
    "rank": 0,
    "source": "tako",
    "metadata": {},
    "can_open": false,
    "content_type": "tako_widget"
  },
  "1": {
    "url": "https://www.vacanzeparigine.it/torre-eiffel/",
    "title": "Come visitare la torre Eiffel - Vacanze Parigine",
    "description": "Gli altri piani rimarranno disponibili alla visita... secondo piano: a 115,88 metri d’altezza e 669 scalini.",
    "snippets": [
      "CHIUSURA: a causa di lavori di manutenzione la cima della torre Eiffel (il terzo piano) rimarrà chiusa dal 5 gennaio al 6 febbraio 2026 (info). Gli altri piani rimarranno disponibili alla visita. INCREMENTO TARIFFARIO: il costo dei biglietti subirà un aumento a partire dalle visite dal 12 gennaio 2026 in poi. ... secondo piano: a 115,88 metri d’altezza e 669 scalini.",
      "Considerando l’antenna, la torre Eiffel raggiunge i 330 metri d’altezza..."
    ],
    "date": "2026-01-12T08:22:43",
    "rank": 0,
    "source": "brave",
    "metadata": {},
    "can_open": true,
    "content_type": "web_page"
  },
}

Claude usa invece questa sintassi più esplicita:

<cite index="2-1">Label</cite>

Dove 2 sarebbe il documento di riferimento mentre 1 la frase citata. Quindi si possono citare più frasi e anche più documenti:

<cite index="2-1:3">Label</cite>
<cite index="1-2,3-4">Label</cite>

Gli indici sono estratti dagli output dei tool, ad esempio:

<document index="2">
  <source>La Torre Eiffel, Sito UFFICIALE: biglietti, info, notizie,…</source>
  <document_content>
    <span index="2-1">Alta 330 metri, la Torre Eiffel ha una storia affascinante 
    che risale alla fine del XIX secolo. Il suo progettista, l'ingegnere Gustave 
    Eiffel, era famoso per la realizzazione di ponti, viadotti e capriate 
    metalliche, già prima di costruire ...</span>
  </document_content>
</document>

Claude Code riscrive chardet ("Python character encoding detector") con prestazioni 48 volte superiori alla versione precedente. La licenza open source cambia da LGPL a MIT perché è un rewrite totale. È un lavoro indipendente oppure un lavoro derivato? La questione si ripresenterà sempre più spesso.

Last week, Dan Blanchard, the maintainer of chardet—a Python library for detecting text encodings used by roughly 130 million projects a month—released a new version. Version 7.0 is 48 times faster than its predecessor, supports multiple cores, and was redesigned from the ground up. Anthropic's Claude is listed as a contributor. The license changed from LGPL to MIT.

Blanchard's account is that he never looked at the existing source code directly. He fed only the API and the test suite to Claude and asked it to reimplement the library from scratch. The resulting code shares less than 1.3% similarity with any prior version, as measured by JPlag. His conclusion: this is an independent new work, and he is under no obligation to carry forward the LGPL.