本文へスキップ
ホットトピック継続更新中

科学数据存档转向分块索引架构以适配AI

1 件の報道1 件の報道元7 時間前 更新

まずこの件を把握する

AI 概要

让科学数据存档适配 AI 需要从传统的按文件归档方式,转向按数据集的分块(chunk)索引架构。在此类架构下,数据存入对象存储后,系统会为 NetCDF、GRIB 等科学数据格式构建分块索引,用户可直接利用 HTTP range requests 按需提取特定数据块,而无需下载完整文件。实际应用显示,以 GOES-16 为例,这种分块获取方式可减少 576 倍的数据传输量,并帮助 NASA 在常见查询中实现 100 倍的访问提速。

AI が報道をもとに生成 · 6 時間前 更新

報道タイムライン

報道をたどり、出来事のさまざまな側面を知る。

11月4日
  1. Hacker News · AI
    如何让科学数据存档适配 AI

    让科学数据存档适配 AI 需从按文件归档转向按数据集的分块(chunk)索引架构。数据存入对象存储后,系统通过为 NetCDF、GRIB 等格式构建分块索引,可直接利用 HTTP range requests 按需提取数据块而无需下载完整文件。以 GOES-16 为例,分块获取可减少 576x 数据传输量,帮助 NASA 在常见查询中实现 100x 提速。

このストーリーのホット度の推移

現在のホット度 8·比較可能範囲のピーク 10(11月5日 00:00)·直近24時間の比較可能な変化–

02.557.51011月5日00:0011月5日02:0011月5日03:0011月5日05:00

トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。