Merge pull request #79 from IliesAllali/import-zip

Import d'un zip : le GEDCOM et ses photos en une fois
This commit is contained in:
IliesAllali authored and GitHub committed 2026-10-17 12:54:50 +02:00
commit 991a9625a2
8 files changed
+372 -25

No files matched your search

+25 -9
View File
@@ -60,6 +60,8 @@ import AnnotationToolbar from './components/annotations/AnnotationToolbar'
import TextInputOverlay from './components/annotations/TextInputOverlay'
import { filiations, getChildren, getParents, getPersonUnions, medias, persons, unions } from './data/mockData'
import { readGedcomFile } from './utils/gedcomText'
import { readGedcomBundle, zipErrorMessage } from './utils/gedcomBundle.js'
import { materializeFile } from './utils/zipReader.js'
import { loadMediaRefs, loadPhotoRefs, pickFirstFaces, prepareImageForUpload, saveMediaRefs, savePhotoRefs, sizeBucket } from './utils/photoImport'
import { fileToBase64, getAccountErrorMessage } from './utils/errorMessages'
import { getSiblingParentLinks } from './utils/familyLinks'
@@ -484,7 +486,7 @@ function App() {
const [adminPanelVisible, setAdminPanelVisible] = useState(false)
// Premiers visages : fenêtre ouverte après un import GEDCOM, ou depuis les paramètres de l'arbre
const [photoStart, setPhotoStart] = useState({ visible: false, personsImported: null, refs: [], mediaRefs: [], faces: [] })
const [photoStart, setPhotoStart] = useState({ visible: false, personsImported: null, refs: [], mediaRefs: [], faces: [], bundledFiles: [] })
const photoStartDirtyRef = useRef(false)
const [showConfirmModal, setShowConfirmModal] = useState(false)
const [showDraftBanner, setShowDraftBanner] = useState(false)
@@ -577,7 +579,8 @@ function App() {
.filter(Boolean),
}), [linkedSelfPersonId, tree.treeContext.rootPersonId])
const openPhotoStart = useCallback(({ personsImported = null, refs = null, mediaRefs = null, treeId = null } = {}) => {
// bundledFiles : les photos et actes d'un zip importé, rapprochés tout de suite sans demander de dossier
const openPhotoStart = useCallback(({ personsImported = null, refs = null, mediaRefs = null, treeId = null, bundledFiles = [] } = {}) => {
photoStartDirtyRef.current = false
setPhotoStart({
visible: true,
@@ -585,6 +588,7 @@ function App() {
refs: refs ?? loadPhotoRefs(treeId || tree.treeContext.treeId),
mediaRefs: mediaRefs ?? loadMediaRefs(treeId || tree.treeContext.treeId),
faces: computeFirstFaces(),
bundledFiles,
})
}, [computeFirstFaces, tree.treeContext.treeId])
@@ -2373,14 +2377,23 @@ function App() {
if (payload.gedcomFile) {
let imported = null
let importError = ''
let bundledFiles = []
try {
const content = (await readGedcomFile(payload.gedcomFile)).text
// Un zip apporte le .ged et ses photos : le .ged s'importe, les photos attendent l'étape des visages
let bundle
try {
bundle = await readGedcomBundle(payload.gedcomFile)
} catch (error) {
throw new Error(error?.code === 'no_gedcom' ? error.message : zipErrorMessage(error), { cause: error })
}
bundledFiles = bundle.bundledFiles
const content = (await readGedcomFile(bundle.gedcomFile)).text
imported = content.trim()
? await importGedcom(createdTree.id, content, token)
: null
if (!imported) importError = t('Le fichier GEDCOM est vide.')
} catch (error) {
importError = getAccountErrorMessage(error) || t("Impossible d'importer ce fichier GEDCOM.")
importError = (error?.cause && error.message) || getAccountErrorMessage(error) || t("Impossible d'importer ce fichier GEDCOM.")
}
await auth.loadAccountTrees(token)
@@ -2406,7 +2419,7 @@ function App() {
media_refs: sizeBucket(mediaRefs.length),
via: 'wizard',
})
openPhotoStart({ personsImported: (imported.personsCreated || 0) + (imported.personsReused || 0), refs, mediaRefs })
openPhotoStart({ personsImported: (imported.personsCreated || 0) + (imported.personsReused || 0), refs, mediaRefs, bundledFiles })
} else {
// L'arbre existe déjà : on l'ouvre vide et on dit où réessayer, plutôt que d'en créer un second
setTreeImportError(importError)
@@ -2564,7 +2577,7 @@ function App() {
}
}
const handleGedcomImported = useCallback(async (result, treeIdOverride = null) => {
const handleGedcomImported = useCallback(async (result, treeIdOverride = null, bundledFiles = []) => {
await refreshTreeAndKeepSelection(null, { relayout: true })
const refs = Array.isArray(result?.photoRefs) ? result.photoRefs : []
const mediaRefs = Array.isArray(result?.mediaRefs) ? result.mediaRefs : []
@@ -2576,7 +2589,7 @@ function App() {
media_refs: sizeBucket(mediaRefs.length),
})
setAdminPanelVisible(false)
openPhotoStart({ personsImported: (result?.personsCreated || 0) + (result?.personsReused || 0), refs, mediaRefs })
openPhotoStart({ personsImported: (result?.personsCreated || 0) + (result?.personsReused || 0), refs, mediaRefs, bundledFiles })
}, [refreshTreeAndKeepSelection, openPhotoStart, tree.treeContext.treeId])
// Un portrait envoyé sans recharger l'arbre (rechargé une fois, à la fermeture de la fenêtre).
@@ -2584,7 +2597,8 @@ function App() {
const sendPortrait = useCallback(async (personId, file) => {
const accessToken = tree.treeContext.accessToken || auth.userAuth.token
if (!accessToken || !tree.treeContext.treeId) return t('Session expirée, reconnectez-vous.')
const prepared = await prepareImageForUpload(file)
// Photo d'un zip : décompressée seulement maintenant
const prepared = await prepareImageForUpload(await materializeFile(file))
const validationError = validateMediaFile(prepared, 'photo')
if (validationError) return validationError
const payload = {
@@ -2631,9 +2645,10 @@ function App() {
const accessToken = tree.treeContext.accessToken || auth.userAuth.token
const added = []
for (let i = 0; i < matches.length; i += 1) {
const { personId, file, caption, source } = matches[i]
const { personId, caption, source } = matches[i]
try {
if (!accessToken || !tree.treeContext.treeId) break
const file = await materializeFile(matches[i].file)
const prepared = await prepareImageForUpload(file)
const type = inferMediaTypeFromMimeType(prepared.type)
if (!validateMediaFile(prepared, type)) {
@@ -3035,6 +3050,7 @@ function App() {
personsImported={photoStart.personsImported}
photoRefs={photoStart.refs}
mediaRefs={photoStart.mediaRefs}
bundledFiles={photoStart.bundledFiles}
faces={photoStart.faces}
onUploadOne={handlePhotoStartUploadOne}
onBulkPlace={handlePhotoStartBulk}
+13 -4
View File
@@ -21,6 +21,7 @@ import PzBusy from './PzBusy.jsx'
import TreeVisitsSection from './TreeVisitsSection.jsx'
import { t } from '../i18n/index.js'
import { readGedcomFile } from '../utils/gedcomText.js'
import { readGedcomBundle, zipErrorMessage } from '../utils/gedcomBundle.js'
function normalizeSlug(value) {
return String(value || '')
@@ -234,7 +235,15 @@ const AdminPanel = ({
setSuccessMessage('')
try {
const fileContent = await readFileAsText(gedcomFile)
// Un zip apporte le .ged et ses photos : le .ged s'importe, les photos passent à l'étape des visages
let bundle
try {
bundle = await readGedcomBundle(gedcomFile)
} catch (error) {
setErrorMessage(error?.code === 'no_gedcom' ? error.message : zipErrorMessage(error))
return
}
const fileContent = await readFileAsText(bundle.gedcomFile)
if (!fileContent.trim()) {
setErrorMessage(t('Le fichier GEDCOM est vide.'))
return
@@ -256,7 +265,7 @@ const AdminPanel = ({
if (gedcomInputRef.current) {
gedcomInputRef.current.value = ''
}
await onGedcomImported?.(result)
await onGedcomImported?.(result, null, bundle.bundledFiles)
} catch {
setErrorMessage(t("Impossible d'importer ce fichier GEDCOM."))
} finally {
@@ -474,7 +483,7 @@ const AdminPanel = ({
<div className="ts-row">
<div className="ts-row-text">
<strong>{t('Importer un fichier GEDCOM')}</strong>
<p className="pz-small">{t('Ajoute les personnes et les liens du fichier à cet arbre.')}</p>
<p className="pz-small">{t('Ajoute les personnes et les liens du fichier à cet arbre. Un fichier .ged, ou un zip qui contient le .ged et ses photos.')}</p>
{gedcomFile && <span className="pz-tag pz-tag--accent ts-file">{gedcomFile.name}</span>}
</div>
<div className="ts-row-actions">
@@ -482,7 +491,7 @@ const AdminPanel = ({
ref={gedcomInputRef}
className="ts-file-input"
type="file"
accept=".ged,text/x-gedcom,text/plain"
accept=".ged,.zip,.gdz,text/x-gedcom,text/plain,application/zip"
onChange={(event) => setGedcomFile(event.target.files?.[0] || null)}
/>
<button type="button" className="pz-btn pz-btn--secondary pz-btn--sm" onClick={() => gedcomInputRef.current?.click()} disabled={saving}>
+28 -7
View File
@@ -4,6 +4,7 @@ import './PhotoStartPanel.css'
import PzBusy from './PzBusy.jsx'
import { t } from '../i18n/index.js'
import { matchPhotoFiles } from '../utils/photoImport.js'
import { materializeFile } from '../utils/zipReader.js'
function withEmphasis(text) {
const [before, emphasized = '', after = ''] = text.split(/<\/?em>/)
@@ -41,6 +42,8 @@ export default function PhotoStartPanel({
personsImported = null,
photoRefs = [],
mediaRefs = [],
// Photos et actes d'un zip importé : rapprochés dès l'ouverture, sans demander de dossier
bundledFiles = [],
faces = [],
onUploadOne,
onBulkPlace,
@@ -60,13 +63,22 @@ export default function PhotoStartPanel({
const [shownFaces, setShownFaces] = useState(faces)
const [placedTotal, setPlacedTotal] = useState(0)
const [memoriesTotal, setMemoriesTotal] = useState(0)
// Ouvert après l'import d'un zip : les fichiers sont déjà là, on n'explique pas le choix d'un dossier
const [zipMode, setZipMode] = useState(false)
// La liste des visages et les chemins sont figés à l'ouverture : une ligne ne disparaît pas sous le doigt
useEffect(() => {
if (!visible) return
setRemaining(photoRefs)
setRemainingMedia(mediaRefs)
setFound(null)
setZipMode(bundledFiles.length > 0)
if (bundledFiles.length > 0) {
const portraits = matchPhotoFiles(photoRefs, bundledFiles)
const media = matchPhotoFiles(mediaRefs, bundledFiles)
setFound({ matches: portraits.matches, media: media.matches, fromZip: true })
} else {
setFound(null)
}
setBulk({ running: false, done: 0, total: 0, placed: null, added: 0, failed: 0 })
setFaceState({})
setShownFaces(faces)
@@ -126,7 +138,8 @@ export default function PhotoStartPanel({
const placedFaces = {}
for (const match of found.matches) {
if (!placedIds.has(match.personId) || !shownIds.has(String(match.personId))) continue
const preview = URL.createObjectURL(match.file)
// Photo d'un zip : relue pour l'aperçu (quelques visages au plus)
const preview = URL.createObjectURL(await materializeFile(match.file))
previewsRef.current.push(preview)
placedFaces[match.personId] = { busy: false, error: '', preview, fromFolder: true }
}
@@ -166,10 +179,14 @@ export default function PhotoStartPanel({
const foundMedia = found?.media || []
const foundTotal = (found?.matches.length || 0) + foundMedia.length
const intro = () => {
if (zipMode) {
return t('Votre zip contient le fichier .ged et les photos ou actes qu’il cite. Parenthèse les a retrouvés, il ne reste qu’à les ajouter. Les portraits vont sur chaque fiche, le reste rejoint les souvenirs.')
}
if (remaining.length > 0 && remainingMedia.length > 0) {
const others = plural(remainingMedia.length, '1 autre fichier, un acte ou une photo de famille', '{n} autres fichiers, actes ou photos de famille')
return remaining.length === 1
? t('Votre logiciel associait une photo à 1 personne, et citait {m} autres fichiers, actes ou photos de famille. Choisissez le dossier où il les range, Parenthèse place le portrait et ajoute le reste aux souvenirs.', { m: remainingMedia.length })
: t('Votre logiciel associait une photo à {n} personnes, et citait {m} autres fichiers, actes ou photos de famille. Choisissez le dossier où il les range, Parenthèse place les portraits et ajoute le reste aux souvenirs.', { n: remaining.length, m: remainingMedia.length })
? t('Votre logiciel associait une photo à 1 personne, et citait {others}. Choisissez le dossier où il les range, Parenthèse place le portrait et ajoute le reste aux souvenirs.', { others })
: t('Votre logiciel associait une photo à {n} personnes, et citait {others}. Choisissez le dossier où il les range, Parenthèse place les portraits et ajoute le reste aux souvenirs.', { n: remaining.length, others })
}
if (remainingMedia.length > 0) {
return plural(remainingMedia.length, 'Votre logiciel citait 1 fichier, un acte ou une photo de famille. Choisissez le dossier où il le range, Parenthèse l’ajoute aux souvenirs.', 'Votre logiciel citait {n} fichiers, actes ou photos de famille. Choisissez le dossier où il les range, Parenthèse les ajoute aux souvenirs de chaque personne.')
@@ -204,11 +221,11 @@ export default function PhotoStartPanel({
{refsKnown && (
<section className="psp-block psp-block--folder" aria-labelledby="pspFolderTitle">
<h3 id="pspFolderTitle" className="psp-h">{t('Vos photos sont déjà sur votre ordinateur')}</h3>
<h3 id="pspFolderTitle" className="psp-h">{zipMode ? t('Les photos et actes de votre zip') : t('Vos photos sont déjà sur votre ordinateur')}</h3>
{somethingLeft ? (
<>
<p className="psp-p">{intro()}</p>
{exampleFolder && (
{exampleFolder && !zipMode && (
<p className="pz-hint">{t('Il les rangeait dans {folder}', { folder: exampleFolder })}</p>
)}
</>
@@ -250,7 +267,11 @@ export default function PhotoStartPanel({
</>
) : (
<>
<p className="pz-error">{t("Aucune photo de ce dossier ne correspond. Essayez le dossier indiqué plus haut, ou celui qui le contient.")}</p>
<p className="pz-error">
{found.fromZip
? t('Aucun fichier du zip ne correspond à ceux que votre logiciel citait. Choisissez le dossier où il les range.')
: t("Aucune photo de ce dossier ne correspond. Essayez le dossier indiqué plus haut, ou celui qui le contient.")}
</p>
<button type="button" className="pz-btn pz-btn--secondary" onClick={() => folderInputRef.current?.click()}>
<FolderOpen size={18} strokeWidth={2} aria-hidden="true" />
{t('Choisir un autre dossier')}
@@ -151,15 +151,15 @@ function TreeCreationWizard({
<label htmlFor="wizardGedcom" className="tw-photo">
<span className="tw-photo-icon" aria-hidden="true"><FileUp size={20} strokeWidth={1.8} /></span>
<span className="tw-photo-text">
<strong>{form.gedcomFile ? form.gedcomFile.name : t('Choisir le fichier .ged')}</strong>
<span>{form.gedcomFile ? t('Cliquez pour en choisir un autre') : t('Exporté depuis le logiciel où vous tenez votre arbre')}</span>
<strong>{form.gedcomFile ? form.gedcomFile.name : t('Choisir le fichier .ged ou le zip')}</strong>
<span>{form.gedcomFile ? t('Cliquez pour en choisir un autre') : t('Exporté depuis votre logiciel. Un zip avec le .ged et ses photos fait tout en une fois.')}</span>
</span>
</label>
<input
id="wizardGedcom"
className="tw-photo-input"
type="file"
accept=".ged,text/x-gedcom,text/plain"
accept=".ged,.zip,.gdz,text/x-gedcom,text/plain,application/zip"
onChange={(event) => updateField('gedcomFile', event.target.files?.[0] || null)}
/>
</div>
+17 -2
View File
@@ -25,8 +25,6 @@ export default {
"{f} n'ont pas pu être envoyés (format non pris en charge ou fichier trop lourd).": "{f} couldn't be sent (unsupported format or file too large).",
"Seules les photos qui correspondent à une personne sont envoyées, vers votre arbre uniquement.": "Only the photos that match a person are sent, and only to your tree.",
// Autres fichiers cités par le logiciel (actes, photos de famille) : des souvenirs
"Votre logiciel associait une photo à 1 personne, et citait {m} autres fichiers, actes ou photos de famille. Choisissez le dossier où il les range, Parenthèse place le portrait et ajoute le reste aux souvenirs.": "Your software linked a photo to 1 person, and also listed {m} other files, records or family photos. Choose the folder where it keeps them, Parenthèse places the portrait and adds the rest to the memories.",
"Votre logiciel associait une photo à {n} personnes, et citait {m} autres fichiers, actes ou photos de famille. Choisissez le dossier où il les range, Parenthèse place les portraits et ajoute le reste aux souvenirs.": "Your software linked a photo to {n} people, and also listed {m} other files, records or family photos. Choose the folder where it keeps them, Parenthèse places the portraits and adds the rest to the memories.",
"Votre logiciel citait 1 fichier, un acte ou une photo de famille. Choisissez le dossier où il le range, Parenthèse l’ajoute aux souvenirs.": "Your software listed 1 file, a record or a family photo. Choose the folder where it keeps it, Parenthèse adds it to the memories.",
"Votre logiciel citait {n} fichiers, actes ou photos de famille. Choisissez le dossier où il les range, Parenthèse les ajoute aux souvenirs de chaque personne.": "Your software listed {n} files, records or family photos. Choose the folder where it keeps them, Parenthèse adds them to each person's memories.",
"1 fichier retrouvé sur {k}.": "1 file found out of {k}.",
@@ -72,4 +70,21 @@ export default {
"Importer mon arbre": "Import my tree",
"Votre arbre est créé, mais l'import n'a pas abouti.": "Your tree is created, but the import didn't go through.",
"Vous pouvez réessayer depuis les paramètres de l'arbre.": "You can try again from the tree settings.",
// Import d’un zip (GEDCOM et ses photos)
'Ajoute les personnes et les liens du fichier à cet arbre. Un fichier .ged, ou un zip qui contient le .ged et ses photos.': 'Adds the people and links from the file to this tree. A .ged file, or a zip with the .ged and its photos.',
'Aucun fichier du zip ne correspond à ceux que votre logiciel citait. Choisissez le dossier où il les range.': 'No file in the zip matches the ones your software listed. Choose the folder where it keeps them.',
'Votre zip contenait aussi les fichiers. Parenthèse a retrouvé ceux que votre logiciel citait.': 'Your zip also held the files. Parenthèse found the ones your software listed.',
'Choisir le fichier .ged ou le zip': 'Choose the .ged file or the zip',
'Exporté depuis votre logiciel. Un zip avec le .ged et ses photos fait tout en une fois.': 'Exported from your software. A zip with the .ged and its photos does it all at once.',
'Ce zip est protégé par un mot de passe. Refaites-le sans mot de passe, puis réessayez.': 'This zip is password protected. Make it again without a password, then try again.',
'Ce zip est trop gros pour être lu ici (plus de 4 Go). Importez le fichier .ged seul, puis ajoutez les photos depuis leur dossier.': 'This zip is too large to read here (over 4 GB). Import the .ged file alone, then add the photos from their folder.',
'Ce zip ne contient pas de fichier .ged. Il faut l’export GEDCOM de votre logiciel, avec ses photos à côté.': 'This zip has no .ged file. It needs the GEDCOM export from your software, with its photos alongside.',
'Ce zip n’a pas pu être lu. Vérifiez qu’il s’ouvre sur votre ordinateur, puis réessayez.': 'This zip could not be read. Check that it opens on your computer, then try again.',
'Ce zip utilise une compression que le navigateur ne sait pas lire. Refaites-le avec l’outil de compression de votre ordinateur.': 'This zip uses a compression the browser cannot read. Make it again with your computer’s own compression tool.',
'Les photos et actes de votre zip': 'The photos and records in your zip',
'Votre logiciel associait une photo à 1 personne, et citait {others}. Choisissez le dossier où il les range, Parenthèse place le portrait et ajoute le reste aux souvenirs.': 'Your software linked a photo to 1 person, and listed {others}. Choose the folder where it keeps them, Parenthèse places the portrait and adds the rest to memories.',
'Votre logiciel associait une photo à {n} personnes, et citait {others}. Choisissez le dossier où il les range, Parenthèse place les portraits et ajoute le reste aux souvenirs.': 'Your software linked a photo to {n} people, and listed {others}. Choose the folder where it keeps them, Parenthèse places the portraits and adds the rest to memories.',
'Votre zip contient le fichier .ged et les photos ou actes qu’il cite. Parenthèse les a retrouvés, il ne reste qu’à les ajouter. Les portraits vont sur chaque fiche, le reste rejoint les souvenirs.': 'Your zip holds the .ged file and the photos or records it lists. Parenthèse found them, you only need to add them. Portraits go on each profile, the rest joins the memories.',
'1 autre fichier, un acte ou une photo de famille': '1 other file, a record or a family photo',
'{n} autres fichiers, actes ou photos de famille': '{n} other files, records or family photos',
}
+42
View File
@@ -0,0 +1,42 @@
// Fichier choisi pour l'import : un .ged seul, ou un zip qui contient le .ged et ses photos (un export
// « avec médias », un GEDZIP .gdz de GEDCOM 7, ou un dossier compressé à la main).
import { t } from '../i18n/index.js'
import { ZipError, extensionOf, isZipFile, lazyZipFile, openZip } from './zipReader.js'
const MEDIA_EXTENSIONS = new Set(['jpg', 'jpeg', 'png', 'gif', 'webp', 'heic', 'tif', 'tiff', 'bmp', 'pdf', 'mp4', 'mov', 'm4v', 'webm', 'avi', 'mp3', 'm4a', 'wav', 'ogg'])
// Fichiers sans intérêt glissés par macOS ou Windows dans un zip
const isJunk = (path) => /(^|\/)(__MACOSX|\.DS_Store|Thumbs\.db|desktop\.ini)(\/|$)/i.test(path) || /(^|\/)\._/.test(path)
const ZIP_MESSAGES = {
encrypted: () => t('Ce zip est protégé par un mot de passe. Refaites-le sans mot de passe, puis réessayez.'),
zip64: () => t('Ce zip est trop gros pour être lu ici (plus de 4 Go). Importez le fichier .ged seul, puis ajoutez les photos depuis leur dossier.'),
unsupported_method: () => t('Ce zip utilise une compression que le navigateur ne sait pas lire. Refaites-le avec l’outil de compression de votre ordinateur.'),
}
export function zipErrorMessage(error) {
return ZIP_MESSAGES[error?.code]?.() || t('Ce zip n’a pas pu être lu. Vérifiez qu’il s’ouvre sur votre ordinateur, puis réessayez.')
}
/**
* @returns { gedcomFile: File, bundledFiles: lazy files du zip (photos, actes, vidéos), fromZip: boolean }
*/
export async function readGedcomBundle(file) {
if (!(await isZipFile(file))) return { gedcomFile: file, bundledFiles: [], fromZip: false }
const zip = await openZip(file)
const usable = zip.entries.filter((entry) => !isJunk(entry.path))
// Le .ged le plus haut dans l'arborescence : « gedcom.ged » d'un GEDZIP, ou celui du dossier exporté
const gedcoms = usable
.filter((entry) => extensionOf(entry.name) === 'ged')
.sort((a, b) => a.path.split('/').length - b.path.split('/').length || b.size - a.size)
if (gedcoms.length === 0) throw new ZipError('no_gedcom', t('Ce zip ne contient pas de fichier .ged. Il faut l’export GEDCOM de votre logiciel, avec ses photos à côté.'))
const blob = await zip.read(gedcoms[0])
const gedcomFile = new File([blob], gedcoms[0].name, { type: 'text/plain' })
const bundledFiles = usable
.filter((entry) => entry !== gedcoms[0] && MEDIA_EXTENSIONS.has(extensionOf(entry.name)) && entry.size > 0)
.map((entry) => lazyZipFile(zip, entry))
return { gedcomFile, bundledFiles, fromZip: true }
}
+117
View File
@@ -0,0 +1,117 @@
import { Buffer } from 'node:buffer'
import { deflateRawSync } from 'node:zlib'
import { describe, expect, it } from 'vitest'
import { readGedcomBundle, zipErrorMessage } from './gedcomBundle.js'
import { materializeFile, openZip } from './zipReader.js'
import { matchPhotoFiles } from './photoImport.js'
// Petit fabricant de zip pour les tests : fichiers stockés ou compressés, noms UTF-8 ou DOS
function crc32(bytes) {
let crc = 0xffffffff
for (const byte of bytes) {
crc ^= byte
for (let k = 0; k < 8; k += 1) crc = (crc >>> 1) ^ (0xedb88320 & -(crc & 1))
}
return (crc ^ 0xffffffff) >>> 0
}
function makeZip(files) {
const locals = []
const centrals = []
let offset = 0
for (const { path, data, deflate = true, utf8 = true, nameBytes } of files) {
const raw = typeof data === 'string' ? new TextEncoder().encode(data) : data
const body = deflate ? deflateRawSync(raw) : raw
const name = nameBytes || new TextEncoder().encode(path)
const flags = utf8 ? 0x0800 : 0
const local = Buffer.alloc(30)
local.writeUInt32LE(0x04034b50, 0)
local.writeUInt16LE(20, 4)
local.writeUInt16LE(flags, 6)
local.writeUInt16LE(deflate ? 8 : 0, 8)
local.writeUInt32LE(crc32(raw), 14)
local.writeUInt32LE(body.length, 18)
local.writeUInt32LE(raw.length, 22)
local.writeUInt16LE(name.length, 26)
locals.push(local, Buffer.from(name), Buffer.from(body))
const central = Buffer.alloc(46)
central.writeUInt32LE(0x02014b50, 0)
central.writeUInt16LE(20, 4)
central.writeUInt16LE(20, 6)
central.writeUInt16LE(flags, 8)
central.writeUInt16LE(deflate ? 8 : 0, 10)
central.writeUInt32LE(crc32(raw), 16)
central.writeUInt32LE(body.length, 20)
central.writeUInt32LE(raw.length, 24)
central.writeUInt16LE(name.length, 28)
central.writeUInt32LE(offset, 42)
centrals.push(central, Buffer.from(name))
offset += 30 + name.length + body.length
}
const centralBuf = Buffer.concat(centrals)
const eocd = Buffer.alloc(22)
eocd.writeUInt32LE(0x06054b50, 0)
eocd.writeUInt16LE(files.length, 8)
eocd.writeUInt16LE(files.length, 10)
eocd.writeUInt32LE(centralBuf.length, 12)
eocd.writeUInt32LE(offset, 16)
return new File([Buffer.concat([...locals, centralBuf, eocd])], 'export.zip', { type: 'application/zip' })
}
const GED = '0 HEAD\n1 CHAR UTF-8\n0 @I1@ INDI\n1 NAME Louis /Martin/\n1 OBJE\n2 FILE C:\\Généalogie\\Médias\\louis.jpg\n0 TRLR\n'
const JPEG = new Uint8Array([0xff, 0xd8, 0xff, 0xe0, 1, 2, 3, 4, 5, 6, 0xff, 0xd9])
describe('import d’un zip', () => {
it('un .ged seul passe tel quel', async () => {
const file = new File([GED], 'arbre.ged', { type: 'text/plain' })
const bundle = await readGedcomBundle(file)
expect(bundle).toMatchObject({ gedcomFile: file, bundledFiles: [], fromZip: false })
})
it('trouve le .ged et les photos, laisse de côté les fichiers parasites', async () => {
const zip = makeZip([
{ path: 'Export/Famille Martin.ged', data: GED },
{ path: 'Export/Médias/louis.jpg', data: JPEG, deflate: false },
{ path: 'Export/Médias/acte-naissance.pdf', data: '%PDF-1.4 vide' },
{ path: 'Export/notes.txt', data: 'rien' },
{ path: '__MACOSX/Export/._louis.jpg', data: 'x' },
{ path: 'Export/.DS_Store', data: 'x' },
])
const bundle = await readGedcomBundle(zip)
expect(bundle.fromZip).toBe(true)
expect(bundle.gedcomFile.name).toBe('Famille Martin.ged')
expect(await bundle.gedcomFile.text()).toBe(GED)
expect(bundle.bundledFiles.map((f) => f.webkitRelativePath)).toEqual(['Export/Médias/louis.jpg', 'Export/Médias/acte-naissance.pdf'])
// Rapprochés avec les chemins cités par le logiciel, comme un dossier, puis lus au moment de l'envoi
const { matches } = matchPhotoFiles([{ personId: 'p1', file: 'C:\\Généalogie\\Médias\\louis.jpg' }], bundle.bundledFiles)
expect(matches).toHaveLength(1)
const file = await materializeFile(matches[0].file)
expect(file).toBeInstanceOf(File)
expect(file.type).toBe('image/jpeg')
expect(new Uint8Array(await file.arrayBuffer())).toEqual(JPEG)
})
it('GEDZIP : gedcom.ged à la racine plutôt qu’un .ged rangé plus bas', async () => {
const bundle = await readGedcomBundle(makeZip([
{ path: 'sauvegardes/ancien.ged', data: '0 HEAD\n0 TRLR\n' },
{ path: 'gedcom.ged', data: GED },
]))
expect(bundle.gedcomFile.name).toBe('gedcom.ged')
})
it('noms de fichiers d’un zip Windows sans UTF-8 (page de code DOS)', async () => {
// « Médias/é.jpg » en CP437 : é = 0x82
const nameBytes = new Uint8Array([...new TextEncoder().encode('M'), 0x82, ...new TextEncoder().encode('dias/photo.jpg')])
const zip = makeZip([{ path: 'arbre.ged', data: GED }, { path: '', nameBytes, data: JPEG, utf8: false }])
const { entries } = await openZip(zip)
expect(entries.map((e) => e.path)).toEqual(['arbre.ged', 'Médias/photo.jpg'])
})
it('dit clairement ce qui ne va pas', async () => {
await expect(readGedcomBundle(makeZip([{ path: 'photo.jpg', data: JPEG }]))).rejects.toMatchObject({ code: 'no_gedcom' })
expect(zipErrorMessage({ code: 'encrypted' })).toMatch(/mot de passe/)
expect(zipErrorMessage({ code: 'zip64' })).toMatch(/4\sGo/)
expect(zipErrorMessage(new Error('x'))).toMatch(/n’a pas pu être lu/)
})
})
+127
View File
@@ -0,0 +1,127 @@
// Lecture d'un zip dans le navigateur, sans bibliothèque : la table des matières en fin de fichier, puis
// chaque fichier décompressé à la demande (DecompressionStream). Rien n'est chargé en mémoire tant qu'on ne
// demande pas un fichier, ce qui garde légers les zips de plusieurs centaines de photos.
//
// Pris en charge : fichiers stockés (méthode 0) ou compressés (méthode 8, « deflate »), noms en UTF-8 ou en
// page de code DOS. Refusés avec un message : zip chiffré, zip64 (archives de plus de 4 Go ou de 65 535
// fichiers), autres méthodes de compression.
const EOCD_SIGNATURE = 0x06054b50
const CENTRAL_SIGNATURE = 0x02014b50
const LOCAL_SIGNATURE = 0x04034b50
const MAX_EOCD_SEARCH = 65_557 // 22 octets + commentaire de 65 535 au plus
export class ZipError extends Error {
constructor(code, message) {
super(message || code)
this.name = 'ZipError'
this.code = code
}
}
async function readBytes(file, start, end) {
return new Uint8Array(await file.slice(start, end).arrayBuffer())
}
// Page de code 437 (noms de fichiers des zips faits sous Windows sans le drapeau UTF-8) : les accents
// français y ont leur place fixe ; le reste des octets hauts devient un caractère neutre
const CP437_HIGH = 'ÇüéâäàåçêëèïîìÄÅÉæÆôöòûùÿÖÜ¢£¥₧ƒáíóúñѪº¿⌐¬½¼¡«»░▒▓│┤╡╢╖╕╣║╗╝╜╛┐└┴┬├─┼╞╟╚╔╩╦╠═╬╧╨╤╥╙╘╒╓╫╪┘┌█▄▌▐▀αßΓπΣσµτΦΘΩδ∞φε∩≡±≥≤⌠⌡÷≈°∙·√ⁿ²■ '
function decodeName(bytes, utf8) {
if (utf8) return new TextDecoder('utf-8').decode(bytes)
let out = ''
for (const byte of bytes) out += byte < 128 ? String.fromCharCode(byte) : CP437_HIGH[byte - 128]
return out
}
export function isZipSignature(bytes) {
return bytes.length >= 4 && bytes[0] === 0x50 && bytes[1] === 0x4b && (bytes[2] === 0x03 || bytes[2] === 0x05) && (bytes[3] === 0x04 || bytes[3] === 0x06)
}
export async function isZipFile(file) {
if (!file) return false
if (/\.(zip|gdz)$/i.test(file.name || '')) return true
return isZipSignature(await readBytes(file, 0, 4))
}
// Ouvre un zip : renvoie ses fichiers (sans les dossiers) et de quoi lire chacun
export async function openZip(file) {
const tailStart = Math.max(0, file.size - MAX_EOCD_SEARCH)
const tail = await readBytes(file, tailStart, file.size)
const view = new DataView(tail.buffer, tail.byteOffset, tail.byteLength)
let eocd = -1
for (let i = tail.length - 22; i >= 0; i -= 1) {
if (view.getUint32(i, true) === EOCD_SIGNATURE) { eocd = i; break }
}
if (eocd < 0) throw new ZipError('not_a_zip')
const count = view.getUint16(eocd + 10, true)
const centralSize = view.getUint32(eocd + 12, true)
const centralOffset = view.getUint32(eocd + 16, true)
if (count === 0xffff || centralSize === 0xffffffff || centralOffset === 0xffffffff) throw new ZipError('zip64')
const central = await readBytes(file, centralOffset, centralOffset + centralSize)
const cv = new DataView(central.buffer, central.byteOffset, central.byteLength)
const entries = []
let p = 0
for (let n = 0; n < count; n += 1) {
if (p + 46 > central.length || cv.getUint32(p, true) !== CENTRAL_SIGNATURE) throw new ZipError('corrupt')
const flags = cv.getUint16(p + 8, true)
const method = cv.getUint16(p + 10, true)
const compressedSize = cv.getUint32(p + 20, true)
const size = cv.getUint32(p + 24, true)
const nameLength = cv.getUint16(p + 28, true)
const extraLength = cv.getUint16(p + 30, true)
const commentLength = cv.getUint16(p + 32, true)
const localOffset = cv.getUint32(p + 42, true)
const path = decodeName(central.subarray(p + 46, p + 46 + nameLength), Boolean(flags & 0x0800)).replace(/\\/g, '/')
p += 46 + nameLength + extraLength + commentLength
if (path.endsWith('/')) continue
if (compressedSize === 0xffffffff || size === 0xffffffff || localOffset === 0xffffffff) throw new ZipError('zip64')
entries.push({ path, name: path.split('/').pop(), size, compressedSize, method, flags, localOffset })
}
const read = async (entry) => {
if (entry.flags & 0x0001) throw new ZipError('encrypted')
const local = await readBytes(file, entry.localOffset, entry.localOffset + 30)
const lv = new DataView(local.buffer, local.byteOffset, local.byteLength)
if (lv.getUint32(0, true) !== LOCAL_SIGNATURE) throw new ZipError('corrupt')
const dataStart = entry.localOffset + 30 + lv.getUint16(26, true) + lv.getUint16(28, true)
const raw = file.slice(dataStart, dataStart + entry.compressedSize)
if (entry.method === 0) return raw
if (entry.method !== 8) throw new ZipError('unsupported_method')
return new Response(raw.stream().pipeThrough(new DecompressionStream('deflate-raw'))).blob()
}
return { entries, read }
}
const MIME_BY_EXTENSION = {
jpg: 'image/jpeg', jpeg: 'image/jpeg', png: 'image/png', gif: 'image/gif', webp: 'image/webp', heic: 'image/heic',
tif: 'image/tiff', tiff: 'image/tiff', bmp: 'image/bmp',
pdf: 'application/pdf',
mp4: 'video/mp4', mov: 'video/quicktime', m4v: 'video/mp4', webm: 'video/webm', avi: 'video/x-msvideo',
mp3: 'audio/mpeg', m4a: 'audio/mp4', wav: 'audio/wav', ogg: 'audio/ogg',
}
export const extensionOf = (name) => (String(name).match(/\.([a-z0-9]{1,5})$/i)?.[1] || '').toLowerCase()
export const mimeTypeOf = (name) => MIME_BY_EXTENSION[extensionOf(name)] || ''
// Fichier du zip qu'on peut rapprocher comme un fichier de dossier (nom, chemin), et ne lire qu'au moment
// de l'envoyer : toFile() le décompresse et renvoie un vrai File
export function lazyZipFile(zip, entry) {
return {
name: entry.name,
size: entry.size,
type: mimeTypeOf(entry.name),
webkitRelativePath: entry.path,
async toFile() {
const blob = await zip.read(entry)
return new File([blob], entry.name, { type: mimeTypeOf(entry.name) || blob.type || '' })
},
}
}
// Un fichier venu d'un dossier reste tel quel, un fichier du zip est lu à ce moment-là
export async function materializeFile(file) {
return file && typeof file.toFile === 'function' ? file.toFile() : file
}