Muunna WordStar-asiakirjat RAG- ja tekoälyputkistoille

TL;DR

Muuta WordStar asiakirjat muotoon Markdown noutamista ja tavallinen teksti triajia varten. Vältä PDF:tä välivaiheena — se muuntaa rakenteen asetteluksi ja saa sitten arvaamaan rakenteen takaisin uuttamisen heuristiikoilla. WordStar Converter tekee tämän paikallisesti kerralla, joten luottamukselliset asiakirjat eivät koskaan poistu verkostasi matkalla yksityiseen tekoälyjärjestelmääsi.

Ongelma: Perintödokumentit ovat tekoälylle näkymättömiä

Jos organisaatiosi on ollut olemassa kolmekymmentä vuotta, merkittävä osa sen institutionaalisesta muistista on muodoissa, joita mikään syöttöputki ei voi lukea. WordStar oli laajasti käytössä asianajotoimistoissa, valtion osastoissa, yliopistoissa ja sairaaloissa 1990-luvun aikana, mikä tarkoittaa, että perustamiskäytännöt, alkuperäiset sopimukset, varhaiset tekniset erittelyt ja päätösten taustalla oleva päättely, jotka ovat edelleen voimassa, voivat kaikki olla .ws-tiedostoissa.

Vikamuoto on hienovarainen. Hakujärjestelmä, jolta puuttuu sen historiallinen kokoelma, ei sano 'Minulla ei ole sitä' — se vastaa itsevarmasti siitä, mitä sillä on, ja vastaus jättää pois kontekstin, joka selittää, miksi asiat ovat niin kuin ne ovat. Kukaan ei huomaa, koska aukko on ulkopuolelta näkymätön.

Vaihe vaiheelta: WordStar vektoritietokantaan

Työnkulku perinteisen .WS-arkiston tekemiseksi tekoälyvalmiiksi:

Inventoi lähdearkistot

Etsi jokainen .ws-tiedosto, myös isoilla kirjaimilla kirjoitetut .WS-muunnelmat ja DOS-järjestelmien jättämät versioidut .wsd- / .ws3–.ws8-tiedostot. WordStar Converter käy läpi kokonaiset kansiopuut rekursiivisesti, joten yksi läpikäynti käytöstä poistetulla tiedostopalvelimella löytää yleensä enemmän kuin kukaan odotti.

Muunna Markdowniksi (ja TXT:ksi seulontaa varten)

Tuota molemmat muodot yhdellä kertaa. Markdown syötetään hakemistoon, koska otsikot, luettelot ja taulukot säilyvät aitona rakenteena. Pelkkä teksti tarjoaa nopean tavan hakea aineistosta, laskea tiivisteitä kaksoiskappaleiden löytämiseksi ja havaita tyhjät mallipohjat ennen kuin niihin kuluu upotusbudjettia.

Pilko otsikoiden, älä merkkimäärän mukaan

Kiinteän kokoinen pilkkominen katkaisee perustelut keskeltä ja erottaa johtopäätöksen sen perusteluista. Jaa otsikkorajoilla maltillisella päällekkäisyydellä ja vie otsikkopolku mukaan palan tekstiin, jotta haku tietää, mistä kukin kohta on peräisin.

Liitä metatiedot suodatusta varten

Merkitse jokaiseen palaan lähdetiedoston nimi, asiakirjan päivämäärä, osasto ja kansiopolku. Historiallisissa aineistoissa metatietosuodatus on välttämätöntä – ”mitä vuoden 1996 ohjeistus sanoi” on suodatin ja haku, ei koskaan pelkkä haku.

Laske upotukset paikallisesti

Käytä paikallista upotusmallia – BGE, E5 tai Sentence-Transformers-muunnelma – verkkopalvelun API:n sijaan. Jos luottamuksellisuus on syy rakentaa yksityinen järjestelmä, aineiston lähettäminen kolmannen osapuolen upotuspalveluun kumoaa koko lähtökohdan.

Lataa vektorivarastoon ja tee kyselyitä

Tallenna vektorit pgvectoriin, Chromaan, Qdrantiin tai Weaviateen. Ohjeista mallia kertomaan jokaisen historiallisen lähteen päivämäärä ja lisää pieni sanasto, joka yhdistää vanhentuneet osastojen nimet ja tuotekoodit nykyisiin – vanhojen aineistojen hakutarkkuus paranee huomattavasti lähes ilmaiseksi.

Muotovertailu: Mikä tulos on paras tekoälylle?

Kaikki tuotokset eivät ole tasavertaisia LLM-syötteen suhteen. Tässä on, miten realistiset tavoitteet vertautuvat:

Factor	Markdown	TXT	HTML	PDF	Raaka .ws
LLM Luettavuus	Erinomainen	Good	Hyvä (tagin kohina)	Fair	None
Tunnisteen tehokkuus	High	Highest	Matala (ylikustannusmerkintä)	Matala (uuttomelua)	N/A
Rakenne pilkkomista varten	Todelliset otsikot ja taulukot	None	Todelliset otsikot ja taulukot	Asettelusta riippuva	Luettamaton
Tables	Putkipöydät pitävät header/value-linkit	Vain luettavat rivit	Todelliset taulukon elementit	Otsikot irtoavat arvoista	N/A
Yhtälöt	LaTeX — haettavissa	LaTeX tai pudotettiin	Kuvia tai MathML	Vain kuvat	N/A
Käsittelyyn liittyvä monimutkaisuus	Suora nauttiminen	Suora nauttiminen	HTML irrotus	PDF jäsentäjä / OCR	Pinoa ei ole olemassa jäsentä
Paras varten	RAG dokumenttien yli; dokumentit koodina	Lajittelu, kaksoiskappaleiden poisto, luokittelu	Intranetin julkaisu + indeksointi	Ihmisen lukeminen, säilyttämisen tiedot	Ei mitään (vain totuuden lähde)

Mikä on paras formaatti syöttää vanhat asiakirjat LLM:een?

Markdown, melkein aina. Se säilyttää otsikkohierarkian, jota pilkkoja tarvitsee, säilyttää taulukkorakenteen ja kirjaa yhtälöt LaTeX-muodossa kuvien sijaan. Käytä tavallinen teksti sen rinnalla triagea ja duplikaattien poistoa varten. Vältä PDF välivaiheena — PDF-uuttaminen tuo takaisin juoksevat otsikot, tavutus ja sarakkeiden järjestyksen sekaannuksen meluna, jonka mallin on sitten täytynyt käsitellä.

Miksi Wrap-liput ja pistekomennot päättävät palan laadun

Markdown:lla ei ole käsitystä korkean bitin kääremerkistä — sillä on kappaleita ja otsikkotasoja. Ainoa tapa, jolla muunnin voi tietää, mihin kohtaan lause todella katkeaa, tai että rivi on otsikko, on .he, tapahtuu tulkitsemalla alkuperäinen WordStar-virta. Sen avulla saat todellisen rakenteen, johon jakaa osia. Ilman sitä saat litteän korkeabittisen roskajonon ja menetät ainoan hyödyn, jonka muunsit Markdown:ksi.

Joten ennen kuin muunnat arkiston hakuputkea varten, muunna edustava näyte ja varmista, että otsikot, sivun ylätunnisteet ja kappalejaot säilyivät. Se vie minuutin, ja se määrää kaiken jälkikäteen tapahtuvan laadun.

Miksi paikallinen käsittely on tärkeää tekoälyputkille

Useimmat tiimit rakentavat yksityisiä RAG-järjestelmiä nimenomaan pitääksensä säännellyn materiaalin — sopimukset, asiakirjat, henkilöstöasiakirjat, potilasviestintä — pois kolmansien osapuolten infrastruktuurista. Pilvipohjaista muunninta näiden asiakirjojen valmisteluun käyttämällä tarkoitus kumoutuu, ja se on helppo ohittaa, koska muuntamista käsitellään putkitustyönä eikä prosessoinnista.

WordStar Converter käsittelee kaiken koneellasi, joten hallintaketju pysyy katkeamattomana .ws-tiedostosta vektoritietokantaan. Yhdistä se paikalliseen upotusmalliin ja itseisännöityyn vektoritietokantaan, niin voit rehellisesti todeta sääntöjenmukaisuustarkastuksessa, että kokoelma ei koskaan poistunut verkosta.

Kuinka muuntaa WordStar-asiakirjat RAG-putkistoja ja LLM-syöttöä varten