Projekti MBnet Apaja

Liittynyt
11.08.2017
Viestejä
141
Lienee asiallista siirtää tämä lanka:
En ketjua aloittaessa vielä tiennyt alkavani tekemään sivustoa. Toisaalta tämä on myös kulttuuriaihe, niin en halunnut haudata tätä vain koodareiden löydettäväksi. Mutta siirtäköön moderaattorit jos katsovat sopivaksi.
 
Liittynyt
17.10.2016
Viestejä
2 960
Vertailin tuossa vähän vuoden -97 tiedostolistausta ja tuota 2005 koostettua. Näytti siltä että vanhemmassa listassa on 6975 tiedostonimeä joita ei löydy uudemmasta. Tietysti osa voi olla noita vaihtuneilla nimillä, mutta varmastikin noiden yhdistäminen on ihan vaivan arvoista tuonkin puolesta kun noin paljon on uniikkeja vanhemmassa.

Apajan wayback machine tallennuksia kun katsoo niin on hämmästyttävää että näyttäisi aikaleimojen perusteellä kuin noita purkkitiedostolistauksia olisi ylläpidetty ihan vielä sinne apajan loppumetreillekin asti. Todella harmi vaan että nekin ovat olleet kirjautumisen takana joten ainakaan tuota kautta ei yhtäkään saa ladattua.

Aiemmin kun oli puheena tuo että pitäisikö vain MBNetistä löytyvien alkuperäisten kelvata listaan niin ainakin itse olisin vahvasti sitä mieltä että käytännössä täysin sama paketti jostain muualtakin olisi kyllä ihan tallentamisen arvoinen ja samoin eri versiokin jostain paremman puutteessa. Noille voisi kantaan sitten vaikka merkitä että alkuperä on jokin muu (mikä).
 
Liittynyt
18.03.2024
Viestejä
6
Apajan wayback machine tallennuksia kun katsoo niin on hämmästyttävää että näyttäisi aikaleimojen perusteellä kuin noita purkkitiedostolistauksia olisi ylläpidetty ihan vielä sinne apajan loppumetreillekin asti. Todella harmi vaan että nekin ovat olleet kirjautumisen takana joten ainakaan tuota kautta ei yhtäkään saa ladattua.
Ne kyllä oli sinne olevinaan generoituna, mutta itse tiedosto oli korruptoitunut. Tiedostossa oli ehkä muutama tuhatta riviä listauksia ja sen jälkeen suuri määrä jotain random binaariroskaa, sitten osa listausta ja jälleen taas roskaa. Amiga-alueiden listaukset olivat muistaakseni ehjät.
 
Liittynyt
11.08.2017
Viestejä
141
Aiemmin kun oli puheena tuo että pitäisikö vain MBNetistä löytyvien alkuperäisten kelvata listaan niin ainakin itse olisin vahvasti sitä mieltä että käytännössä täysin sama paketti jostain muualtakin olisi kyllä ihan tallentamisen arvoinen ja samoin eri versiokin jostain paremman puutteessa. Noille voisi kantaan sitten vaikka merkitä että alkuperä on jokin muu (mikä).
Pohtinut tässä tuota sivuston tiedostolistauksen ulkonäköä. Että montako saraketta siinä voi olla ilman informaatioähkyä. Yksi vaihtoehto olisi hiiren osoittimella hooveroitava lisätietokenttä, tai sitten etusivun tyylinen CSS:llä toteutettu näytä lisää -nuoli. Nämä ei välttämättä tosin toimi ikivanhoilla selaimilla. Tai sitten erillinen lataussivu kun klikkaa latauslinkkiä.
Siellä muuten on nyt tiedostoja ladattavana. Kodittomat tiedostot meni kolmeen kertaan osastolle Jatkokäsittelyä odottavat. Silleen tein tymästi etten lukinnut tietokantaa ja käytössä on useampi workkeri..
 
Liittynyt
11.08.2017
Viestejä
141
Ne kyllä oli sinne olevinaan generoituna, mutta itse tiedosto oli korruptoitunut. Tiedostossa oli ehkä muutama tuhatta riviä listauksia ja sen jälkeen suuri määrä jotain random binaariroskaa, sitten osa listausta ja jälleen taas roskaa. Amiga-alueiden listaukset olivat muistaakseni ehjät.
Niin siis löysit listoilla olevia varsinaisia tiedostoja? Mitenhän lienee Wayback Machine päässyt niihin käsiksi?
 
Liittynyt
18.03.2024
Viestejä
6
Niin siis löysit listoilla olevia varsinaisia tiedostoja? Mitenhän lienee Wayback Machine päässyt niihin käsiksi?
Ei vaan yritin ladata sen MBFILES.LST mikälie joskus talteen kun Apaja oli vielä pystyssä useampana päivänä, aina tuli korruptoitunut versio.
 

jad

Liittynyt
22.10.2016
Viestejä
1 219
Oma vaatimaton panokseni tähän projektiin. Oli viikonloppuna ylimääräistä vapaa-aikaa, niin kyhäsin nopeasti kasaan indeksoijan, joka indeksoi cd-levy hakemistosta tiedostot, purkaa kaikki tunnistettavat arkistomuodot ja tallentaa kaikista tiedostoista sha1 tiivisteet sqlite kantaan.

Pikaisesti kyhätty demo: ApajaIndex

Pari pikku featurea pitää vielä lisätä, niin voin lähdekooditkin pistää jakoon jos jotakuta kiinnostaa. Tosin kielenä PHP, kun pythonia ei ole tullut kohta kymmeneen vuoteen käytettyä.
 
Liittynyt
11.08.2017
Viestejä
141
Oma vaatimaton panokseni tähän projektiin. Oli viikonloppuna ylimääräistä vapaa-aikaa, niin kyhäsin nopeasti kasaan indeksoijan, joka indeksoi cd-levy hakemistosta tiedostot, purkaa kaikki tunnistettavat arkistomuodot ja tallentaa kaikista tiedostoista sha1 tiivisteet sqlite kantaan.

Pikaisesti kyhätty demo: ApajaIndex

Pari pikku featurea pitää vielä lisätä, niin voin lähdekooditkin pistää jakoon jos jotakuta kiinnostaa. Tosin kielenä PHP, kun pythonia ei ole tullut kohta kymmeneen vuoteen käytettyä.
Ohhoh. Tämänhän voisi linkata apajalistaan. Ehkä peräti jokaiselle MBCD-tiedostolle lisätietokentäksi, jonka queryttää tuolta? Haittaako liikenne?
 
Viimeksi muokattu:
Liittynyt
11.08.2017
Viestejä
141
Värkkäilin uuden skriptin pandat.py jolla voi yhdistellä 1996 ja 2005 listoja. En ole vielä isommin testaillut itsekään, joten löytynee paranneltavaa.
Eli siis vaihtaa 2005 listan kuvaukset 1996 kuvauksiin rivinvaihtojen kera ja lisää puuttuvat rivit. Pitelemättömät 2005 rivit tunnistaa tiedostokoon esitystavasta (esim. 57,3 kt) ja muokattuihin otettu tiedostokoko 1996 listalta tavuina.
-Tiedoston nimi ja päivämäärä toimivat avaimina.
-pvm ja kuvaus otetaan 'df1' -tiedostosta, osasto 'df2' -tiedostosta.
-Jos nimi ja päivämäärä eivät täsmää, luodaan uusi rivi.
-Uudet rivit menevät sille osastolle, missä viimeksi on löytynyt osuma, joten rivejä voi päätyä väärille osastoille. Toimii siksi parhaiten vain yhden osaston läpikäyntiin.

1713317171168.png
 
Viimeksi muokattu:

jad

Liittynyt
22.10.2016
Viestejä
1 219
Ohhoh. Tämänhän voisi linkata apajalistaan. Ehkä peräti jokaiselle MBCD-tiedostolle lisätietokentäksi, jonka queryttää tuolta? Haittaako liikenne?
Ei haittaa liikenne, eiköhän tuo harrastepalvelin sen kestä, vaikkei mikään tehopannu olekaan. Joudun kyllä vielä ajelemaan indeksin uusiksi, niin tässä todennäköisesti käy niin, että indeksin tiedosto-id:t muuttuvat.
 
Liittynyt
17.10.2016
Viestejä
2 960
Ei haittaa liikenne, eiköhän tuo harrastepalvelin sen kestä, vaikkei mikään tehopannu olekaan. Joudun kyllä vielä ajelemaan indeksin uusiksi, niin tässä todennäköisesti käy niin, että indeksin tiedosto-id:t muuttuvat.
Olisiko tuossa mahdollista saada tiivisteeksi tossa BLAKE3? Ihan vain siksi, että Discmasterin indeksissä käytetään sitä jolloin pystyisi suoraan vahvistamaan samaksi.

Minä olen työstämässä välineitä vertailla noita muualta löytyviä tiedostoja MBNet-listaukseen. Metropoli BBS:n arkistoon vertailemalla tuli jo ihan lupaavia tuloksia, sieltä löytynee ainakin joitain satoja tiedostoja joita ei noilla MBCD jne. levyillä ole ja mikä ehkä vielä olennaisempaa niin myös kotimaista työtä olevaa softaa, jota ei ulkomaisista lähteistä varmaan juuri saa, jonkin verran.
 
Liittynyt
21.12.2016
Viestejä
2 398
Piti vaan tulla kommentoimaan että on tän hetken yleistä osion viihdyttävin lanka.

Jätkät vääntää tässä ihan oikeaa kulttuuritekoa :cigar2:

Älkää nyt vaan lopettako, on sen verran hyvä buugi päällä.
 

jad

Liittynyt
22.10.2016
Viestejä
1 219
Olisiko tuossa mahdollista saada tiivisteeksi tossa BLAKE3? Ihan vain siksi, että Discmasterin indeksissä käytetään sitä jolloin pystyisi suoraan vahvistamaan samaksi.
Toki onnistuu! Kun jokatapauksessa tuon indeksin ajelen uudestaan, niin samalla siihen tuon tiivisteen vaihtaa. Eiköhän tulevana viikonloppuna tule vähän puuhasteltua tämän parissa.
 
Liittynyt
17.10.2016
Viestejä
2 960
Parantelin tuota vuoden 96 MBFILES.LST:n käsittelyä @Alfh antaman konversiosta puuttuvien tiedostojen listan kanssa ja nyt tuloksen vihdoin pitäisi olla ainakin siihen suhteessa täysin kattava. Alkuperäisessä listatiedostossa on aika selkeästi jotain pientä korruptoitumista tapahtunut generoitaessa, voi olla että kun testasin MB-Kamua eikä se suostunut tuota tiedostoa lukemaan niin syy siihenkin oli tuossa roskassa jota siellä löytyy välistä, mutta nyt konversiossa pitäisi olla myös nuo virheelliset kitketty.

Tiedostojen kokonaismäärä tuolla listalla on nyt 26502.

Tämän kuvauksen vastaan tullessa apajalista.netissä huvitti vaikka ehkä tuo vuonna -95 oli tottakin:
Screenshot_20240420_012232.png
 
Viimeksi muokattu:

Dieselnautti

Make ATK Great Again
Liittynyt
14.07.2020
Viestejä
254
Oho. Propsit aherruksesta. Jonain vuonna toi "Huvi ja hyöty" CD oli kokenut vissiin jonkin inflaation, kun se nimettiin purkissa ilmestymisensä jälkeen: "Turha & tyhjä".
 
Liittynyt
11.08.2017
Viestejä
141
Parantelin tuota vuoden 96 MBFILES.LST:n käsittelyä @Alfh antaman konversiosta puuttuvien tiedostojen listan kanssa ja nyt tuloksen vihdoin pitäisi olla ainakin siihen suhteessa täysin kattava. Alkuperäisessä listatiedostossa on aika selkeästi jotain pientä korruptoitumista tapahtunut generoitaessa, voi olla että kun testasin MB-Kamua eikä se suostunut tuota tiedostoa lukemaan niin syy siihenkin oli tuossa roskassa jota siellä löytyy välistä, mutta nyt konversiossa pitäisi olla myös nuo virheelliset kitketty.

Tiedostojen kokonaismäärä tuolla listalla on nyt 26502.

Tämän kuvauksen vastaan tullessa apajalista.netissä huvitti vaikka ehkä tuo vuonna -95 oli tottakin:
Kolme uutta osastoakin näemä ilmestynyt. Kliksuttelin juuri 1996 ja 2005 listoille vastaavat osastoparit (voi juku mikä perjantai) ja seuraavaksi meinasin tehdä skriptin joka korvaa 1996 osastot rivi riviltä avain-arvo -pareilla 2005 formaattiin. Sen jälkeen voikin sitten pandat.py:llä yhdistää nuo kaksi listaa ilman pelkoa osastojen sekoittumisesta.
Vielä ehtii kommentoida jos löytyy virheitä / paranneltavaa: apajadata/apaja1996/merge/vastaavat_osastot.csv at master
 
Liittynyt
17.10.2016
Viestejä
187
Piti vaan tulla kommentoimaan että on tän hetken yleistä osion viihdyttävin lanka.

Jätkät vääntää tässä ihan oikeaa kulttuuritekoa :cigar2:

Älkää nyt vaan lopettako, on sen verran hyvä buugi päällä.
Tätä on kyllä ihana seurata, jatkakaa samaan malliin! :thumbsup:
 
Liittynyt
11.08.2017
Viestejä
141
Sen jälkeen voikin sitten pandat.py:llä yhdistää nuo kaksi listaa ilman pelkoa osastojen sekoittumisesta.
Tai onhan tuossa se, että Apajalistalla on paljon MBCD-tiedostoja päätynyt noille 2005-listan arkisto-osastoille. Esim. https://apajalista.net/Pelit?alakategoria1=PC-Arkisto on peräti 12 279 nimikettä. Tuolla on paljon tavaraa arkistoituna, joista ei löydy vastaavia nimikkeitä varsinaisilta Pelit-osastoilta. Mietityttää, että millä logiikalla noita on arkistoitu pois pääosastoilta?
1996 listalla ei ole arkisto-osastoja ollenkaan, joten kaikki tavara niistä ilmestyy nyt (myös) varsinaisille osastoille.

1996 listalla ei ole myöskään osastoa "Ullakko". Siellä on toisaalta tällainen tiedosto mainittu:
Päätaso: 1) Tiedostoja,MBOLD.ZIP,131178,29.09.96,"MBnetin ullakon tiedostojen listaus
pakattuna."
 
Liittynyt
17.10.2016
Viestejä
2 960
Tai onhan tuossa se, että Apajalistalla on paljon MBCD-tiedostoja päätynyt noille 2005-listan arkisto-osastoille. Esim. https://apajalista.net/Pelit?alakategoria1=PC-Arkisto on peräti 12 279 nimikettä. Tuolla on paljon tavaraa arkistoituna, joista ei löydy vastaavia nimikkeitä varsinaisilta Pelit-osastoilta. Mietityttää, että millä logiikalla noita on arkistoitu pois pääosastoilta?
1996 listalla ei ole arkisto-osastoja ollenkaan, joten kaikki tavara niistä ilmestyy nyt (myös) varsinaisille osastoille.

1996 listalla ei ole myöskään osastoa "Ullakko". Siellä on toisaalta tällainen tiedosto mainittu:
Ei tietoa, mutta tuntuisi että jos kyse on jostain vanhemmaksi ja vähemmän kiinnostavaksi luokitellusta niin vuosien vieriessä tuollainen jaottelu on menettänyt merkitystään ja lisäyspäivät on kuitenkin aina mukana. Mikähän tuon Ullakon idea, onko se vielä vanhempi "arkisto"?
 
Liittynyt
11.08.2017
Viestejä
141
Ei tietoa, mutta tuntuisi että jos kyse on jostain vanhemmaksi ja vähemmän kiinnostavaksi luokitellusta niin vuosien vieriessä tuollainen jaottelu on menettänyt merkitystään ja lisäyspäivät on kuitenkin aina mukana. Mikähän tuon Ullakon idea, onko se vielä vanhempi "arkisto"?
En kyllä tiedä Ullakon tarkoitusta. Muutenkin nuo arkistot lienee vähän turhia. Tai jos ohjelmasta on useampia versioita, niin ainakin uusimman version soisi olevan pääosastolla. Mutta käy nyt noita läpi sitten.. Ehkä se samankaltaiset.py -ominausuus pitäisi tuoda tuohon selkeyttämään (tai sotkemaan?) kokonaisuutta. Muutenkin pitäisi tehdä hakuominaisuus tuohon kun osastojen/kategorioiden määrä paisuu, tulikos tuohon 30+ uutta kategoriaa 1996 listalta.

pandat.py vaikuttaisi nyt toimivan kuten pitää. Se korvaa lennossa 1996 osastot "vastaavat_osastoparit" -listan mukaan ja yhdistää listat uudeksi tiedostoksi "pandojen_yhdistama_1996-2005_kaikki.csv". Uusiin sarakkeisiin 'kuvaus_2005' ja 'osasto_1996' tulee mukaan myös korvatut kuvaukset ja osastot, jos vaikka haluaa vertailla muutoksia,
 
Liittynyt
11.08.2017
Viestejä
141
Itse olisin sitä mieltä että nuo kaikki selitteet näytettäisiin niinkuin aikanaankin, eli monospace-fontilla, alkuperäisellä rivityksellä ja vieläpä jollain wanhan DOS-fontin tyylisellä niin tulee samalla mukava retro-fiilis.
Jos haluaa autenttisia DOS-ajan fontteja käyttää, niin täältä löytyy montaa sorttia: The Ultimate Oldschool PC Font Pack: Font Index
Testailin kehitysversiossa fontteja "WebPlus_IBM_EGA_9x8.woff" tuohon navigaatioon ja "WebPlus_IBM_VGA_8x16.woff" muuhun tekstiin. Jälkimmäinen on ehkä vähän tylsähkö, joskin selkeä. EGA taas turhankin rouhea koko listalle. Onko näkemyksiä mikä olisi hyvä WebPlus-fontti tuolle listaukselle?
Rivinvaihtojen näkyminen on edelleen ratkaisematta. Tietokannassa näkyy rivinvaihdot osastoissa oikein ja sitten on vielä noita 2005 listan "\n" rivinvaihtoja.

Screenshot_scifi.png
 

jad

Liittynyt
22.10.2016
Viestejä
1 219
Sain kuin sainkin korjatun indeksoinnin ajettua. Nyt käytössä BLAKE3 tiivisteet. Joitakin tiedostoja levyiltä puttuu, niin ihan kaikkia paketteja ei saanut purettua ja indeksoitua niiden sisältöä, kaikkiaan kannassa on nyt n. 186k tiedostoa.

Hieman tuli nostalginen fiilis kun osui Battlecruiser:3000AD:n readme silmään. Tämähän aikoinaan aiheutti melkoista pöhinää usenetissä kun peli julkaistiin kehittäjän vastustuksesta huolimatta keskeneräisenä. Jo tuo asennusohje on sellainen, että taitaisi aika monelta diginatiivilta jäädä tekemättä :) Tosin rehellisyyden nimissä, aika usein sitä oman ikäpolven kaveriporukkaakin piti kädestä pitäen neuvoa, että saivat jonkun pelin purettua ja asennettua.
 
Liittynyt
11.08.2017
Viestejä
141
Sain kuin sainkin korjatun indeksoinnin ajettua. Nyt käytössä BLAKE3 tiivisteet. Joitakin tiedostoja levyiltä puttuu, niin ihan kaikkia paketteja ei saanut purettua ja indeksoitua niiden sisältöä, kaikkiaan kannassa on nyt n. 186k tiedostoa.
Mitä tiedostoja noista puuttuu?
Virittelen tässä Apajalistaan ID:tä klikkaamalla avautuvaa lisätietosivua, joka generoi hash-linkkejä tuonne ApajaIndexiin, mikäli alkuperäksi on merkattu MBCD. Varmaankin tässä lähipäivinä päivitän sivuston uuteen versioon, kunhan vielä aikani testailen.

metadata.png
 

jad

Liittynyt
22.10.2016
Viestejä
1 219
Mitä tiedostoja noista puuttuu?
Suurin osa on puuttuvia multi-volume ARJ:n tiedostoja. Levyltä siis löytyy vain .ARJ ja .A01, .A02 jne. puuttuu.

MBCD4c
Q2V319.ARJ - Quake II version 3.19 update

MBCD5b
WB270768.ARJ - Warbirds 2.70 lentokonegrafiikat
WB272B.ARJ - Warbirds 2.72 - BASE versio
WB272F.ARJ - Warbirds 2.72 - FULL versio
O97S2FI1.ZIP - Office 97 SP2 FI päivitys
2 - 7 puuttuu välistä
O97S2FI8.ZIP

MBCD5c
SHADOWMN.ARJ - Shadow Man demo

Nyt kun tuo indeksoija kohtalaisen hyvin toimii, niin mietin, että kannattaisiko tuonne indeksoida muitakin kotimaisia tuon aikakauden CD levyjä, Ainakin joku Pelit- lehden CD näytti Archive.org:sta löytyvän. Ja miksei myös tuota Metropoli BBS:n arkistoakin voisi indeksoida jos se on jostain kokonaisuutena ladattvissa.
 
Liittynyt
10.05.2023
Viestejä
487
Suurin osa on puuttuvia multi-volume ARJ:n tiedostoja. Levyltä siis löytyy vain .ARJ ja .A01, .A02 jne. puuttuu. [...]
Onpas outoa. Tutkin myöhemmin tänään CD-levyiltä, puuttuvatko tiedostot tosiaan myös niiltä, vai onko ripatessa & zipatessa tapahtunut jotain kummallista.

EDIT. Jep, esim. O97S2FI1.ZIP ja O97S2FI8.ZIP edustavat kahdestaan tuota oletettua sarjaa. Onpahan kumma juttu. :hmm:

Screenshot from 2024-04-24 08-12-18.png

EDIT 2. Olisikohan CD:n koostajalla käynyt joku kämmi, ja lisännyt levyille vain lehti-PDF:ssä mainitut ja linkatut tiedostot? Esimerkiksi tuosta Office 97:n Y2K-päivityksestä mainitaan tasan zipit 1 ja 8:

Screenshot from 2024-04-24 08-40-50.png

Mielestäni nämä myöhemmät MBCD:t on muutenkin tehty jotenkin vähän puolivaloilla, katsokaa nyt tuostakin tuota "Kuva 4":ää, eihän tuosta saa mitään tolkkua! Eivät ne kuvat painolaatuisia MBCD1:lläkään olleet, mutta kyllä niistä sentään tekstit pystyi lukemaan, esimerkkinä vaikka tämä topiciin muutenkin sopiva otos vuodelta 1995:

Screenshot from 2024-04-24 08-41-32.png

Mutta juuh, vaikuttaisi, että MBCD:t ovat kehno korvike MBnetille, ja näiden avulla ei kyllä Apajaa uudelleen entiseen loistoonsa pystytetä. :confused2:
 
Viimeksi muokattu:
Liittynyt
11.08.2017
Viestejä
141
Nyt kun tuo indeksoija kohtalaisen hyvin toimii, niin mietin, että kannattaisiko tuonne indeksoida muitakin kotimaisia tuon aikakauden CD levyjä, Ainakin joku Pelit- lehden CD näytti Archive.org:sta löytyvän. Ja miksei myös tuota Metropoli BBS:n arkistoakin voisi indeksoida jos se on jostain kokonaisuutena ladattvissa.
Mikä ettei. Tässä taitaa olla Metropolin tiedostot: Metropoli BBS files (http://files.mpoli.fi//) (Taken 2/12/18 - 2/13/18) : Free Download, Borrow, and Streaming : Internet Archive
Pelit-lehdelläkin oli muuten oma purkkinsa, Pelit-BBS. Olinkin jo unohtanut sen olemassaolon. Ei tullut Pelit-lehteä ikinä tilattua.

Mutta juuh, vaikuttaisi, että MBCD:t ovat kehno korvike MBnetille, ja näiden avulla ei kyllä Apajaa uudelleen entiseen loistoonsa pystytetä. :confused2:
Eihän niitä ole määränsäkään puolesta kuin jotain reilu 10% listojen nimikkeistä. Mutta on siinä hyvä alku kuitenkin. Täytyypä miettiä jotain statistiikkaa sivustolle, vaikka osastokohtainen prosentti olemassaolevista tiedostoista.
 

jad

Liittynyt
22.10.2016
Viestejä
1 219
Onpas outoa. Tutkin myöhemmin tänään CD-levyiltä, puuttuvatko tiedostot tosiaan myös niiltä, vai onko ripatessa & zipatessa tapahtunut jotain kummallista.
Ja vielä yksi virhe. MBCD4c:llä on UNRLB220.A01 orpona etsimässä kavereita.

On kyllä hieman hämmästyttävää, että noinkin paljon on virheitä. Ei tuo CD levyjen prässääminen mitään halpaa touhua ollut tuossa vuosituhannen vaihteessa, niin luulisi, että kohtalaisen huolella olisi levyt valmisteltu.

Mikä ettei. Tässä taitaa olla Metropolin tiedostot: Metropoli BBS files (http://files.mpoli.fi//) (Taken 2/12/18 - 2/13/18) : Free Download, Borrow, and Streaming : Internet Archive
Pelit-lehdelläkin oli muuten oma purkkinsa, Pelit-BBS. Olinkin jo unohtanut sen olemassaolon. Ei tullut Pelit-lehteä ikinä tilattua.
Ohhoh. Metropolissa 18 GB dataa. Luulisi sieltä nyt jonkin verran löytyvän apajassakin olleita tiedostoja.
 
Liittynyt
17.10.2016
Viestejä
2 960
Ohhoh. Metropolissa 18 GB dataa. Luulisi sieltä nyt jonkin verran löytyvän apajassakin olleita tiedostoja.
Valitettavasti leijonanosan tuosta tilasta arkistossa vie "ifsc2.ifsc.usp.br" -hakemisto, joka vaikuttaa vähän jonkin muun ajuritiedostojen kokoelman peililtä tms. eikä alkuperäiseltä purkin tiedostoalueen sisällöltä.

Kyllä tuosta silti kohtalaisesti osumiakin löytyy, vanhempaan MBNetin listaan täsmäävien tiedostonnimien perusteella päädyin tarkastelemaan vähän yli tuhatta ja vähintään satoja niistä todella taitaa ollakin vielä muualta tähän mennessä löytymättömiä Apajallakin olleita sisältöjä. Pistän noi tulokset ja skriptin jakoon kunhan saan ne vähän valmiimmiksi.

Tämmöistä vertailua olen täsmäävien tiedostonnimien kohdalla tehnyt MBFILES.LST kuvauksen ja paketista löytyvän FILE_ID.DIZ välillä (viimeinen sarake kertoo vastaavuuden):
Screenshot_20240425_203519.png
 
Liittynyt
11.08.2017
Viestejä
141
Kyllä tuosta silti kohtalaisesti osumiakin löytyy, vanhempaan MBNetin listaan täsmäävien tiedostonnimien perusteella päädyin tarkastelemaan vähän yli tuhatta ja vähintään satoja niistä todella taitaa ollakin vielä muualta tähän mennessä löytymättömiä Apajallakin olleita sisältöjä. Pistän noi tulokset ja skriptin jakoon kunhan saan ne vähän valmiimmiksi.
Jos intoa riittää ja haluat löydöksesi lisättävän Apajalistaan, niin helpointa olisi, että koostat isompia paketteja, joihin saa kommenteiksi ja alkuperäksi saman tekstin. Tuolla kun ei toistaiseksi mitään työkalua tiedostojen lisäämiseen ole. Se kyllä vahtii latauskansiota ja merkkaa tiedoston olemassaolevaksi listaan, mutta ei turhia kysele.
Esimerkiksi MBCD-tiedostojen kohdalla muutin lähdekoodissa olevaan SQL-käskyyn "alkup = 'MBCD'". Yksittäisiä voi muokata jälkeenpäin konsolista käsin.

Nuo joissa tiedostonimi täsmää, voinee heittää sellaisenaan kommentin ja alkuperän kera. Jos löytyy lähelle samoja paketteja, mutta eroavaisuuksilla, ne voi pakata uudestaan niin että nimi täsmää. Eli zippi zipin sisällä ja tekstitiedosto sinne väliin kertomaan mistä on kyse.
Esimerkkinä, löysin koneeltani kuvassasi mainitun rayace.txt:n ja pari muuta tiedostoa, jotka pakkasin uudestaan ja heitin tuonne kommentin "repacked" kera. Lisäsin pakettiin myös lueminut.txt jossa lukee "Uudelleenpakattu. Tekstitiedosto alunperin MBnetistä.".
Repacked -kommenteilla olevia voi sitten korvata alkuperäisillä, jos niitä joskus löytyy.

Jos sisältö vastaa alkuperäistä, niin pelkkä uudelleennimeäminen riittää, niin lisään sellaiset sitten 'renamed' kommentin kera. Ylläolevassa esimerkissä ei siis ollut alkuperäistä file_id.diziä tms. ollenkaan mukana.

Kannassa on nyt siis MBCD:t + 5 tiedostoa merkattu olemassaolevaksi. Otin hetki sitten csv-dumpin kannasta ja pistin ladattavaksi tänne, niin voit vertailuissasi käyttää myös tuota:
Edit: tuosta puuttuu jostain syystä alkuperä jatkokäsittelyä odottavista, pitäisi olla 'MBCD'. Korjasin sivustolle.

Päivitän kohtapuoliin sivuston uuteen versioon. Sinne tulee nyt ID-sivulle listausta samankaltaisista tiedostoista ja muuta mukavaa.
Edit: päivitetty versioon 0.7

Edit: kuva vielä selventämään:

1714073821654.png
 
Viimeksi muokattu:

jad

Liittynyt
22.10.2016
Viestejä
1 219
Valitettavasti leijonanosan tuosta tilasta arkistossa vie "ifsc2.ifsc.usp.br" -hakemisto, joka vaikuttaa vähän jonkin muun ajuritiedostojen kokoelman peililtä tms. eikä alkuperäiseltä purkin tiedostoalueen sisällöltä.
Joo, tuo hakemisto vie 14 GB ja tuostakin 7 GB on erilaisia printteriajureita. Kaiken muun tuolta Kyllä voisi lisätä apajaindeksiin.

Mikä fontti noissa kuvaukissa toimii parhaiten ? Itse olen file_id.diz sisällöt tallentanut kantaan blobbina ilman mitään merkistökonversiota. Webissä sitten cp850 => utf-8 konversio ja fonttina "Perfect DOS VGA 437".
Tällä yhdistelmällä nuo grafiikat näkyy oikein, mutta ääkköset ei:
aakkoset.png
 
Liittynyt
11.08.2017
Viestejä
141
Joo, tuo hakemisto vie 14 GB ja tuostakin 7 GB on erilaisia printteriajureita. Kaiken muun tuolta Kyllä voisi lisätä apajaindeksiin.

Mikä fontti noissa kuvaukissa toimii parhaiten ? Itse olen file_id.diz sisällöt tallentanut kantaan blobbina ilman mitään merkistökonversiota. Webissä sitten cp850 => utf-8 konversio ja fonttina "Perfect DOS VGA 437".
Tällä yhdistelmällä nuo grafiikat näkyy oikein, mutta ääkköset ei:
Tuo on kyllä hieno fontti. Aiemmin mainittu tylsähkö, mutta toimiva "WebPlus_IBM_VGA_8x16.woff" on nyt Apajalistassa. Tuolla on noita web-fontteja ladattavana: The Ultimate Oldschool PC Font Pack: Font Index

1714078878291.png
 
Liittynyt
17.10.2016
Viestejä
2 960
Joo, tuo hakemisto vie 14 GB ja tuostakin 7 GB on erilaisia printteriajureita. Kaiken muun tuolta Kyllä voisi lisätä apajaindeksiin.

Mikä fontti noissa kuvaukissa toimii parhaiten ? Itse olen file_id.diz sisällöt tallentanut kantaan blobbina ilman mitään merkistökonversiota. Webissä sitten cp850 => utf-8 konversio ja fonttina "Perfect DOS VGA 437".
Tällä yhdistelmällä nuo grafiikat näkyy oikein, mutta ääkköset ei:
Toi voi olla seurausta siitä, että enkoodaus josta muunsit -> utf-8 ei ole sama jota tiedostossa oli käytetty. Jos ääkköset näkyy noin kuin tuossa niin kyseessä taitaa olla enkoodaus, jossa on iso8859-1/latin1 mukaisella paikalla ääkköset ja cp850/437 kanssa se näyttää tuolta.
 

jad

Liittynyt
22.10.2016
Viestejä
1 219
Toi voi olla seurausta siitä, että enkoodaus josta muunsit -> utf-8 ei ole sama jota tiedostossa oli käytetty. Jos ääkköset näkyy noin kuin tuossa niin kyseessä taitaa olla enkoodaus, jossa on iso8859-1/latin1 mukaisella paikalla ääkköset ja cp850/437 kanssa se näyttää tuolta.
Kyllä tuo on nimenomaan fontista kiinni. Kunhan lähdemerkistön arpoo oikein, on ihan perus monospace perheen fontti paras vaihtoehto, mutta sehän ai tarjoa autenttista kokemusta :) Nuo modernit DOS fontit ovat enemmän taikka vähemmän huonoja, mutta näyttävät paremmalta onnistuessaan.

Kötöstelin nopean demon eri fonteista ja poimin muutamia file_id.diz sisältöjä eri tavoin merkistömuunnettuna ja eri fonteilla:

Tuosta näkee selvästi sen, että tuo Perfect DOS fontti on yritetty tehdä sellaiseksi, että se toimii lähes oikein vaikka merkistökonversio ei olisikaan osunut ihan kohdalleen. Se vaan jotenkin hukkaa välilyöntejä. Ja nuo ääkköset menee väärin.
 
Liittynyt
17.10.2016
Viestejä
2 960
Kyllä tuo on nimenomaan fontista kiinni. Kunhan lähdemerkistön arpoo oikein, on ihan perus monospace perheen fontti paras vaihtoehto, mutta sehän ai tarjoa autenttista kokemusta :) Nuo modernit DOS fontit ovat enemmän taikka vähemmän huonoja, mutta näyttävät paremmalta onnistuessaan.

Kötöstelin nopean demon eri fonteista ja poimin muutamia file_id.diz sisältöjä eri tavoin merkistömuunnettuna ja eri fonteilla:

Tuosta näkee selvästi sen, että tuo Perfect DOS fontti on yritetty tehdä sellaiseksi, että se toimii lähes oikein vaikka merkistökonversio ei olisikaan osunut ihan kohdalleen. Se vaan jotenkin hukkaa välilyöntejä. Ja nuo ääkköset menee väärin.
No se on tietysti totta että fonttikin pystyy vaikuttamaan. Vikaan voi mennä molempien kohdalla ja näköjään DOSia ajatellen tehdyt fontit voi tosiaa tehdä erikoisratkaisuja kun tiedetään mitä siellä alkuperäisessä suunnilleen voi olla. Tietysti voi tehdä ääkkösten kohdalla myös vääriä erikoisratkaisuja jos ei ole sitä niin ajateltu...
 
Liittynyt
11.08.2017
Viestejä
141
Archive.orgista löytyy joitakin osioita, kuten trackeribiisejä ja oudot/pilapelit.
Kävin nuo nyt läpi ja lisäilin sivustolle. Trackeribiiseissä oli jokunen kymmenen "ESCAPE.ZIP" ja "ESCAPE(1).ZIP" -tyyliin nimettyä tiedostoa, joissa toisessa oli musiikkikappale ja toisessa jotain muuta. Tarkistin 1996-listasta ja siellä todella on kaksi erillistä "ESCAPE.ZIP" tiedostoa, toisessa joku demo ja toisessa s3m. Jätin tuollaiset nyt lataamatta, koska sivusto ei noita osaa erotella. Oletin siis väärin noiden samannimisten suhteen, kun pidin noita lähinnä 2005-listan erikoisuuksina. Eli jotain täytyisi kehitellä.

Trackeribiisien Modit-kansiosta jätin lataamatta pari tuhatta hutia, ettei mene jatkokäsittelyosasto tukkoon. Eli paljon tuolta listauksesta puuttuu edelleen kohteita. Muuten nuo meni pitkälti osastolle Tietokonemusiikki johon tulikin mukavat prosentit.
Oudot/pilapelit meni DOS-peleihin ja latailin sinne vielä mm. Discmasterista joitain puuttuvia. Discmasterista jotkut tiedostot antaa 404 kun yrittää ladata, kuten rvinkki.zip. Näkyipä ratsnest3.iso silti latautuvan, josta tuo löytyy ja muutenkin ihan mielenkiintoista purkkisettiä näyttäisi olevan.

3742 tiedostoa tuli yhteensä lisää Apajalistaan jos en väärin laskenut. Ajantasainen csv-dumppi tästä.
 
Viimeksi muokattu:

jad

Liittynyt
22.10.2016
Viestejä
1 219
Kävin nuo nyt läpi ja lisäilin sivustolle. Trackeribiiseissä oli jokunen kymmenen "ESCAPE.ZIP" ja "ESCAPE(1).ZIP" -tyyliin nimettyä tiedostoa, joissa toisessa oli musiikkikappale ja toisessa jotain muuta. Tarkistin 1996-listasta ja siellä todella on kaksi erillistä "ESCAPE.ZIP" tiedostoa, toisessa joku demo ja toisessa s3m. Jätin tuollaiset nyt lataamatta, koska sivusto ei noita osaa erotella. Oletin siis väärin noiden samannimisten suhteen, kun pidin noita lähinnä 2005-listan erikoisuuksina. Eli jotain täytyisi kehitellä.
Sinulla siis on nyt yksi hakemisto johon kaikki tiedostot on ladattuna ja kantaan merkattuna, mitkä tiedostot kansiosta löytyy ?

Nuohan voisi siirrellä tiedoston ID:n mukaisiin hakemistoihin ja jos haluaa hifistellä, niin rikkoo tuon vielä useampaan tasoon ID:n parin viimeisen numeron perusteella.
Jotenkin näin: 13494 2L8FE122.ZIP löytyisi polusta 4/9/13494/2L8FE122.ZIP

ID:hen perustuva hakemisto mahdollistaisi sen, että hakemistoon voisi tallentaa tiedostosta useita eri versioita.
 
Liittynyt
11.08.2017
Viestejä
141
Sinulla siis on nyt yksi hakemisto johon kaikki tiedostot on ladattuna ja kantaan merkattuna, mitkä tiedostot kansiosta löytyy ?

Nuohan voisi siirrellä tiedoston ID:n mukaisiin hakemistoihin ja jos haluaa hifistellä, niin rikkoo tuon vielä useampaan tasoon ID:n parin viimeisen numeron perusteella.
Jotenkin näin: 13494 2L8FE122.ZIP löytyisi polusta 4/9/13494/2L8FE122.ZIP

ID:hen perustuva hakemisto mahdollistaisi sen, että hakemistoon voisi tallentaa tiedostosta useita eri versioita.
Joo, tuolla on yksi hakemisto jossa on kaikki ~10k tiedostoa. Nyt se yksinkertaisesti huomaa lisätyn tiedoston, tarkastaa löytyykö samannimistä tiedostoa listauksesta ja merkkaa sen olemassaolevaksi. Hyvä puoli tässä on, että koska sama tiedosto voi esiintyä usealla osastolla ja ID:llä, merkkautuu se kaikkiin ja myös latauslinkit ilmestyy automaattisesti. Se myös poistaa merkinnät jos tiedosto poistetaan.
Tiedostojen lisääminen on helppoa, kun jo siirron aikana herjaa jos sama tiedosto löytyy jo kansiosta. Päädyin tähän ratkaisuun, koska MBCD:illä tiedostot oli jo sulassa sovussa sekaisin samassa kansiossa.

ID-hakemistot olisi tietysti pidemmän päälle fiksumpia. Tuhansien tiedostojen lisääminen hankaloituisi kyllä, kun pitäisi tehdä siitä hallitumpi prosessi jonkin sortin käyttöliittymällä. Välimuoto voisi olla, että jatkaa toistaiseksi vanhaan malliin ja raakkaa sitten käsipelillä ID-hakemistoihin tarvittaessa. Ehkä raportointinappi sivustolle jos on väärä tiedosto kohteessa?

Siellä on tällä hetkellä vajaa tuhannen riviä sellaisia joihin on merkattu sama tiedosto useampaan kohteeseen. 1996 listauksessa on noita varsinaisia ongelmatapauksia ~40 ja valtaosa liittyy osastoon Tietokonemusiikki tai Demoscene. Ja sitten on noita, missä on käytännössä sama tiedosto, mutta eri kuvauksella ja tiedoston koossa voi olla pieni ero.
Pyörittelen taulukoita vielä vähän ja lataan tarkempaa dataa tuonne repoon jossain kohtaa.
 
Liittynyt
17.10.2016
Viestejä
2 960
Joo, tuolla on yksi hakemisto jossa on kaikki ~10k tiedostoa. Nyt se yksinkertaisesti huomaa lisätyn tiedoston, tarkastaa löytyykö samannimistä tiedostoa listauksesta ja merkkaa sen olemassaolevaksi. Hyvä puoli tässä on, että koska sama tiedosto voi esiintyä usealla osastolla ja ID:llä, merkkautuu se kaikkiin ja myös latauslinkit ilmestyy automaattisesti. Se myös poistaa merkinnät jos tiedosto poistetaan.
Tiedostojen lisääminen on helppoa, kun jo siirron aikana herjaa jos sama tiedosto löytyy jo kansiosta. Päädyin tähän ratkaisuun, koska MBCD:illä tiedostot oli jo sulassa sovussa sekaisin samassa kansiossa.

ID-hakemistot olisi tietysti pidemmän päälle fiksumpia. Tuhansien tiedostojen lisääminen hankaloituisi kyllä, kun pitäisi tehdä siitä hallitumpi prosessi jonkin sortin käyttöliittymällä. Välimuoto voisi olla, että jatkaa toistaiseksi vanhaan malliin ja raakkaa sitten käsipelillä ID-hakemistoihin tarvittaessa. Ehkä raportointinappi sivustolle jos on väärä tiedosto kohteessa?
Ainakin yksi vähän yksinkertaisempi tapa sallia useampi samanniminen voisi olla vaikka se että vaihtoehtoisena tiedostonnimenä katsoisi ensin sellaista jossa on tuo tietokannassa oleva tunniste mukana ja käyttäisi sitten sellaista versiota silloin kun on tuplanimet.

Toisaalta mahdollinen ratkaisu voisi myös olla säilyttää hakemistorakenteessa kategoriat jos isomman muutoksen tekee, ei varmaan samassa kategoriassa Apajalla koskaan ole voinut kahta täsmälleen samannimistä tiedostoa olla, ton ESCAPE.ZIP tapauksessa näyttäisi ainakin minusta toinen näistä olevan demo ja toinen sitten mod-musaa.
 
Liittynyt
11.08.2017
Viestejä
141
Ainakin yksi vähän yksinkertaisempi tapa sallia useampi samanniminen voisi olla vaikka se että vaihtoehtoisena tiedostonnimenä katsoisi ensin sellaista jossa on tuo tietokannassa oleva tunniste mukana ja käyttäisi sitten sellaista versiota silloin kun on tuplanimet.

Toisaalta mahdollinen ratkaisu voisi myös olla säilyttää hakemistorakenteessa kategoriat jos isomman muutoksen tekee, ei varmaan samassa kategoriassa Apajalla koskaan ole voinut kahta täsmälleen samannimistä tiedostoa olla, ton ESCAPE.ZIP tapauksessa näyttäisi ainakin minusta toinen näistä olevan demo ja toinen sitten mod-musaa.
En ainakaan yhtäkkiä löydä virallisesta listauksesta tuplia samalta osastolta. Aika vähän niitä on tuossa muutenkaan. 2005 lista onkin sitten eri juttu. Muuten kyllä kategoriat saisi hakemistorakenteeseen siinä missä ID:n, tosin jonkin sortin sääntöjä tarvisi jos niissä on erikoismerkkejä tms. joita ei voi hakemistojen nimissä olla.

Tässä on 1996 listasta tuplahakua, teen vielä sivustolla olevasta yhdistetystä listauksesta jotain vastaavaa:
sama_nimi_eri_koko_eri_ohjelma.csv on käsipelillä raakattu tulkinta tiedostosta sama_nimi_eri_koko.csv, joka on taas koostettu taulukkolaskennan ehtolauseilla, kuten myös sama_nimi_sama_koko.csv.
 
Liittynyt
11.08.2017
Viestejä
141
Yhdistetyssä listassa käytin ehtolauseissa nimeä ja päivämäärää, koska koot ovat eri formaatissa. En nyt sen paremmin ole analysoinut tuota, muuten kuin todennut, että paljon on rivejä. Ehkä ensiapuna listaukseen voisi tehdä uuden sarakkeen merkkaamaan nuo kaikki ja pistää sivulle noiden kohdalle punainen varoitusteksti, jossa kerrotaan tiedoston esiintyvän usealla osastolla ja kehoitetaan tarkastamaan vastaako sisältö kuvausta.

Tiedostojen nimistä saanee käsityksen mitä niissä on: tuplahaku_v3
 
Toggle Sidebar

Statistiikka

Viestiketjut
240 770
Viestejä
4 206 289
Jäsenet
70 959
Uusin jäsen
Sallys

Hinta.fi

Ylös Bottom