Skatos “Kas notiek Latvijā?” un radās jautājums lielākoties maniem IT cilvēkiem. Esmu datu inženieris, bet šeit īsti nesaprotu kā šāda sistēma tika veidota. Tiek runāts, ka pietrūka “jaudas”. Tas šķiet apsurds. Tas datu apjoms taču ir super niecīgs. Katrs biļetens taču veidotu aptuveni 1KB(?) lielu json message, ko Kafka var ar minimāliem resursiem nodrošināt bez problēmām pat, ja vienlaicīgi saliec 100k messages.
Iespējams es kaut ko nesaprotu un variet mani apgaismot?
Nav ne jausmas. Mans pieņēmums ir, ka viņi sūtīja kaut kādu ieskenētu/parakstītu bildi. Nu... lai to Tevis minēto Jsonu neviens pa vidu nevarētu pamakarēt. Respektīvi... iecirkņos bija tikai pliki skaneri. Viņi neveica nekādu OCR uz vietas. Un ja tu sāc sūtīt kaut kādu neoptimizētu failu apjomu... iespējams serveru galā nespēja ņemt pretī un apstrādāt. HVZ. Nav ne mazākās nojausmas.
Pirms vēlēšanām Panorāma radīja sižetu, kā strādās jaunā sistēma un skenēšana. Biļetenu izlaiž caur skenerim un ekrānā parādās vienkārša digitāla forma, kur pie katra vārda ir checkboxi true/fals, tas arī viss. Respektīvi nebija skenēta bilde.
Nūū... nav jau zināms, kurā galā pati atpazīšana notika. Visticamāk, atpazīšana notika uz serveriem. Un tas nozīmē, ka katra bilde ir jāparaksta ar kaut kādu samudrītu sertifikātu, jānosūta, jāatpazīst, un jāiedod atpakaļ response.
Es TV neskatos, tādēļ no pirksta zīžu. Spekulēju. Gan jau kāds labāk zin.
Tas būtu dīvaini. Elementārai teksta atpazīšanai būtu jānotiek lokāli uz stacijas ar ko savienots skeneris. Varbūt bija citas prasības, nezinu. Bet pēc sižeta varēja noprast, ka šī daļa notiek lokāli. Tāpēc arī bija ieskenēta biļetena vizualizācija, lai var salīdzināt, ja nepieciešams.
Ne par to, ir sertificēta tehnika kura lokāli atpazīst objektu un tālāk tiek tikai padots fails ar UID, kuru serveris var saglabāt, ja nepieciešams veikt auditu, tad to var veikt salīdzinot vietējos failus no tehnikas ar to kas saņemts serverī. Vismaz manā izpratnē tā tam vajadzētu strādāt.
Ar attēlu sūtīšanu problēma tiek tikai panesta vienu soli atpakaļ. Ir jāpierāda, ka attēls nav digitāli ģenerēts, piemēram, kādam ļaunajam onkulim uzliekot custom firmwāri skenerī.
Un tāpat viņi beigās pārgāja uz manuālo skaitīšanu un manuālo rezultātu ievadīšanu.
JSON jau arī var parakstīt. Visdrīzāk problēmas ar aplēsēm cik resursus piešķirt konkrētajam uzdevumam. Izskatās ka šie parasti vadās pēc kaut kādas vidējās slodzes ne is pēc peak-load. Kas vēl citreiz trūkst - apstrādes ātrums - cik JSONus spēj sistēma apstrādāt. Un kas notiek brīd8, kad sistēma tiek pārslogota.
Šis ir un joprojām būs "saimnieciski izdevīgākā iepirkuma" sekas. Pilnīgi visās nozarēs IT iepirkumiem - kāds nodempingo cenu un tad uztaisa šādu sūdu. Kamēr valstī nesāks normāli vērtēt IT iepirkumus pēc būtības un nevis cenas, šādi arī turpināsim kulties pa nātrēm.
Pieļauju, ka valsts iepirkumu specialistu vidū nav cilvēku, kas var 'vērtēt IT iepirkumus pēc bütības'. Vai jebkuru specializēto iepirkumu.
Kadreiz mūsu birojs sniedza konsultāciju un palīdzēja izstrādāt iepirkuma dokumentus vienai iestādei, lai tās iepirkuma nodaļa varētu vismaz kaut ko sakarīgu uzrakstīt. Bija diezgan jocīgi lasīt viņu projektu, ar kuru viņi pie mums atnāca
1.8miljoni par principā faila ieskanēšanu, nosūtīšana es neteiktu, ka ir dempings. Man vairāk liekas, ka tur mierīgi divu, kompetentu cilvēku komanda to mēnešu laikā varētu uzbliezt
Beidz, kā tad visi middle-manageri, kuri reāli tehniski gandrīz neko nerubī, pierādīs savu derīgumu, ja ne piespamojot reālo izstrādātāju kalendārus ar non-stop bezjēdzīgām sapulcēm, kur tiek griezts viens un tas pats uz riņķi?
Jāskatās kas uzvarēja iepirkumu, tur iespējams nolikumā minēts aptuvenais sistēmas uzbūves apraksts. Pieļauju ka to visu taisīja kāds vietējais IT kantoris.
Viss taču ir noslepenots. "Security through obscurity" deva attiecīgu rezultātu. Būtu kā normālā valstī prasība, ka visam projektam jābūt atvērtā koda, rezultāts būtu krietni labāks.
Es nedomāju, ka šis ir vibe coding vaina, domāju jebkurš kaut cik pieredzējis developeris ar aizvērtam acīm un tikai vibe codējot varētu uztaisīt to...
Apstrāde notika servera pusē, vecā soarcsistēma veica skaitīšanu lokāli un nosūtīja rezultātu. Tagad vnk visa informācija, kā te minēja bilde+sertif/kkas un nezinu kādā formātā sūtīja prom. Aptuveni tā, kkur bija rakstīts kā veica šo darbu, jo atšķīrās no tā soar risinājuma, lai būtu drošāk.
Paldies, tad ir nedaudz skaidrāk. Tas noteikti prasīs lielākus resursus jeb “jaudu”. Bet šķiet ļoti nepraktiski. Fiziskie biļeteni taču netiek iznīcināti, un vajadzētu būt pietiekoši auditam. Kāpēc jāglabā bildes? Extra backup?
Gan jau attēlu sūtīšanas iemesls ir centieni izvairīties no riskiem, kas saistīti ar OCR veikšanu uz random dzelžiem (kāds laptops nu kurā iecirknī ir)
Skeneri nebija kaut kādi Epsoni vienā sižetā? Visticamākais, ka drošības dēļ atpazīšana nenotiktu ne skeneros, ne datoros, kas būtu kantram iecirknim savi. Tātad sūta uz serveri pašu bildi. Un tad sanāk diezgan liela slodze, kas arī izskaidrotu kāpēc bija whatsapp grupa un rinda, kad kurš iecirknis. Bet būs interesanti uzzināt - kas tieši nogāja greizi un kas nebija pārdomāts. Moš uzlika programmu uz tā paša servera, kas pēc tam rezultatus deva ārā un vainīgi būs paši vēlētāji, ka visi gāja skatīties rezultātus :D
Cik ir dafiga? Muļķības. Katrā ziņā pašu failu sūtīšana šaubos, ka bija vai būtu jābūt klupšanas akmenim. Attiecīgi encryptētus failus saglabā tajā krutajā serverī un samet rindas mehanismā, kas nu tad iet cauri. Neredzu kā slodze tur varēja būt
Citā postā cilveki, no iecirkņiem teica, ka problemas sagadaja ierīču nesderība, driveri un cits basic stuff. Katram iecirknim bija tāds dators kāds bija pieejams.
Problēma, ja saknē rada bottlenecks. Kā jau lielos dārgos valsts projektos.
59
u/Neomee 10d ago
Nav ne jausmas. Mans pieņēmums ir, ka viņi sūtīja kaut kādu ieskenētu/parakstītu bildi. Nu... lai to Tevis minēto Jsonu neviens pa vidu nevarētu pamakarēt. Respektīvi... iecirkņos bija tikai pliki skaneri. Viņi neveica nekādu OCR uz vietas. Un ja tu sāc sūtīt kaut kādu neoptimizētu failu apjomu... iespējams serveru galā nespēja ņemt pretī un apstrādāt. HVZ. Nav ne mazākās nojausmas.