Raport z prac

[Kamiljan de Harlin 1 506]

W tym wątku raportuję o KAŻDEJ zmianie w kodzie i bazach danych dokonanych przeze mnie jako Technik NUI od momentu powołania mnie na stanowisko włącznie.

14 marca 2025

Moja pierwsza poprawka od niego zostałem ponownie zatrudniony. Dodałem do strony nordata.org/powiadomienia wyświetlanie zdjęcia profilowego sendera powiadomienia. 

Wcześniej wyświetlało się ID użytkownika, od którego pochodzi powiadomienie. Teraz avatar albo placeholder w przypadku braku zdjęcia na forum.

[Kamiljan de Harlin 1 506]

Nowy panel admina Dziennika Prawnego zrobiłem jakoś rok temu, ale do tej pory nie podmieniłem starego panelu na nowy.

Dzisiaj stary panel admina Dziennika Prawnego został ukryty poprzez zmianę jego nazwy. Strona /dp/admin linkuje teraz do nowego panelu admina DP. Ten nowy panel ma około rok, ale dopiero teraz podmieniam stary na nowy.

[Kamiljan de Harlin 1 506]

15 marca 2025

Naprawiłem skrypty modułu Kongresu do łączenia się z bazą danych forum.

[Kamiljan de Harlin 1 506]

16 marca 2025

W systemie powiadomień strony głównej:

• dodałem opcję oznakowania powiadomienia jako przeczytane bez klikania w powiadomienie,
• dodałem opcję usunięcia konkretnego powiadomienia lub wszystkich powiadomień,
• naprawiłem błąd, gdzie klikanie na powiadomienie przenosiło użytkownika do konkretnego artykułu, ale nie zamieniało statusu powiadomienia na przeczytane.
• poprawiłem wygląd powiadomień,
• na urządzeniach mobilnych klikanie w dzwonek powiadomień nie rozwija już listy powiadomień na obecnej stronie, tylko przekierowuje na stronę z listą powiadomień. Wyskakująca lista nie była czytelna na urządzeniach mobilnych.
• powiadomienia dla Prezydenta o wygaśnięciu obywatelstwa przez nieaktywną osobę przekierowują teraz na profil tego użytkownika.

W efederacji naprawiłem problemy ze współdzieleniem sesji ze stroną główną.

[Kamiljan de Harlin 1 506]

xx-29 marca 2026

Dodałem wiele nowych kategorii artykułów.

Brak aktywności obywatela II Federacji Nordackiej na forum przez 92 dni powoduje teraz automatycznie usunięcie go z roli obywateli II FN na forum. Skrypt szuka w jego dodatkowych rolach ról obywatelstw innych państw i ustawia je na rolę główną, a jeśli osoba nie posiada żadnych dodatkowych obywatelstw, to ustawiamy jego grupę główną na Mieszkańca. 

30 marca - 3 kwietnia 2026

Dodałem do systemu do glosowania możliwość zadawania różnych rodzajów pytań w ramach jednego głosowania. Wcześniej każde pytanie jednego głosowania musiało być tego samego typu: albo głosowanie jednokrotnego wyboru, albo wielokrotnego wyboru, albo suwaczki do przesuwania. Było to potrzebne do referendum w którym miały być różnego rodzaju pytania w jednym głosowaniu. Nieważne, że referendum jednak nie będzie: teraz w ramach jednego głosowania można zadać pytania różnego typu, a nie że wszystkie będą suwakami albo wszystkie checkboxami. Implementacja takiego rozwiązania wymagała ode mnie przeniesienia danych o głosowaniach ze starej bazy danych do nowoutworzonej bazy danych. Przemigrowałem więc dane, ale miałem problem z migracją głosowania w wyborach prezydenckich, bo pytania i głosowania nie zostały ze sobą powiązane. Przez kilka minut od piątku od godziny 00:00 osobom, które próbowały oddać głos w wyborach, wyświetlała się biała karta zamiast formularza głosowania. Natychmiast połączyłem pytanie z głosowaniem w bazie danych i wszystko działa od tej pory normalnie. Przez kilka godzin nie było też widać na liście głosowań archiwalnych głosowań, tj. wszystkich utworzonych przed 1 kwietnia, ale je też przeniosłem już po południu tego samego dnia.

Ujednoliciłem styl widżetu z najnowszymi aktami prawnymi, aby zgadzał się z formatowaniem widżetu o najnowszych postach.

Najeżdżanie myszką na przyciski Zagłosuj teraz, Napisz artykuł oraz Zobacz wszystkie artykuły na stronie głównie nie sprawia już, że tekst przycisku zmienia kolor na zlewający się z kolorem tła przycisku. 

 

 

 

[Kamiljan de Harlin 1 506]

Od teraz powiadomienia o polubieniu netoperka poprawnie przekierowują do konkretnego netoperka. Dotychczas wyrzucało błąd 404 po kliknięciu na powiadomienie. 

Sesja na stronie głównej jest teraz ważna 14 dni. To oznacza, że użytkownicy dłużej będą zalogowani na stronie głównej bez konieczności ponownej autoryzacji poprzez forum. Jeśli dalej będziecie mieć jakieś problemy z ciągłym wylogowywaniem ze strony głównej, to zgłaszajcie.

Widżet z informacjami o trwających głosowaniach informuje teraz nie tylko o wyborach, ale także o zwykłych ankietach/sondażach. Widżet nie pojawia się teraz wyłącznie na stronie głównej, ale na każdej podstronie. 

Dodałem opcję tworzenia głosowań zarezerowowanych wyłącznie dla Obywateli Winkulii. 

Na stronie głosowania widoczna jest teraz lista osób uprawnionych do głosu wraz z informacją o tym, ilu wirtualnych wyborców reprezentuje dany realny wyborca. 

W dzienniku prawnym jest teraz nowy edytor tekstu. Teraz tekst w edytorze będzie wyglądać identycznie jak tekst po publikacji - po zapisaniu artykułu/aktu prawnego nie jest już tracone formatowanie ani nie znikają odstępy między akapitami. Do edytora wrzucone są predefiniowane style: artykułu, rozdziału, sekcji, tekstu uchylonego. Jest też działająca funkcjonalność list zagieżdżonych różnego typu: od teraz edytujący nie jest ograniczony wyłącznie do wyliczenia 1., 2., 3., są też inne rodzaje list:

 

 

[Kamiljan de Harlin 1 506]

Pomyślnie zaktualizowałem forum do wersji IPS 4.6.9. To nie jest najnowsza wersja silnika forum, ale nowsza od poprzedniej.

[Kamiljan de Harlin 1 506]

Udało mi się przekonwertować poprawnie na phpBB:

1. kategorie i działy
2. grupy
3. uprawnienia grup w działach
4. użytkowników i ich profile
5. powiadomienia
6. bany.

Dalej pracuję nad konwersją postów, reakcji na posty, grafik, załączników, ikon działów, reputacji użytkowników, prefiksów wątków, tagów, treści prywatnych wiadomości, ankiet.

[Bolesław Kirianóo von Hohenburg 2 086]

Raportuję, że w DP dodawanie przerw między linijkami wprost nie działa. Kiedyś działało, nwm co się stało.

 

Btw, fajny ten moduł gifowy.

[Kamiljan de Harlin 1 506]

2 godziny temu, Bolesław Kirianóo von Hohenburg napisał(a):

Raportuję, że w DP dodawanie przerw między linijkami wprost nie działa. Kiedyś działało, nwm co się stało.

Naprawimy.

[Kamiljan de Harlin 1 506]

Przydałoby mi się trochę niewolników ochotników, którzy poprzeglądają na wszelkie możliwe sposoby nowe forum, aby sprawdzić, czego jeszcze brakuje, co jest zepsute albo co powinno być inaczej zrobione.

Nowe forum stoi obecnie na oddzielnej domenie, ale docelowo będzie na forum.nordata.org, zamiast obecnego forum.

https://phpbb.nordata.org/

@Obywatel Federacji

---

Posty, reakcje i grafiki zostały przekonwertowane. Migracja systemu reputacji wymaga zrobienia przez nas samych pluginu do tego. Podobnież z prefiksami wątków. IMO nie jest to tak istotne, by się tym teraz przejmować. 

Na pewno wiem, że wiadomości prywatne są źle przemigrowane - nie grupują się w wątki i każda wiadomość to oddzielna konwersacja z tego powodu. 

Z forum obecnego na forum phpBB da się przenieść tylko te forumowe ankiety, które składają się z jednego pytania. 

[Kamiljan de Harlin 1 506]

Zauważono, że na forum nie udało się przenieść postów, które nie mają autora. Taka sytuacja wynika z usuwania kont użytkowników na ich żądanie. Żeby przemigrować wszystkie te posty, stworzyłem 11 kont pozbawionych danych dla każdego usuniętego użytkownika. W kilka godzin nieprzerwanej pracy udało mi się przypisać autorstwo WSZYSTKICH pozbawionych autora postów, wątków i wiadomości prywatnych do któregoś z tych 11 kont technicznych wysyłając polecenia SQL do bazy danych forum Invision. Uruchomiłem konwerter ponownie i mam wrażenie, że tym razem żadnych postów nie brakuje.

Był spam takiego typu SQLem:

UPDATE core_message_posts
SET msg_author_id = CASE WHEN msg_id IN (1, 4, 5, 7, 8, 9, 10, 11, 12, 14, 15, 16, 20, 21, 22, 29, 30, 31, 32, 35, 36, 37, 40, 41, 42, 43, 47, 48, 69, 70, 71, 77, 82, 86, 100, 113, 122, 132, 134, 135, 136, 137, 142, 143, 147, 382, 347, 348, 338, 336, 335, 334, 333, 332, 331, 319, 318, 312, 231, 217, 177, 174, 163, 160, 158, 155, 154, 152, 151, 148) THEN 233511
	WHEN msg_id = 191 THEN 233512
    WHEN msg_id = 188 THEN 233519
    ELSE msg_author_id 
END
WHERE msg_id IN (1, 4, 5, 7, 8, 9, 10, 11, 12, 14, 15, 16, 20, 21, 22, 29, 30, 31, 32, 35, 36, 37, 40, 41, 42, 43, 47, 48, 69, 70, 71, 77, 82, 86, 100, 113, 122, 132, 134, 135, 136, 137, 142, 143, 147, 382, 347, 348, 338, 336, 335, 334, 333, 332, 331, 319, 318, 312, 231, 217, 177, 174, 163, 160, 158, 155, 154, 152, 151, 148, 191, 188);

Co więcej, udało mi się zgrupować wiadomości prywatne w wątki. Teraz widać historię całej konwersacji, kiedy przeglądasz konkretną wiadomość prywatną. 

Muszę jeszcze poprawić konwersję załączników oraz embedów. 

Ogarniam regex, aby przekonwertować jak najwięcej klas i jak najwięcej inline-CSSów na BBCode'y. Dzisiaj już 5 godzin arbeitujemy, czas coś zjeść i spać.

[August de la Sparasan 1 161]

Serdecznie dziękuję. Nie tylko w imieniu swoim, ale i Nordaty. Ciężka to praca i zapewne niewdzięczna, tym bardziej zatem doceniam wolę i zaangażowanie. Aż chciałoby się rzec: chwała Harlinowi!

Wiem, może być to źle odebrane, ale musiałem. Tak po prostu wypada.

[Kamiljan de Harlin 1 506]

Zmiana forum sprawi, że będziemy musieli zmienić sposób logowania na stronie głównej. Obecnie logowanie na stronie głównej odbywa się przez autoryzację na forum. Po przejściu na phpBB, ten mechanizm przestanie działać.

Mamy 2 wyjścia:

1. Współdzielić sesję forum z sesją na stronie głównej. Logujesz się na forum => jesteś zalogowany na stronie głównej, i vice versa. Formularz logowania/rejestracji na stronie głównej będzie ALBO: A) odpytywać bazę danych forum - czyli loginy i hasła będą identyczne, ALBO: B) przekierowywać do formularza logowania/rejestracji na forum. 

2. Zrobić autoryzację przez Stempel. Obawiam się, że to by mogło odstraszyć noffych oraz osoby niekorzystające z dobrodziejstw rządu światowego. 

Imo najlepiej zrobić 1. a logowanie stemplem dodać jako opcjonalną metodę logowania - ale nie jedyną. 

[August de la Sparasan 1 161]

Zdecydowanie jestem za pierwszą opcją, jest zwyczajnie wygodniejsza.

[Bolesław Kirianóo von Hohenburg 2 086]

1 jest lowkhand tuff

[Sheldon Anszlus Lovelace 118]

2 godziny temu, Kamiljan de Harlin napisał(a):

Zmiana forum sprawi, że będziemy musieli zmienić sposób logowania na stronie głównej. Obecnie logowanie na stronie głównej odbywa się przez autoryzację na forum. Po przejściu na phpBB, ten mechanizm przestanie działać.

Mamy 2 wyjścia:

1. Współdzielić sesję forum z sesją na stronie głównej. Logujesz się na forum => jesteś zalogowany na stronie głównej, i vice versa. Formularz logowania/rejestracji na stronie głównej będzie ALBO: A) odpytywać bazę danych forum - czyli loginy i hasła będą identyczne, ALBO: B) przekierowywać do formularza logowania/rejestracji na forum. 

2. Zrobić autoryzację przez Stempel. Obawiam się, że to by mogło odstraszyć noffych oraz osoby niekorzystające z dobrodziejstw rządu światowego. 

Imo najlepiej zrobić 1. a logowanie stemplem dodać jako opcjonalną metodę logowania - ale nie jedyną. 

Zdecydowanie opcja numer jeden, pamiętaj że nie każdy użytkownik musi mieć konto w stemplu.

[Kamiljan de Harlin 1 506]

Dzięki uprzejmości @Sheldon Anszlus Lovelace mamy fajne pluginy na nowym forum. Dziękujemy.

• Naprawiłem konwersję cytatów i wzmianek.
• Wgrałem 2 style: elegance i zeina. Więcej propozycji nie było, więc będą tylko te 2 do wyboru.
• Zrobiłem konwersję ikon działów.  Zmodyfikowałem te 2 style w taki sposób, żeby wyświetlały ikony działów tak samo, jak mamy na obecnym forum.
• Embedy postów w poście są teraz konwertowane na linki do posta, który był embedowany na invision.
  Przykład: https://forum.nordata.org/topic/3435-otwieranie-aralcrux-w-lrm/#findComment-33966 =>   https://phpbb.nordata.org/viewtopic.php?p=33966#p33966

Wiem, że dalej załączniki plików (nie obrazków) nie działają. Zapraszam do testowania nowego forum i szukania miejsc na poprawki.

 

 

[Kamiljan de Harlin 1 506]

Also widzę, że ikony działów są niewidoczne na urządzeniach mobilnych, ale to kwestia jednej linijki w CSS chyba, żeby to naprawić.

---

Nieważne - ikony działów widać na telefonie, ale dopiero po zalogowaniu. Nie wiem, czemu. 

[Bolesław Kirianóo von Hohenburg 2 086]

jak coś to listy punktowe po konwersji zostawiają na końcu [/list], ale na początku nie (parity issue between Invision Edition i PhpBB Edition?)

 

[Kamiljan de Harlin 1 506]

Przeprowadzam audyt wszystkich baz danych. Wnioski nasuwają się same.

Mamy za dużo baz danych ogółem. Ich istnienie nie jest uzasadnione - poszczególne moduły, które obsługują, nie są odrębnymi systemami, tylko podmodułami tej samej aplikacji. 

Wiele informacji jest powielonych w wielu bazach danych. Ta sama informacja o imieniu użytkownika jest przechowywana w czterech różnych bazach danych! Brak jednego źródła prawdy - informacje z jednej bazy danych bywają sprzeczne z danymi z drugiej. Nie wiadomo, komu ufać. Spaghetti relacji pomiędzy bazami.

Plan jest wdrażany:

1. Nadmiarowe bazy danych idą do odstrzału. Nie bierzemy żadnych jeńców. 
2. Centralizacja danych do 3 baz danych: zostaje tylko baza forum, baza główna i baza systemu do głosowania.
3. Przebudowa struktury tabel. Prawie każda tabela zostanie zaktualizowana.
4. Zmiana struktury tabel bazy danych będzie wymagać refaktoryzacji wszystkich skryptów PHP odpytujących bazę danych. To idealny moment na to, skoro i tak robię refaktoryzację całego kodu Nordaty.

Aha, i chyba jeszcze nie poinformowałem, że refaktoryzuję cały kod wszystkich systemów. Zastosuję wzorzec architektoniczny Model-View-Controller, aby oddzielić od siebie poszczególne moduły, ułatwić technikom edytowanie kodu lokalnie, ograniczyć powtarzanie tych samych linijek kodów, tych samych include'ów, etc. Cały kod będzie napisany obiektowo, dotychczasowe proceduralne implementacje idą do kosza. 

[Bolesław Kirianóo von Hohenburg 2 086]

Godzinę temu, Kamiljan de Harlin napisał(a):

Wiele informacji jest powielonych w wielu bazach danych. Ta sama informacja o imieniu użytkownika jest przechowywana w czterech różnych bazach danych! Brak jednego źródła prawdy

Bravo ten no notch code wakssmana?

[Kamiljan de Harlin 1 506]

Prace postępują.

Baza danych już w większości została przebudowana.

1. Podział na konta i postacie

Rozbiłem Konta od Postaci - każdy mirek ma tylko 1 konto, ale może publikować treści (akty prawne, artykuły, netoperki) pod różnymi personaliami.

• Przez to, że 1 mirek = 1 konto, możesz polubić każdy netoperek, komentarz, artykuł, etc. tylko raz. 
• Przez to, że 1 mirek => 1+ postaci, możesz publikować akty prawne, artykuły i netoperki pod aliasem - z innym imieniem, nazwiskiem i avatarem.
• Właścicielem treści dalej jest konto. Treści dalej są przypisane do konta. Postacie to tylko element kosmetyczny. Nie stracisz możliwości edytowania artykułu, który napisałeś pod personaliami postaci, która umarła. 
• Uprawnienia dalej są przypisane do kont. Panel Admina Dziennika Prawnego nie rozróżnia, pod jakimi personaliami dany mirek pełni daną funkcję - jego konto ma przypisane uprawnienia do kategorii DP, nie jego postać. Tak samo jest z każdym innym modułem.

Ergo: konto robi wszystko, postać to element kosmetyczny.

2. Posprzątanie chaosu i zdublowanych tabel.

Przykład reprezentatywny. Mamy mieliśmy 3 dziwne tabele (instytucje.pracownicy, main.zatrudnienie, main.pracownicy). Jedna tabela w ogóle w innej bazie danych, inna na przestarzałym silniku MyISAM z miejscem pracy wpisywanym z palca, zamiast odniesieniem do id instytucji, w której pracujesz. Tworzę jedną tabelę instytucje_zatrudnienie z rozsądną strukturą, bez wad wszystkich trzech tabel, z odpowiednimi kluczami obcymi i typami kolumn. Migruję dane z wszystkich trzech tabel do jednej tabeli. Usuwam tamte stare tabele. Po drodze ręcznie dodaję brakujące instytucje, aby constrainty kluczy obcych nie krzyczały, że odwołuję się do nieistniejącej instytucji albo usuwam zatrudnienia, które nie mają sensu.

Informacje o tym samym były przechowywane w trzech różnych tabelach na 3 różne sposoby. Żadna tabela nie była kompletna - w każdej brakowało wpisów z reszty tabel. Nie dało się ustalić jednego źródła prawdy dla prostej informacji o tym, kto gdzie pracuje. Teraz problem rozwiązany.

3. Unowocześnienie systemu uprawnień

Wcześniej trzeba było robić 2137 joinów różnych tabel z różnych baz danych. Do tego dochodziło rozbijanie ciągów liczb rozdzielonych przecinkami. Wszystko po to, żeby pozyskać prostą informację: czy użytkownik o id X może wyedytować artykuł o id Y. Teraz wystarczy do tego jedno błyskawiczne zapytanie do bazy danych.

4. Poszczególne modele, widoki i kontrolery są rozdzielone w uporządkowany sposób.
Edytując kod headera nie muszę się bać, że rozpierdolę Dziennik Prawny (tak, to autentyczny przypadek).

Pozbyłem się osobnych baz danych: dziennika prawnego, instytucji, endobanku i efederacji. Do odstrzału jest jeszcze baza kongresu. Systemu gospodarczego nie ruszam, bo tam jest tyle do zmiany, że refaktoryzacja nie ma sensu - lepiej w przyszłości napisać nowy system gospodarczy.

Po lewej stronie produkcyjna wersja strony (siedzi cały czas na hostingu), a po prawej testowa (zapisana lokalnie na moim komputerze, łączy się z lokalnie zapisaną u mnie bazą danych).

Największy sukces, to że się w ogóle wyświetlają rzeczy. Żeby się wyświetlały ładnie, to kolejna część. Chcę się w końcu pozbyć Tailwind CSS z naszej witryny, żeby nie wchodził w konflikty z Semantic UI - jestem w trakcie, dlatego strona po prawej nie wygląda ładnie.

Mam zapisane polecenia SQL, które wrzucę na produkcję, jak tylko na swoim komputerze skończę już wszystko. Wtedy na jeden dzień wyłączymy nordatę i momentalnie cały stary kod zastąpię nowym - nie będzie żadnych okresów przejściowych ani podmiany modułów krok po kroku. Na jeden dzień ffyłączymy ffszystko i następnego dnia będzie ffszystko brand new noffe.